خمس حالات فشل مؤسسي بسبب الذكاء الاصطناعي — وما يجمع بينها

في كل مؤتمر ذكاء اصطناعي، تسمع قصص النجاح. نماذج بدقة عالية، توفير في الوقت، أتمتة مذهلة. لكن الجلسات الخاصة — مع فرق التقنية والقانون والامتثال — تحمل قصصاً مختلفة تماماً.

المشترك في الحالات الخمس التي سنستعرضها ليس نوع النموذج أو جودة البيانات. المشترك هو غياب بنية حوكمة واضحة حول الذكاء الاصطناعي — من يوافق، ما يُسجَّل، وماذا يحدث عند الخطأ.

1. شركة مالية: توصية ائتمان بدون سجل تبرير

شركة تمويل متوسطة استخدمت نموذجاً لتصنيف طلبات الائتمان. النموذج كان دقيقاً بمقاييس الاختبار. المشكلة ظهرت عندما طعن أحد العملاء في قرار الرفض — لم يستطع أحد تقديم سبب موثق. النموذج “قرر”، لكن لا أحد يعرف لماذا. الغرامة التنظيمية كانت أعلى من كلفة بناء نظام توثيق من البداية.

2. جهة حكومية: تقرير آلي وُزِّع بدون مراجعة

جهة حكومية اعتمدت نظاماً لإنتاج تقارير دورية آلياً. في إحدى الدورات، احتوى التقرير على خطأ في تفسير بيانات فئة بسبب تغيير في تنسيق المصدر. التقرير وُزِّع على جهات خارجية قبل اكتشاف الخطأ. التراجع والتصحيح كلّف ثقة وجهداً لأشهر.

3. شركة عقارية: قاعدة معرفة “حكيمة” أنتجت نصائح قانونية منتهية

شركة بنت نظام بحث ذكي فوق وثائق قانونية وتنظيمية. النظام كان فعّالاً — حتى تغيرت اللوائح ولم يُحدَّث قاعدة المعرفة. لأشهر، أجاب النظام بثقة عن أسئلة الفريق استناداً إلى تشريعات لم تعد سارية. لم يكن هناك آلية لتتبع “صلاحية” كل وثيقة.

4. مستشفى: نظام تنبيه أُغلق صوته بسبب “الضوضاء”

نظام للكشف عن حالات استثنائية أنتج كثيراً من التنبيهات الإيجابية الزائفة في بداياته. الفريق الطبي بدأ في تجاهل التنبيهات تدريجياً. عندما أنتج النظام تنبيهاً حقيقياً بعد أشهر، لم يحظَ بالاستجابة المطلوبة في الوقت المناسب. لم يكن المشكلة في النموذج — كان في غياب بروتوكول واضح لكيفية التعامل مع التنبيهات.

5. شركة لوجستية: أتمتة قرارات التوريد بدون حد أقصى

نظام أتمتة مشتريات أصدر أوامر شراء آلياً استجابةً لمؤشرات المخزون. في فترة تذبذب في السوق، أصدر النظام أوامر شراء كبيرة بشكل غير متوقع — ضمن منطقه الداخلي الصحيح، لكن خارج أي إطار موافقة إنسانية. الالتزامات المالية الناتجة استغرقت ربعاً كاملاً لمعالجتها.

الخيط المشترك

في كل حالة من الخمس، الذكاء الاصطناعي كان يعمل. المشكلة كانت في غياب إجابة واضحة على سؤال واحد: ماذا يحدث عندما يُخطئ؟

الحوكمة لا تعني تعطيل الذكاء الاصطناعي أو سلب كفاءته. تعني بناء إطار واضح حول متى يُعمَل به، متى يُراجَع، وكيف يُوثَّق — بحيث أن الخطأ، حين يقع، يكون محدوداً، قابلاً للتعامل، وقابلاً للتعلم منه.

الذكاء بدون حوكمة ليس فقط خطيراً. هو غير مستدام مؤسسياً.