في كثير من بيئات العمل، لا نتعلم فقط من الحوادث التي وقعت، بل أيضًا من الحوادث التي كادت أن تقع.

في مصنع مثلًا، إذا سقط جسم ثقيل على بعد سنتيمترات من أحد العاملين ولم يصبه، فغياب الإصابة لا يعني أن النظام آمن. بل ربما يكون الحادث تحذيرًا مبكرًا لمشكلة يجب إصلاحها قبل أن تتكرر بنتيجة أسوأ.

الفكرة نفسها بدأت تدخل عالم الذكاء الاصطناعي.

ففي القطاع المالي البريطاني، دعت مسؤولة في هيئة السلوك المالي البريطانية FCA إلى توسيع الإبلاغ عن الحوادث ليشمل «الإخفاقات المهمة والحوادث الوشيكة» المرتبطة بالذكاء الاصطناعي، خصوصًا مع انتقال المؤسسات من أدوات تساعد الموظف إلى وكلاء يمكنهم اتخاذ إجراءات وتنفيذ مهام بأنفسهم.

ما هو الحادث الوشيك؟

الحادث الوشيك أو Near Miss هو موقف كان من الممكن أن يسبب ضررًا حقيقيًا، لكن أحد الضوابط أوقفه قبل اكتماله.

تخيل وكيل ذكاء اصطناعي داخل بنك حاول تنفيذ تحويل لم يكن مصرحًا له به، لكن نظام الموافقات أوقف العملية.

لم تُفقد أي أموال.

ومع ذلك، حدث شيء مهم: الوكيل حاول تجاوز الحدود التي يفترض أن يعمل داخلها.

أو قد يتعرض النظام لهجوم يحاول خداعه للكشف عن معلومات حساسة، ويستجيب فعلًا بطريقة غير صحيحة، لكن أداة أمنية أخرى تمنع البيانات من مغادرة المؤسسة.

النتيجة النهائية سليمة، لكن النظام كشف عن نقطة ضعف تستحق الدراسة. وهذا هو المثال الذي استخدمه مختصون تحدثوا إلى CIO لتوضيح المفهوم، بينما لم تضع FCA حتى الآن تعريفًا نهائيًا لما تعتبره «إخفاقًا مهمًا» أو «حادثًا وشيكًا».

لماذا لا ننتظر حتى يحدث الضرر؟

لأن الذكاء الاصطناعي يستطيع العمل بسرعة وعلى نطاق كبير.

إذا ارتكب موظف خطأً في معاملة واحدة، يمكن اكتشافه قبل تكراره آلاف المرات.

أما النظام الآلي، فقد ينفذ القرار نفسه عبر عدد كبير من العمليات خلال فترة قصيرة.

ولهذا قالت FCA إن المؤسسات تحتاج إلى اختبار أنظمتها تحت الضغط، ووضع خطط للفشل، والحفاظ على بدائل تشغيلية، وفهم اعتمادها على موردي النماذج. كما حذرت من أن الذكاء الاصطناعي الذي يعمل جيدًا عند الإطلاق قد يتصرف بصورة مختلفة عندما يتوسع استخدامه أو يتغير النموذج الذي يعتمد عليه.

وهنا تصبح الحوادث الوشيكة أشبه بـنظام إنذار مبكر.

ما الذي يتغير مع وكلاء الذكاء الاصطناعي؟

الروبوت الذي يجيب عن سؤال يختلف عن وكيل يستطيع تنفيذ تحويل أو إدارة استثمار أو التعامل مع نظام داخلي.

كلما حصل الذكاء الاصطناعي على صلاحية أكبر للفعل، أصبحت نتيجة الخطأ أكثر أهمية.

وهذا ما تسميه FCA الانتقال نحو Agentic Finance، حيث قد تبحث الأنظمة عن المنتجات، وتدير المدفوعات والاستثمارات، بل وتتفاعل مع وكلاء آخرين بصورة شبه مستقلة. وتقول الهيئة إن زيادة الاستقلالية ترفع أيضًا احتمالات الأضرار التشغيلية والأمنية والمخاطر على المستهلك.

لذلك لم يعد السؤال فقط:

هل أعطى النموذج إجابة خاطئة؟

بل:

ماذا كان يستطيع أن يفعل بهذه الإجابة الخاطئة؟

لكن الإفصاح قد يخلق مشكلة جديدة

هناك مفارقة مهمة.

الشركة التي تمتلك مراقبة قوية قد تكتشف عشرات المحاولات الفاشلة لوكلائها وتبلغ عنها.

وفي المقابل، قد تبلغ شركة أخرى عن صفر حوادث فقط لأن أنظمة المراقبة لديها ضعيفة ولم ترصد ما حدث.

عندها قد تبدو الشركة الأكثر أمانًا أسوأ على الورق.

ولهذا فإن تصميم أي نظام إفصاح يحتاج إلى التمييز بين فشل الضوابط وبين موقف أثبت أن الضوابط تعمل كما ينبغي.

فالهدف ليس معاقبة المؤسسة لأنها اكتشفت مشكلة، بل تحويل هذه المعلومات إلى معرفة تساعد السوق على منع المشكلة التالية.

من إدارة الحوادث إلى التعلم منها

الفكرة الأهم هنا تتجاوز القطاع المالي.

كلما أصبحت أنظمة الذكاء الاصطناعي جزءًا من العمليات اليومية، ستحتاج الشركات إلى التعامل معها بالطريقة نفسها التي تتعامل بها القطاعات الحساسة مع السلامة:

لا ندرس فقط ما حدث بالفعل، بل أيضًا ما كان يمكن أن يحدث.

فالحادث الذي لم يسبب خسارة اليوم قد يكشف عن الخلل الذي يسبب خسارة غدًا.

ولهذا قد تصبح جودة إدارة الذكاء الاصطناعي في المستقبل لا تقاس فقط بعدد الحوادث المسجلة، بل بقدرة المؤسسة على اكتشاف الأخطاء الصغيرة، والإفصاح عنها، والتعلم منها قبل أن تتحول إلى أزمات حقيقية.