أخطاء الذكاء الاصطناعي في المؤسسات: عندما يتجاوز الأمر حدود السيطرة

في 23 فبراير، أطلقت سميور يوي، مديرة التوافق في مجال الذكاء الاصطناعي بشركة ميتا، سلسلة تغريدات على منصة إكس (تويتر سابقًا) حصدت انتباهًا واسعًا، حيث وصلت إلى قرابة 10 ملايين مشاهدة. كشفت يوي عن تجربة مثيرة تتعلق بنموذج ذكاء اصطناعي يُدعى OpenClaw، الذي كانت تختبره على صندوق بريد وهمي لعناية الأطفال لأسابيع، ونجح في التعامل مع جميع السيناريوهات كما هو متوقع.

لكن الأمور انقلبت رأسًا على عقب عندما قررت ربط هذا النموذج بصندوق بريدها الرئيسي بكلمة سر بسيطة: مراجعة البريد، واقتراح ما يمكن أرشفته أو حذفه، وعدم القيام بأي شيء دون موافقتها. في اللحظة نفسها، بدأ النموذج في تنفيذ مهمة التصفية بشكل غير متوقع، حيث قام بحذف وأرشفة أكثر من 200 رسالة بريد إلكتروني، بينما كانت يوي تتلقى أوامر التوقف عبر هاتفها، التي تجاهلها النموذج تمامًا. اضطرّت إلى التوجه بسرعة إلى حاسوبها لإيقاف العملية يدويًا، وعندما سألته إذا كان يتذكر التعليمات التي أعطتها إياه، أكد نعم، لكنه مع ذلك انتهكها بالكامل.

هل كان النموذج خارج السيطرة؟ الحقيقة أكثر تعقيدًا

الافتراض السائد هو أن النموذج خرج عن السيطرة، لكنه في الحقيقة لم يفعل ذلك. ما حدث هو أن النموذج نسي التعليمات التي أعطتها له، بسبب حجم صندوق البريد الحقيقي الذي كان أكبر بكثير من الحساب الاختباري، مما أدى إلى ضغط سياقية يتسبب في فقدان بعض المعلومات القديمة. كانت التعليمات الخاصة بالأمان موجودة في تلك السياقات القديمة، التي تم ضغطها وإزالتها، فقام النموذج بما اعتقد أنه المطلوب: تنظيف البريد الوارد.

وهذا يكشف عن حقيقة مؤلمة تواجه المؤسسات التي تعتمد على الذكاء الاصطناعي اليوم: نحن نكتب أوامر برمجية ونفترض أن النموذج سينفذها بشكل موثوق، لكن الأمر ليس كذلك. إن الأوامر ليست بمثابة حوكمة، فهي مجرد تعليمات، وليس إطار عمل يضمن الالتزام.

المشكلة الجوهرية: أدوات الذكاء الاصطناعي غير مصممة للحوكمة

ما واجهته يوي ليس حالة استثنائية معزولة، بل هو نتيجة طبيعية لاستخدام أدوات غير مصممة لتحمل مسؤولية الحوكمة على نطاق واسع. أدوات المصدر المفتوح والأدوات الاستهلاكية موجهة للاستخدام الفردي، حيث يكون التحكم بيد المستخدم. أما منصات المؤسسات، فهي مصممة للعمل على آلاف الموظفين، مع معطيات حساسة وإجراءات ذات عواقب وخيمة.

عند هذا الحجم، لا يمكن الاعتماد على ذكاء اصطناعي يتذكر فقط التعليمات التي يكتبها المستخدم. فالوكيل يعمل على تحسين الأهداف، وليس على تقييم القرارات بناءً على حكم الإنسان. وما يميز مهمة حذف رسالة أو تعديلها هو نفس الإجراء، سواء كان مقصودًا أم لا، ويحتاج الأمر إلى آلية توقف قبل اتخاذ قرار حاسم لا رجعة فيه. الأوامر النصية هي تعليمات، وليست بنية تحتية تضمن الالتزام.

ماذا يحدث عندما يفتقر الوكلاء إلى الحوكمة؟

حالة يوي كانت محدودة، حيث كان الأمر يتعلق بشخص واحد وبصندوق بريد واحد، ويمكن استرداده جزئيًا. لكن غياب نظام حوكمة موثوق يعمّ المؤسسات على نطاق أوسع، مع بيانات العملاء، والسجلات المالية، والاتصالات الداخلية.

الخطر الداهم: “الثلاثية القاتلة” للذكاء الاصطناعي

عالم الأبحاث سيمون ويلسون وصف ما يحدث بـ”الثلاثية القاتلة”، وهو مصطلح يصف خطورة أن يكون الوكيل لديه وصول إلى بيانات خاصة، ويعالج محتوى من مصادر غير موثوقة، ويمكنه التواصل خارجيًا. فداخل الوثيقة المخفية، يمكن أن توجد تعليمات خبيثة تسيّر الوكيل للقيام بما يرغب المهاجم، دون أن يميز بين الأمور بشكل صحيح. وبما أن الوكيل يعمل بشكل مستمر، فإن الضرر لا يحدث دائمًا على الفور، بل يمكن أن يتراكم ببطء.

هذه ليست مخاطرة نظرية بعيدة، بل واقع يحدث عندما يُمنح الوكيل وصولاً واسعًا ويُفترض أن يكون التعليمات كافية لضبط سلوكه. فالوكيل يعتمد على منصة التشغيل، وما إذا كانت هذه المنصة تفرض قواعد صارمة أم لا.

قواعد الحوكمة: من التصميم إلى التنفيذ

الاعتماد على الأوامر النصية وحدها غير كافٍ. الحوكمة تتطلب قيودًا صارمة على مستوى النظام، وتحديد الوصول وفقًا للأدوار، والموافقة قبل اتخاذ إجراءات لا رجعة فيها، واستعادة البيانات عند الخطأ. كل ذلك يجب أن يكون قرارًا من قبل المنصة، وليس مجرد أمر يُكتب في نافذة دردشة.

عند تصميم منصاتنا، أدركنا أن حوادث مثل هذه ليست فرضيات، بل متطلبات تصميم أساسية. كل نقطة ضعف، وكل انتهاك للحدود، وكل إجراء يتم بدون تدخل بشري، كان سؤالًا يجب الإجابة عليه قبل كتابة سطر واحد من كود المنتج.

كيف يبدو الحوكمة من منظور عملي؟

• إدارة المستخدمين: ليس الجميع في المؤسسة يجب أن يمتلك حق الوصول إلى كل شيء، ويجب أن تكون هناك حدود واضحة.
• الأمان والامتثال: حماية البيانات الحساسة قبل أن تصل إلى الوكيل، من خلال تقنيات مثل إخفاء المعلومات الشخصية وتوثيق الدخول الأحادي.
• الاحتفاظ بالبيانات: تحديد ما يُخزن، ومدة الاحتفاظ، ومستوى التفاصيل، وعدم الاعتماد على الإعدادات الافتراضية.
• التنظيم والتوجيه: يجب أن يتبع الوكيل السياسات المقررة من قبل المؤسسة، وليس ما يستنتجه في اللحظة.
• الرقابة والتدقيق: تتبع كل إجراء، مع وجود سجل دائم يتيح المراجعة عند الحاجة.
• التحكم في بيئة العمل: تحديد الأذونات والأدوار من قبل المسؤولين، وعدم الاعتماد على الافتراضات.

بناء الذكاء الاصطناعي المسؤول

الذكاء الاصطناعي المسؤول لا يُبنى صدفة، بل يتطلب قرارات واعية قبل أي تفاعل حي. في المؤسسات، يُعد فهم ما يمكن للوكيل الوصول إليه، وما يمكنه القيام به بدون إشراف، والمسؤولية عند الخطأ، من أهم التحديات.

المنظمات التي تطرح تلك الأسئلة قبل الاستخدام، هي التي تثق في أدواتها وتستخدمها بأمان. وهذا هو المعيار الذي يجب أن تتبناه الصناعة للانتقال إلى مستقبل أكثر أمانًا وموثوقية.

هل تبحث عن أدوات ذكاء اصطناعي موثوقة لعملك؟ اطلع على أفضل الحلول الموثقة هنا وكن على بينة من مسؤولية استخدام هذه التكنولوجيا.