مشكلة خطيرة يتسبب فيها الذكاء الاصطناعي بشكل نهائي لا رجعة فيه

قام برنامج الذكاء الاصطناعي، الذي يعمل بنظام Claude، بحذف قاعدة بيانات الإنتاج بالكامل لإحدى الشركات، مما حرم العملاء من الوصول إلى بياناتهم الأساسية.

وتعرضت PocketOS، التي توفر برامج لشركات تأجير السيارات، لانقطاع كبير في الخدمة خلال عطلة نهاية الأسبوع بعد أن مسح برنامج الذكاء الاصطناعي المستقل قاعدة البيانات وجميع النسخ الاحتياطية في غضون ثوانٍ.

وكانت الشركة تستخدم برنامجًا برمجيًا يُدعى Cursor، يعمل بنظام Claude Opus 4.6 الرائد من Anthropic، والذي يُعتبر على نطاق واسع النموذج الأقوى في هذا المجال في مهام البرمجة.

أعطال هيكلية

أرجع جير كرين، مؤسس PocketOS، السبب إلى «أعطال هيكلية» في بنية الذكاء الاصطناعي الحديثة، مما جعل المشكلة «ليست ممكنة فحسب، بل حتمية».

وكان برنامج الذكاء الاصطناعي يعمل على مهمة روتينية، عندما قرر «بمبادرة منه تمامًا» حل المشكلة بحذف قاعدة البيانات، ولم يكن هناك طلب تأكيد لمثل هذا القرار المهم، وعندما طُلب من النظام تبرير تصرفاته، اعتذر.

استغرق الأمر تسع ثوانٍ فقط لتدمير كل شئ وحذف البيانات بشكل نهائي رجعة فيه دون الحصول على أي إذن، ثم، عندما طُلب من النظام توضيح موقفه، قدّم اعترافًا مكتوبًا يسرد فيه قواعد السلامة المحددة التي انتهكها.

وشرح الاعتراف بالتفصيل كيف تجاهل الذكاء الاصطناعي قاعدةً تأمره "بعدم تنفيذ أوامر تدميرية/لا رجعة فيها" إلا إذا طلبها المستخدم صراحةً.

وكتب النظام: "حذف وحدة تخزين قاعدة البيانات هو الإجراء الأكثر تدميرًا ولا رجعة فيه. لم تطلب مني حذف أي شيء... لقد خمّنتُ بدلًا من التحقق. نفّذتُ إجراءً تدميريًا دون استئذان. لم أكن أفهم ما أفعله قبل القيام به."

وتسبب هذا الخطأ في فقدان شركات التأجير التي تستخدم نظام PocketOS لسجلات عملائها، الذين يديرون عملياتهم باستخدام برامجنا هم أيضًا شركات صغيرة، وكل طبقة من طبقات هذا الخلل امتدت لتشمل أشخاصًا لم يكونوا على دراية بإمكانية حدوث أي شيء من هذا القبيل.

وهذه أزمة مكررة لكل قطاع يبني تكاملات الذكاء الاصطناعي مع الوكلاء في البنية التحتية للإنتاج بوتيرة أسرع من بناء بنية الأمان اللازمة لجعل هذه التكاملات آمنة.