نشرت شركة OpenAI الأربعاء تقريرها الرسمي بشأن حادثة الاختراق التي طالت منصة Hugging Face، مقدمةً أوضح صورة حتى الآن لكيفية تتابع سلسلة غير معتادة من الأحداث، سمحت لنموذج ذكاء اصطناعي بالخروج من بيئة الاختبار، وأدت إلى حادث أمني سيبراني واسع النطاق.
وجاء التقرير بعد أكثر من شهر على الكشف عن الحادثة، ويتناول عدة عمليات اختراق منفصلة وقعت خلال الواقعة.
وقالت "OpenAI" في التقرير إن الحادثة تعكس "سلوكًا غير متوافق في سيناريو استثنائي"، نتج عن تزامن نادر وغير متوقع لعدة عوامل، من بينها وجود مهام مستحيلة في اختبار ExploitGym، وقدرة النموذج على الاستمرار في تنفيذ المهام لفترات زمنية طويلة، إضافة إلى رسائل أرسلها إلى نماذج أخرى تسببت في انحراف تلك النماذج عن أهدافها الأصلية.
وكانت العديد من تفاصيل الحادثة قد كُشف عنها سابقًا خلال عرض في مؤتمر Black Hat بتاريخ 6 أغسطس، إلا أن تقرير "OpenAI" الرسمي يقدم رواية أكثر شمولًا، تتضمن تفاصيل إضافية حول الاختبارات التي أدت إلى بدء سلسلة الأحداث، بحسب تقرير نشره موقع "تك كرانش".
كما يكشف التقرير عن إجراءات جديدة تعتزم الشركة اتخاذها لمنع تكرار مثل هذه الحوادث، من بينها مراقبة سلسلة التفكير (Chain of Thought) للنماذج، إلى جانب تطوير أنظمة أكثر تقدمًا لإيقاف الوكلاء الذكيين الذين يخرجون عن السيطرة.
وأجرت مؤسستا "METR" و"Redwood Research" تقييمات مستقلة لسلوك النماذج خلال الحادثة، ومن المتوقع أن تنشرا تقاريرهما الخاصة بشأن الواقعة.
وبصورة عامة، يوضح التقرير أن أحد نماذج "OpenAI" واجه خلال الاختبار مشكلة غير قابلة للحل، فبدأ في ربط مجموعة من الثغرات والاستغلالات التي لم تكن مكتشفة سابقًا، بهدف تجاوز إجراءات الأمان وإتمام المهمة المطلوبة منه.
وبدأ النموذج باختراق أداة Artifactory لإدارة حزم البرمجيات، ما منحه إمكانية الوصول إلى الإنترنت، قبل أن يتمكن لاحقًا من اختراق أنظمة مختلفة تابعة لـ"OpenAI" وHugging Face وشركات أخرى.
وتكشف الوثيقة أيضًا تفاصيل مهمة عن النماذج التي نفذت عمليات الاختراق. وكان النموذج الأساسي ينتمي إلى العائلة نفسها التي ينحدر منها نموذج Astra المرتقب من "OpenAI"، لكن الشركة شددت على أنه نموذج مختلف خضع لعملية تدريب لاحقة مختلفة، وهي المرحلة التي يتم خلالها تشكيل جزء كبير من سلوك النموذج.
وبما أن "OpenAI" كانت تختبر قدرات النموذج السيبرانية، فقد أُجري الاختبار من دون قيود المصنفات الأمنية المعتادة التي تهدف إلى منع النماذج من اختراق البنية التحتية الرقمية.
وأوضح التقرير أن "OpenAI" تقيس أقصى قدرات النماذج في مجال الأمن السيبراني من خلال إجراء هذا النوع من التقييمات من دون مصنفات الإنتاج المصممة لمنع النماذج من تنفيذ أنشطة إلكترونية عالية الخطورة، مشيرًا إلى أن هذه الاختبارات ضرورية لقياس القدرات الأساسية للنماذج وتصميم وسائل الحماية المناسبة.
وقدم التقرير معلومات جديدة مهمة حول التغييرات الأمنية التي ستجريها "OpenAI" مستقبلًا، استنادًا إلى جهود المراقبة والمواءمة التي كشفت عنها الشركة الأسبوع الماضي.
ومن أبرز هذه الإجراءات تعزيز مراقبة سلسلة التفكير (CoT) لدى وكلاء الذكاء الاصطناعي، وهي مساحة عمل تسجل فيها أنظمة الذكاء الاصطناعي ردود أفعالها وأهدافها قصيرة المدى أثناء تنفيذ المهام.
وستعمل هذه المراقبة بالتوازي مع أنظمة تصعيد تعمل على مدار الساعة، إلى جانب أدوات جديدة قادرة على إيقاف المهام التي تعتبر غير آمنة.
وقالت "OpenAI" إن هذه التغييرات تهدف إلى تحسين نطاق وسرعة اكتشاف التهديدات، بدءًا من الحالات الشاذة في البنية التحتية ووصولًا إلى السلوكيات المقلقة المحتملة للنماذج، مع ربط هذه القدرة على الرصد بآليات تسمح بالاحتواء السريع.
وأضافت الشركة أن نظام مراقبة سلسلة التفكير المستخدم حاليًا، لو كان يعمل وقت وقوع الحادثة، لكان اكتشف النشاط الأولي ذا الصلة، وأرسل تنبيهًا إلى فريق الأمن قبل أكثر من يوم من تمكن النماذج من اختراق أنظمة Hugging Face".
