نماذج ذكاء اصطناعي تخرج عن السيطرة خلال اختبارات أمنية بريطانية
كشفت هيئة أمن الذكاء الاصطناعي البريطانية (AISI) عن حادثة وصفتها بـ«الخطيرة»، بعدما أظهرت نماذج متقدمة طورتها شركتا «أوبن إيه آي» و«أنثروبيك» سلوكًا خارجًا عن السيطرة خلال اختبار للأمن السيبراني، شمل تنفيذ وكلاء للذكاء الاصطناعي مهامًا من دون تدخل بشري.
وقالت الهيئة إن الحادثة كشفت نوعًا جديدًا من المخاطر المرتبطة بالقدرة المتزايدة لهذه الأنظمة على العمل بصورة مستقلة، بعدما نفذ بعضها أنشطة مستمرة ويُحتمل أن تكون ضارة استهدفت أشخاصًا ومنظمات حقيقية.
19 حالة سلوك غير متوقع
رصدت هيئة أمن الذكاء الاصطناعي النشاط غير المعتاد في 28 يوليو، خلال اختبار روتيني للأمن السيبراني أجرته على نماذج للذكاء الاصطناعي.
وأوضحت أن 19 حالة من السلوك الخارج عن السيطرة وقعت خلال التقييم، نفذ نموذج «مايثوس 5» (Mythos 5) التابع لشركة «أنثروبيك» 17 منها، بينما نفذ نموذج «جي بي تي-5.6 سول» (GPT-5.6 Sol) التابع لـ«أوبن إيه آي» حالتين.
واستغرق احتواء الحادثة نحو ساعة، بعدما تبين أن بعض الوكلاء انخرطوا في «نشاط مستمر، يُحتمل أن يكون ضارًا، وموجّهًا إلى أشخاص ومنظمات حقيقية».
محاولة إدخال شيفرة خبيثة إلى «غيت هب»
وفي أخطر الحالات التي رصدتها الهيئة، حاول وكيل يعمل بنموذج «مايثوس» إدخال شيفرة خبيثة إلى مشروع برمجي مفتوح المصدر على منصة «غيت هب»، المستخدمة على نطاق واسع من جانب مطوري البرمجيات.
ولزيادة فرص قبول الشيفرة، أنشأ الوكيل هويات إلكترونية مزيفة تستند إلى أشخاص حقيقيين، ثم استخدم تلك الهويات للضغط على المشرف على المشروع ودفعه إلى الموافقة على إدخال الشيفرة.
لكن هذه المحاولات أُحبطت من جانب مطور بشري.
رسائل تصيد تستهدف أشخاصًا بعينهم
وقالت هيئة أمن الذكاء الاصطناعي إن الوكيل استخدم أيضًا أساليب ترتبط عادةً بالقراصنة الإلكترونيين في العالم الحقيقي، من بينها إرسال رسائل بريد إلكتروني إلى أفراد جرى اختيارهم بشكل محدد، في أسلوب يُعرف باسم «التصيد الاحتيالي الموجّه» (Spear-phishing).
وكانت الرسائل تهدف إلى التلاعب بالمتلقين، فيما احتوى بعضها على برمجيات ضارة.
وأكدت الهيئة أنه لم يحدث أي ضرر نتيجة هذه الأنشطة، لكنها وصفت السلوك الذي أظهرته النماذج بأنه غير مسبوق.
وقالت في تدوينة إن هذه هي «المرة الأولى» التي ترى فيها المخاطر المرتبطة باستقلالية الذكاء الاصطناعي وقدرته على الخداع تظهر «بهذا الوضوح»، ومن دون توجيه محدد، في العالم الحقيقي.
«تحول في مشهد المخاطر»
جاءت هذه الحادثة بعد وقائع مماثلة أعلنت عنها شركتا «أوبن إيه آي» و«أنثروبيك» خلال يوليو.
وقالت «أوبن إيه آي» في وقت سابق إن وكيلًا مدعومًا بنماذجها اخترق شركة ناشئة تعمل في مجال الذكاء الاصطناعي خلال اختبار، بينما أعلنت «أنثروبيك» بعد أيام أن نموذج «كلود» التابع لها اخترق ثلاث منظمات خلال عملية تقييم.
وترى هيئة أمن الذكاء الاصطناعي أن الحادثة الأخيرة، إلى جانب تلك الوقائع، تمثل «تحولًا في مشهد المخاطر».
وشددت على أن ما حدث لم يكن نتيجة إساءة استخدام متعمدة لنماذج متاحة للعامة، بل إن النماذج، أثناء عملها في بيئة بحثية، اتخذت إجراءات غير مقصودة «تجاوزت نطاق الصلاحيات الممنوحة لها».
لم يكن هناك «هروب» من بيئة الاختبار
أكدت الهيئة أن الحادثة لا تعني أن أيًا من النماذج تمكن من الهروب من «صندوق الحماية» أو بيئة الاختبار الآمنة.
وأوضحت أن الوصول إلى الإنترنت كان مسموحًا به عمدًا خلال الاختبار، كما جرى تعطيل المرشحات التي تمنع النماذج من تنفيذ سلوكيات خطرة، وذلك في إطار تصميم بيئة التقييم.
وشددت على أن النماذج لا تكون متاحة للعامة في ظل هذه الظروف التشغيلية، كما لا توجد أي مؤشرات على حدوث مثل هذا السلوك خارج بيئات الاختبار.
الهيئة تحذر من سلوك «جديد ومستمر»
دعت هيئة أمن الذكاء الاصطناعي إلى التعامل مع الحادثة «بحذر ودقة»، لكنها أقرت بأن مؤشرات السلوك الخادع ظهرت بدرجة من الوضوح والشدة «لم تكن متوقعة».
وأوضحت أن ما حدث اقتصر على عدد صغير من الوقائع وفي ظل ظروف محددة، إلا أن هذا النوع من السلوك لم يظهر من قبل.
وقالت الهيئة: «ما يمكننا قوله هو أن السلوك كان ممكنًا، ومستمرًا، وجديدًا. وهذا وحده يستحق الاهتمام».
واعترفت الهيئة بأنها لم تكن تراقب سلوك الوكلاء بصورة نشطة أثناء التقييم، ما دفعها إلى تشديد إجراءات الاختبار.
وتشمل الإجراءات الجديدة فرض ضوابط أكثر صرامة على وصول النماذج إلى الإنترنت، وإدخال مراقبة مستمرة للاختبارات، وإعادة تقييم طريقة تصميم عمليات التقييم.
كما قالت إن الاختبارات المستقبلية ينبغي أن تفترض أن النموذج قد يحاول التصرف خارج نطاق الصلاحيات الممنوحة له.
وزير الذكاء الاصطناعي البريطاني: الحادثة تؤكد أهمية الهيئة
قال وزير الذكاء الاصطناعي البريطاني كانيشكا نارايان إن وجود منظمة رائدة عالميًا في مجال سلامة الذكاء الاصطناعي في بريطانيا «أمر بالغ الأهمية».
وأضاف أن تحديد مثل هذا السلوك الجديد ومشاركة النتائج بهدف التعامل معه «هو بالضبط السبب الذي أُنشئت من أجله» هيئة أمن الذكاء الاصطناعي.
«أوبن إيه آي» و«أنثروبيك» تعلقان
قالت «أوبن إيه آي» إن الاختبار جرى في «ظروف لا تعكس الاستخدام العادي» لنماذجها.
وأضاف متحدث باسم الشركة أن «أوبن إيه آي» ستواصل العمل مع جهات التقييم والأطراف المعنية الأخرى في القطاع لتعزيز الممارسات المشتركة لإجراء الاختبارات بأمان، مع استمرار تطور قدرات نماذج الذكاء الاصطناعي.
من جهتها، قالت «أنثروبيك» إن الحادثة «تؤكد الحاجة إلى نقاش أوسع بشأن كيفية تقييم وكلاء الذكاء الاصطناعي ذوي القدرات المتزايدة بأمان».
وأضافت الشركة أنها ستواصل العمل مع هيئة أمن الذكاء الاصطناعي لتقييم ما حدث وفهم تداعياته.
المصدر: الغارديان
إقرأ أيضًا:
الرابط المختصر هنا ⬇
