تحذر شركة مايكروسوفت الشركات من الاعتماد على نماذج الذكاء الاصطناعي المتقدمة لمراقبة نفسها، مؤكدة أن منح الوكلاء الذكيين صلاحيات واسعة للوصول إلى قواعد البيانات والأنظمة الداخلية قد يتحول إلى مصدر لمخاطر أمنية كبيرة، حتى عندما لا تكون هذه الأدوات مدفوعة بأي نية ضارة.

وفي مواجهة التوسع في استخدام وكلاء الذكاء الاصطناعي القادرين على تنفيذ المهام بصورة مستقلة، تعمل الشركة على تعزيز منظومتها الأمنية بأدوات رقابية جديدة تهدف إلى مراقبة سلوك هذه الوكلاء، واكتشاف التصرفات غير المعتادة، والتدخل قبل أن تتسبب في أضرار.

فصل قدرات الذكاء الاصطناعي عن أنظمة الأمن

أوضح نائب رئيس "مايكروسوفت"، نديم عبدو، في تحديث رسمي للشركة، أن وكلاء الذكاء الاصطناعي لا يتصرفون عادةً بدافع الإضرار بالأنظمة، لكن طبيعتهم غير المتوقعة تجعل أخطاءهم خطيرة عندما يمتلكون صلاحيات واسعة داخل بيئات العمل، بحسب تقرير نشره موقع "androidheadlines" واطلعت عليه "العربية Business".

وتتفق هذه المخاوف مع ما أكده الرئيس التنفيذي للشركة، ساتيا ناديلا، بشأن ضرورة الفصل بين قدرات الذكاء الاصطناعي نفسها وأنظمة الأمن المسؤولة عن التحكم فيها.

ويعني ذلك أن الشركات لا ينبغي أن تعتمد على مختبر الذكاء الاصطناعي الذي طور نموذجاً معيناً ليكون الجهة الوحيدة المسؤولة عن مراقبة سلوكه وضمان التزامه بقواعد الأمان.

وتسعى "مايكروسوفت" من خلال هذا التوجه إلى إنشاء طبقة أمنية مستقلة تستطيع مراقبة الوكلاء الذكيين والتحكم في صلاحياتهم، بدلاً من افتراض أن قدرات النموذج المتقدمة كافية لمنع الأخطاء أو التجاوزات.

Guardian Agents.. مراقبون آليون لوكلاء الذكاء الاصطناعي

مع قدرة وكلاء الذكاء الاصطناعي على تنفيذ آلاف العمليات خلال فترات زمنية قصيرة، يصبح من الصعب على الموظفين أو مسؤولي الأمن مراجعة كل إجراء بصورة فورية.

ولمعالجة هذه المشكلة، تعمل "مايكروسوفت" على توسيع مجموعة أدواتها الأمنية ضمن مشروع Project Perception، من خلال أدوات جديدة تحمل اسم Guardian Agents، أو "الوكلاء الحراس".

وتعمل هذه الأدوات بوصفها أنظمة رقابية مستقلة تراقب وكلاء الذكاء الاصطناعي النشطين عبر شبكات الشركات والمنصات السحابية والأجهزة المحلية، بهدف اكتشاف السلوك غير المعتاد قبل أن يؤدي إلى أضرار.

وأشارت هاييتي غالوت، المسؤولة التنفيذية في قطاع الأمن لدى "مايكروسوفت"، إلى أن نماذج الذكاء الاصطناعي تركز أساساً على إنجاز المهام الموكلة إليها، وليس بالضرورة على الالتزام بقواعد العمل أو مراعاة الأحكام والتقديرات البشرية.

وللتعامل مع هذه الفجوة، أصبح بإمكان أدوات Microsoft Defender وEntra Agent ID اكتشاف عشرات أدوات الذكاء الاصطناعي المحلية، من بينها Claude Code وOpenAI Codex وGitHub Copilot، وفقاً لما أورده موقع "TechRadar".

وتتيح المنظومة تطبيق صلاحيات وصول ديناميكية، بحيث يحصل الوكيل الذكي على الملفات التي يحتاج إليها لتنفيذ مهمة محددة فقط، قبل تقليص صلاحياته فور انتهاء المهمة.

ويهدف هذا النهج إلى الحد من الأضرار المحتملة إذا ارتكب الوكيل خطأً أو حاول الوصول إلى بيانات لا يحتاج إليها لإنجاز عمله.

عزل الوكلاء الذكيين وإيقافهم عند الضرورة

تتضمن الضوابط الأمنية الجديدة آليات للتعامل مع الوكلاء الذين يبدأون في التصرف بصورة غير طبيعية، إذ يمكن تقييد وصولهم إلى الأنظمة والبيانات، أو طلب موافقة بشرية قبل مواصلة العمل، أو إيقافهم بالكامل.

ولا يقتصر هذا التوجه على "مايكروسوفت" وحدها، بل يمتد إلى تعاون أوسع داخل قطاع التكنولوجيا، من خلال شراكة مع شركة إنفيديا ضمن مبادرة Open Agent Safety Platform، التي تستهدف تعزيز سلامة الوكلاء الذكيين وآليات التحكم فيهم.

وتشير هذه التحركات إلى اتجاه متزايد نحو دمج إجراءات الحماية في البنية التقنية نفسها، بدلاً من الاعتماد حصرياً على التعليمات التي يتلقاها نموذج الذكاء الاصطناعي أو قدرته على الالتزام بها.

وفي هذا السياق، يبرز مفهوم مفاتيح الإيقاف المدمجة في الأجهزة والعتاد الإلكتروني، التي تتيح تعطيل الأنظمة عند الضرورة على مستوى المكونات المادية، بوصفه أحد الأساليب المطروحة لتعزيز السيطرة على الوكلاء المستقلين.

وتعكس هذه الإجراءات تحولاً في طريقة تعامل شركات التكنولوجيا مع الذكاء الاصطناعي المتقدم؛ فمع انتقال الوكلاء من مجرد تقديم الإجابات إلى تنفيذ المهام والوصول إلى الأنظمة والبيانات، لم تعد كفاءة النموذج وحدها كافية، بل أصبحت الحاجة أكبر إلى رقابة مستقلة وصلاحيات محدودة وآليات تدخل تضمن بقاء هذه الأدوات تحت السيطرة.