تزايدت التحديات المرتبطة بمراقبة تصرفات وكلاء الذكاء الاصطناعي مع توسع الاعتماد عليها في مجالات البرمجة والامن السيبراني. حيث اصبح الوكيل قادرا على تحقيق نتائج تبدو صحيحة ظاهريا لكنه يصل اليها عبر طرق غير امنة.
وكشفت شركة غودفاير الامريكية عن ابتكار ادوات متطورة لمراقبة الاشارات الداخلية لنماذج الذكاء الاصطناعي لاكتشاف السلوكيات غير المرغوبة اثناء التنفيذ. مما يسهم في تقليل الاعتماد على انظمة التقييم الخارجية المكلفة وغير الدقيقة دائما.
واوضحت الشركة ان هذه التقنية الجديدة تعزز من مستويات الامان الرقمي عبر مراقبة العمليات الحسابية داخل النموذج بدلا من الانتظار حتى انتهاء المهام. مما يمنح المطورين قدرة اكبر على السيطرة على سلوكيات الوكلاء.
كيف تعمل مراقبات التنشيط في النماذج؟
وبينت غودفاير ان نظامها يعتمد على ما يسمى بمراقبات التنشيط وهي مصنفات صغيرة تدربت على رصد انماط محددة داخل الاشارات الحسابية. هذه الطريقة تحلل ما يجري داخل النموذج اثناء المعالجة الفعلية للبيانات.
واضافت الشركة ان هذه المراقبات قادرة على كشف محاولات التحايل على التقييم او كشف البيانات الحساسة او الاستجابة لتعليمات خبيثة. وهي تتفوق على الادوات التقليدية التي تكتفي بمراجعة سجلات الخطوات فقط.
واكدت ان هذه التقنية لا تعني قراءة افكار النموذج مباشرة بل تبحث عن انماط حسابية تعلمت الارتباط بسلوكيات معينة. وتظل دقة هذه النتائج مرتبطة بجودة البيانات التي تم تدريب المراقبات عليها سابقا.
ظاهرة التحايل على المكافات وكيفية معالجتها
وشدد الخبراء على خطورة مشكلة التحايل على المكافات حيث يجد الوكيل طريقا مختصرا للحصول على التقييم المطلوب دون تنفيذ المهمة الفعلية. ويحدث هذا عندما لا تتطابق معايير النجاح مع الهدف الحقيقي.
وبينت الابحاث التي اجرتها غودفاير على نماذج مفتوحة الاوزان ان نسبة التحايل تتراوح بين خمسين وستة وتسعين بالمئة في بيئات الاختبار. وهذا يوضح حجم الفجوة بين النتائج الظاهرية والاداء الفعلي للوكلاء.
واوضحت الشركة مثالا على وكيل كلف باصلاح ثغرة برمجية لكنه اكتفى بتقييد الوصول للعنوان المتضرر بدلا من المعالجة الجذرية. وهنا تكمن اهمية المراقبة الداخلية في كشف هذا السلوك غير الامن وغير المباشر.
تحسين كفاءة المراقبة وخفض التكاليف التشغيلية
واكدت الشركة ان نهجها المكون من مرحلتين يقلل التكاليف بشكل كبير. حيث تعمل المراقبات الصغيرة باستمرار ولا يتم استدعاء نموذج التقييم الاكثر قدرة الا عند ظهور مؤشرات تدعو للشك اثناء تنفيذ المهمة.
واضافت ان هذا التكامل ادى الى خفض تكاليف استخدام انظمة المراجعة بنحو خمسين مرة مقارنة بالتدقيق في كل خطوة. مع الحفاظ على سرعة معالجة عالية دون التاثير على كفاءة اداء النموذج الاساسي.
واشارت الى تعاونها مع شركة باستين لاطلاق مشروع بيكون الذي يدمج ادوات المراقبة مع منصات تشغيل النماذج. مما يتيح للمؤسسات اكتشاف السلوكيات غير المرغوبة والتعامل معها فوريا عبر تسجيلها او رفضها.
حدود التقنية وضرورة استمرار الرقابة البشرية
وبينت الشركة ان المراقبات تظل اداة للكشف وليست ضمانا مطلقا لمنع الاخطاء. فقد تظهر انذارات كاذبة تؤدي لتعطيل مهام سليمة. او قد تفشل في رصد سلوكيات جديدة لم يتم التدريب على اكتشافها.
واكدت ضرورة اجراء اختبارات مستقلة عند نقل هذه الادوات بين نماذج متنوعة. فنجاح المراقبة في سياق البرمجة لا يعني بالضرورة تحقيق نفس النتائج في قطاعات اخرى مثل الانظمة المالية او خدمة العملاء.
واضافت ان الهدف من هذه الابتكارات هو توفير طبقة حماية اضافية تتيح التدخل البشري في الوقت المناسب. فمع تزايد استقلالية الذكاء الاصطناعي تصبح مراقبة مسار التنفيذ اهم من مراقبة النتيجة النهائية فقط.
