يستطيع وكيل الذكاء الاصطناعي قراءة الطلب والتخطيط واستدعاء الأدوات وتغيير نظام خارجي. هذا المزيج قد يحول خطأ النموذج أو التعليمات المتلاعب بها إلى حادث سيبراني. قد تؤثر صفحة مضللة في الوكيل، أو تكشف صلاحية واسعة سجلات حساسة، أو يُنفذ استدعاء صحيح في سياق تجاري خاطئ.

لا يعني ذلك تجنب الوكلاء، بل توسيع حد الأمان ليشمل النموذج والسياق والهوية والأدوات والذاكرة والموافقات والمخرجات. تظل مبادئ الأمن التقليدية أساسية، لكن سلوك الوكيل يفرض تطبيقها على مستوى سير العمل.

ابدأ بنموذج تهديد لمهمة واحدة

لا تبدأ بعبارة «أمّن الذكاء الاصطناعي». اختر سير عمل واحداً ووثّق:

  • الهدف التجاري والمخرج المتوقع
  • المستخدمين والأطراف المتأثرة
  • البيانات التي تُقرأ أو تُنشأ أو تتغير
  • النماذج والأدوات والواجهات والمحتوى الخارجي
  • هوية الوكيل وبيانات دخوله
  • الأفعال الممكنة وأثرها
  • الموافقة البشرية ومسار التعافي

ثم اسأل كيف قد تتضرر السرية والسلامة والتوافر. هل يمكن أن يكشف الوكيل بيانات، أو يعدل سجلاً بشكل خاطئ، أو يرسل رسالة بلا صلاحية، أو ينفذ شيفرة ضارة، أو يتعطل، أو ينشئ فعلاً لا يمكن التراجع عنه؟

يشير تحليل NIST لعام 2026 لآراء المختصين إلى اتفاق واسع على أن الوكلاء يخلقون تهديدات جديدة، مع بقاء مبادئ الأمن القائمة مهمة وحاجتها إلى التكييف. كما أبرز NIST الهوية والتفويض والتدقيق وعدم التنصل والحد من حقن التعليمات كمجالات مهمة.

امنح كل وكيل هوية مستقلة

لا تسمح للوكيل بالعمل عبر حساب مدير مشترك. أنشئ لكل وكيل إنتاج هوية خدمة مرتبطة بمالك وغرض وبيئة. وثّق كل استدعاء، وطبّق التفويض على كل فعل للأداة بصورة مستقلة.

استخدم بيانات دخول قصيرة العمر، واحفظ الأسرار في خزنة مُدارة ودوّرها. لا تضع كلمات المرور أو المفاتيح داخل الطلبات أو الملفات أو ذاكرة النموذج. افصل هويات التطوير والاختبار والإنتاج، وأوقف الوصول عند إنهاء سير العمل أو مغادرة المالك.

يجب أن تظهر هوية الوكيل في سجلات الأنظمة اللاحقة، حتى يستطيع المراجع التمييز بين طلب المستخدم، واقتراح الوكيل، وموافقة الإنسان، وما نفذه النظام.

طبّق أقل صلاحية على مستوى الفعل

عبارة «الوصول إلى CRM» واسعة جداً. اسمح بالسجلات والعمليات اللازمة فقط. قد يقرأ وكيل الدعم جزءاً محدوداً من سجل العميل لكنه لا يصدّر القاعدة. وقد يستعلم وكيل التقارير من جداول معتمدة من دون تغيير الحملات.

ابدأ بالقراءة فقط. أضف صلاحية كتابة لعملية واحدة قابلة للتراجع بعد الاختبار. ضع حدوداً للمعاملة والوقت والحجم والتكلفة، وقيّد الوجهات وأنواع الملفات. اطلب موافقة إضافية للحذف والنشر والمدفوعات وتغيير الصلاحيات والرسائل الخارجية وغيرها من الأفعال عالية الأثر.

لا تعتمد على جملة «لا تحذف البيانات» داخل الطلب. يجب ألا توفر طبقة الأدوات الحذف إلا عبر مسار اعتماد مستقل.

تعامل مع المحتوى المسترجع كمدخل غير موثوق

قد يظهر حقن التعليمات داخل صفحة أو بريد أو مستند أو تذكرة أو نتيجة أداة. وقد يأمر الوكيل بتجاهل هدفه أو كشف سر أو استدعاء أداة خطرة. وبما أن التعليمة تأتي عبر البيانات لا المستخدم، فقد لا يكتشفها مرشح المدخلات المعتاد.

افصل التعليمات الموثوقة عن المحتوى غير الموثوق في المعمارية. صنّف المحتوى حسب المصدر، وقيّد نتائج الأدوات التي تؤثر في الأفعال، واطلب دليلاً من مصادر معتمدة. استخدم قوائم سماح ومعلمات منظمة بدلاً من السماح للنموذج ببناء أوامر أو روابط حرة.

افحص الملفات ونظفها عند الحاجة، لكن لا تفترض أن كاشفاً واحداً يحل المشكلة. اختبر الوكيل كاملاً بحالات هجومية، وصمم النظام بحيث يواجه التلاعب الناجح حواجز الصلاحيات والموافقة.

قيّد الأدوات والتنفيذ

ضع كل أداة خلف واجهة ضيقة. تحقق من النوع والطول والمدى وملكية السجل وقواعد العمل خارج النموذج. استخدم أوامر قاعدة بيانات ومعلمات آمنة، وشغّل الشيفرة في بيئة معزولة بلا شبكة أو ملفات غير لازمة، مع حدود للوقت والذاكرة والتكلفة.

اعرض على المعتمد الإجراء الفعلي قبل التنفيذ. «أرسل العرض المرفق إلى هذه العناوين الثلاثة» قابل للمراجعة؛ أما «واصل المهمة» فليس كذلك. اربط الموافقة بالفعل نفسه حتى لا يغير الوكيل المعلمات بعد ذلك.

في الأنظمة متعددة الوكلاء، وثّق الرسائل بينهم، وحدد من يفوض من، وامنع إنشاء المهام الدائري أو غير المضبوط، وانقل سياق الصلاحية عبر عمليات التسليم.

اضبط الذاكرة وتسرب البيانات

قد تحفظ ذاكرة الوكيل تعليمة ضارة أو محتوى حساساً أو حقيقة قديمة. حدد ما يُخزن ولماذا وأين وكم المدة ومن يستطيع حذفه. افصل العملاء والبيئات. لا تعتبر الملخص الذي أنشأه النموذج بديلاً آمناً للبيانات الحساسة الأصلية.

احذف البيانات الشخصية والسرية غير اللازمة قبل استدعاء النموذج، وامنع الأسرار في السجلات، وراجع الأدوات والمعالجين وشروط الاحتفاظ. استخدم ضوابط خروج تمنع سير العمل المخترق من إرسال البيانات إلى وجهة عشوائية.

راقب القرارات والنتائج

سجّل طلب المستخدم وإصدار الوكيل والنموذج والتعليمات والمصادر واستدعاءات الأدوات والموافقات والنتائج والأخطاء، مع إخفاء البيانات المناسبة. أنشئ تنبيهات للحجم أو الوجهة غير المعتادة، وفشل الصلاحيات، والإعادات المتكررة، وارتفاع التكلفة، والعمل خارج الأوقات الطبيعية.

تابع إخفاقات الاختبار الجسيمة، ومحاولات الفعل غير المصرح، وتجاوزات الموافقة، واستخدام التراجع، وزمن الاكتشاف والاحتواء، والأسباب المتكررة. راجع عينات ناجحة أيضاً؛ فالخطأ الصامت قد لا يطلق تنبيهاً.

استعد للاحتواء والتعافي

يحتاج كل وكيل إنتاج إلى مالك وزر إيقاف ومسار يدوي. وثّق إلغاء بيانات الدخول وإيقاف الطوابير وعزل البيئة وحفظ الأدلة وإبلاغ المسؤولين وعكس التغييرات. اختبر ذلك قبل الإطلاق.

عند الحادث، اعتبر سياق النموذج ونتائج الأدوات والذاكرة والأنظمة المتصلة أدلة. أصلح حد النظام لا نص الطلب فقط؛ فإضافة تحذير لا تعالج صلاحية مفرطة أو أداة غير آمنة.

بوابة اعتماد قبل الإنتاج

لا تعتمد الوكيل إلا عندما:

  • يوثق سير العمل ونموذج التهديد
  • تتضح هويته وملكيته
  • تُختبر أقل الصلاحيات
  • ينفصل المحتوى غير الموثوق عن السلطة
  • تحتاج الأفعال المؤثرة موافقة بشرية محددة
  • تضبط الأسرار والذاكرة والاحتفاظ
  • تنجح حالات الهجوم والفشل ضمن حد القبول
  • تُختبر السجلات والتنبيهات والإيقاف والتراجع والمسار البديل

أعد المراجعة بعد أي تغيير في النموذج أو التعليمات أو الأداة أو الصلاحية أو مصدر البيانات أو الواجهة.

تستطيع الوكلاء تقديم سرعة مفيدة، لكن يجب أن تتوسع السلطة مع الدليل فقط. تساعدك DEMA في اختيار مهمة محددة وتصميم الضوابط ومقاييس التشغيل. اطلب تدقيق نمو مجاني أو احجز استشارة مجانية لأتمتة تحقق قيمة قابلة للقياس مع مخاطر مضبوطة.

المصادر

المصادر