يحدد التشفير من يستطيع قراءة الرسالة أثناء انتقالها، بينما تحدد ضوابط الوصول وتصميم الوكيل ما يستطيع المستلم فعله بعد قراءتها.
يحدث هجوم حقن التعليمات، أو Prompt Injection، في تطبيق المراسلة عندما يحاول نص رسالة دفع مساعد الذكاء الاصطناعي إلى تجاهل القواعد الأساسية وتنفيذ طلب غير مأذون به. يحمي التشفير من طرف إلى طرف الرسالة أثناء انتقالها؛ لكن إذا سمح المستخدم لروبوت بقراءة المحادثة، أو كان الجهاز مصابًا، فلا يستطيع التشفير ضبط سلوك ذلك المستلم المصرّح له.
أهم النقاط
- يمنع التشفير من طرف إلى طرف قراءة الرسالة أثناء انتقالها، لا إساءة استخدام مساعد افتراضي مأذون له بالاطلاع على النص بعد فك تشفيره.
- قد تختبئ تعليمات الحقن غير المباشر داخل رسالة خاصة أو ملف أو نص مرفق بملف أو محتوى مقتبس، ثم تُعامل كتعليمات بعد معالجتها.
- يزداد خطر تسريب المعلومات من وكيل الذكاء الاصطناعي عندما يتمتع في الوقت نفسه بالوصول إلى المحادثات والذاكرة والأدوات الخارجية وإمكانية الإرسال أو تنفيذ العمليات.
- يُعد فصل البيانات عن التعليمات، وتقليل الصلاحيات، والتأكيد البشري، وتقييد المخرجات من أهم طبقات الدفاع؛ ولا تقدم أي طبقة منها وحدها ضمانًا كاملًا.
- وفق وثائق Livara، تُشفّر المحادثات المباشرة والمجموعات الخاصة المتوافقة ذات حالة E2EE النشطة من طرف إلى طرف؛ وقد تبقى مجموعة قديمة غير متوافقة خارج هذه التغطية. ولا تضمن هذه الحماية سلوك المساعد بعد تلقّيه النص.
كيف يعمل هجوم حقن التعليمات في تطبيق المراسلة؟
يعني Prompt Injection، أو «حقن التعليمات»، أن ينشئ المهاجم مدخلًا يتعامل معه النموذج اللغوي باعتباره أمرًا بدلًا من كونه بيانات، فينحرف عن السياسة الأساسية. ويعدّ دليل OWASP بشأن حقن التعليمات المدخلات المباشرة والمحتوى الخارجي من مسارات هذا الخطر. وفي نظام يعتمد على الوكلاء، قد يمتد انحراف الإجابة إلى استخدام غير مقصود للأدوات المتصلة.
في الهجوم المباشر، يطلب المستخدم بنفسه من الروبوت تجاهل القواعد السابقة. أما في الهجوم غير المباشر، فتُوضع التعليمات الخبيثة داخل محتوى يقرؤه المساعد لإنجاز مهمة أخرى: رسالة واردة، أو نص مقتبس، أو نص مرفق بملف، أو مستند، أو مخرجات أداة. وفي الحالة الثانية، لا يحتاج المهاجم إلى مشاركة الحساب نفسه مع وكيل الذكاء الاصطناعي؛ يكفي أن يصل محتواه إلى السياق الذي يعالجه الوكيل.
مثلًا، يطلب المستخدم من المساعد تلخيص الرسائل الجديدة. تحتوي إحدى الرسائل على نص ينتحل صفة «تعليمات النظام»، ويطلب من الوكيل إيقاف التلخيص وأخذ معلومات أخرى من السياق وإرسالها إلى وجهة خارجية. نجاح هذا السيناريو ليس مؤكدًا، بل يعتمد على النموذج وتصميم التطبيق والصلاحيات وضوابط المخرجات؛ لكن مجرد احتماله مهم أمنيًا لمساعد يمتلك أدوات.
يجب التمييز بين التلاعب بإجابة النموذج والهجوم على وكيل يستطيع تنفيذ إجراءات. قد تكون الإجابة الخاطئة مزعجة؛ أما الوكيل المأذون له بإرسال رسائل أو استرجاع ملفات أو استدعاء خدمة، فقد يحوّل التلاعب نفسه إلى إفشاء بيانات أو إجراء غير مرغوب فيه.
لماذا لا يعتمد أمان روبوت المحادثة على التشفير وحده؟
يعتمد أمان روبوت المحادثة بالذكاء الاصطناعي على سلسلة الثقة بأكملها: تطبيق المراسلة والجهاز والنموذج والذاكرة والأدوات وخادم المزوّد وسياسة الصلاحيات. ويغطي التشفير من طرف إلى طرف حدًا محددًا فقط: منع قراءة المحتوى الخاص بين المرسل والمستلمين المصرّح لهم.
عندما تصل الرسالة إلى الجهاز المصرّح له، يُفك تشفيرها لعرضها للمستخدم. وإذا استطاع المساعد الوصول إلى النص على الجهاز نفسه أو عبر اتصال مأذون به، فإنه يراه بعد فك التشفير. من منظور البروتوكول، قد يكون الروبوت أو التطبيق صاحب الصلاحية مستلمًا مشروعًا؛ ومن منظور المستخدم، قد يتمتع المستلم نفسه بسلطة أكبر مما ينبغي.
يمكن تلخيص الفرق كالتالي: يحدد التشفير من يستطيع قراءة الرسالة أثناء انتقالها، بينما تحدد ضوابط الوصول وتصميم الوكيل ما يستطيع المستلم فعله بعد قراءتها. وللتعرف على الحد الأول، يوضح دليل التشفير من طرف إلى طرف وما لا يحميه أن E2EE ليس علاجًا للبرمجيات الخبيثة أو المستلم غير الأمين أو الشاشة المعرضة للاختراق.
كذلك لا ينبغي اعتبار عبارة «تطبيق مراسلة مشفّر وذكاء اصطناعي» آمنة أو غير آمنة تلقائيًا. فوكيل محلي بلا ذاكرة دائمة ولا أدوات إخراج ليس على مستوى الخطر نفسه لروبوت سحابي يصل إلى السجل والملفات والحسابات الخارجية. وتحدد البنية ونطاق الصلاحيات النتيجة.
ما خطر وصول مساعد الذكاء الاصطناعي إلى المحادثات الخاصة؟
يُدخل وصول مساعد الذكاء الاصطناعي إلى المحادثات الخاصة محتوى لم يكن يراه سابقًا إلا المشاركون البشر في المحادثة ضمن نطاق جديد من الثقة. والخطر الأساسي هو أن يستطيع المساعد، إلى جانب قراءة النص، الاحتفاظ به أو دمجه ببيانات أخرى أو إخراجه عبر قناة أخرى.
قبل تفعيل هذه الإمكانية، ينبغي تقديم إجابات واضحة عن خمسة أسئلة:
- ما المحادثات والمرفقات والفترة الزمنية التي يقرؤها المساعد تحديدًا؟
- هل تتم المعالجة على الجهاز، أم ينتقل المحتوى إلى خادم آخر؟
- ما البيانات التي يحتفظ بها المزوّد، وهل يستخدمها للتدريب؟
- ما الأدوات التي يملكها الوكيل لإرسال الرسائل أو رفع الملفات أو البحث أو تنفيذ العمليات؟
- هل يحتاج كل إجراء حساس إلى تأكيد صريح من المستخدم؟
إن منح صلاحية «قراءة كل المحادثات» لميزة لا ينبغي أن تفعل سوى تلخيص رسالة محددة يخالف مبدأ الحد الأدنى من الصلاحيات. ويعني هذا المبدأ أن يحصل كل مكوّن على أقل قدر من الوصول اللازم للمهمة الحالية فقط. وتقلل الصلاحية المحدودة برسالة واحدة ومحادثة واحدة ومرة واحدة نطاق الضرر، مع أن محتوى ذلك النطاق نفسه قد يظل وسيلة للهجوم.
البيانات الوصفية منفصلة أيضًا عن المحتوى. ووفق وثائق Livara، تُخزّن بيانات وصفية تشغيلية، مثل المرسل والوجهة وأوقات التسليم، لأغراض التوجيه والمزامنة. ويشرح دليل البيانات الوصفية للمراسلة والمعلومات التي تكشفها هذا الحد. فقد يستنتج المساعد معلومات من أنماط التواصل وأوقاته، إضافة إلى النص؛ لذا يجب أن تراعي سياسة الوصول الاثنين معًا.
ما مسارات تسريب المعلومات من وكيل الذكاء الاصطناعي؟
يحدث تسريب المعلومات من وكيل الذكاء الاصطناعي عادةً عندما يرى الوكيل محتوى سريًا في سياقه، ويملك وسيلة لنقله إلى وجهة أخرى. لا ينقل حقن التعليمات البيانات بمفرده؛ فالتسريب يعتمد على اجتماع مدخل خبيث، ووصول إلى البيانات، وقناة إخراج.
رسالة أو ملف صادر
قد يضع الوكيل المعلومات في إجابة أو رسالة جديدة أو مسودة أو ملف أو طلب إلى خدمة خارجية. وإذا أرسل النظام المخرجات بلا قيود أو تأكيد من المستخدم، فقد يحاول المهاجم تحويل البيانات السرية إلى صيغة تبدو عادية.
الذاكرة طويلة الأمد
يحتفظ بعض الوكلاء بملخصات المحادثات أو التفضيلات أو النتائج السابقة لاستخدامها لاحقًا. وقد تحاول التعليمات الخبيثة إدخال بيانات إلى الذاكرة أو استرجاعها في جلسة أخرى. وتقلل الذاكرة قصيرة العمر، والفصل بين المستخدمين، وإمكانية الاطلاع عليها وحذفها الخطر، لكنها لا تزيل أخطاء النموذج.
استدعاء الأدوات
يمكن للوكيل الذي يمتلك أدوات أن يبحث أو يقرأ ملفات أو ينفذ عمليات أخرى مأذونًا بها. وينبغي أن تكون لقراءة الملفات وإرسال الرسائل وطلبات الشبكة صلاحيات مستقلة. بل قد يؤدي العرض التلقائي لرابط أو تحميل مورد خارجي في المخرجات إلى إنشاء مسار لخروج البيانات؛ فغياب زر «إرسال» وحده لا يكفي.
الجهاز المصاب
قد ترى البرمجيات الخبيثة ذات الصلاحيات الكافية النص المعروض أو الإشعارات أو ذاكرة التطبيق أو مدخلات المستخدم. وفي هذه الحالة، لا يحتاج المهاجم بالضرورة إلى كسر التشفير، بل يتجاوز الحماية عبر الطرف النهائي. وتُعد حماية نظام التشغيل والتحديثات وضبط الوصول ومراجعة التطبيقات المثبتة جزءًا من الدفاع، لا قدرات يوفرها بروتوكول المراسلة.
ما حدود تشفير Livara أمام هذا التهديد؟
تصف وثائق أمان Livara بروتوكول LVR1 للمحادثات المباشرة وLGS1 للمجموعات الخاصة المتوافقة. وقد تبقى مجموعة قديمة غير متوافقة خارج E2EE بصورة معلنة؛ وينبغي التحقق من حالة المحادثة نفسها. ولا تدخل القنوات العامة أيضًا ضمن نطاق المحادثات الخاصة المشفّرة من طرف إلى طرف.
حتى في محادثة مشفّرة من طرف إلى طرف، إذا أتاح المستخدم النص بعد فك تشفيره للمساعد، فإن تشفير الرسائل لا يتحكم في غرض المعالجة اللاحقة. كما أن فحص رقم الأمان هدفه التحقق من مفتاح جهة الاتصال، لا اكتشاف تعليمات خبيثة داخل نصها. يتناول هذا المقال فئة عامة من المخاطر، ولا يؤكد وجود اتصال محدد بالذكاء الاصطناعي في Livara أو سلامته.
هذا رسم مفاهيمي، وليس بنية معتمدة لـLivara؛ ولا تثبت الأقفال في الصورة أن المساعد لا يستطيع الوصول إلى النص المحدد.
ما البنية التي تحد من حقن التعليمات في تطبيق المراسلة؟
ينبغي أن تفترض البنية الآمنة أن الرسالة الواردة بيانات غير موثوقة، حتى لو جاءت من جهة اتصال معروفة داخل محادثة مشفّرة. يعزز التشفير التحقق من أصالة مسار الاتصال، لكنه لا يثبت أن محتوى المرسل آمن للتنفيذ التلقائي.
افصل البيانات عن التعليمات
يجب أن يحافظ التطبيق على تعليمات المطوّر الثابتة وطلب المستخدم الصريح والمحتوى المقروء من المحادثة في طبقات منفصلة. ويؤكد تحذير NCSC بشأن حقن التعليمات أنه لا ينبغي افتراض أن هذه المشكلة، مثل حقن SQL، لها حل نهائي مماثل. ومن المفيد وسم المحتوى بأنه «بيانات غير موثوقة»، لكن النماذج اللغوية لا تلتزم دائمًا بهذا الحد الدلالي من دون خطأ؛ لذلك يجب أن يصاحب الفصل ضوابط تعمل خارج النموذج.
قلّل صلاحيات الوكيل
لا يحتاج وكيل التلخيص إلى القدرة على إرسال الرسائل تلقائيًا أو قراءة كل الملفات. وينبغي أن تخضع الأدوات لقائمة سماح ونطاق محدود وبيانات اعتماد منفصلة ومدة صلاحية قصيرة. والصلاحية لمرة واحدة للمحتوى المحدد أفضل من الوصول الدائم، لأنها تقلل احتمال الوصول غير المقصود ونطاق التسريب معًا.
افحص المخرجات عبر بوابة ذات قواعد حتمية
يجب ألا يتخذ النموذج بنفسه القرار النهائي بشأن إرسال بيانات حساسة. يمكن لطبقة غير توليدية فحص الوجهة ونوع البيانات وحجم المخرجات والعملية المطلوبة وفق قواعد حتمية. ويجب تنفيذ القواعد البنيوية وقوائم الوجهات المسموح بها خارج النموذج؛ أما التعرف الدلالي على جميع المعلومات السرية فقد يظل عرضة للخطأ. ومن الضروري أيضًا تسجيل الحد الأدنى من الأحداث وإصدار التنبيهات وإتاحة الإيقاف.
اطلب تأكيدًا بشريًا للإجراءات الحساسة
قراءة المسودة ليست مثل إرسالها. ينبغي أن يسبق إرسال الرسائل أو مشاركة الملفات أو إضافة أعضاء أو تغيير إعدادات الحساب أو نقل البيانات إلى خدمة خارجية معاينة واضحة وتأكيد واعٍ. وقد تحول التأكيدات المبهمة أو الكثيرة الموافقة إلى عادة نقر؛ لذلك يجب أن تعرض الواجهة البيانات والوجهة والنتيجة بدقة.
شغّل الوكيل في بيئة محدودة
يحد فصل العمليات، ومنع الوصول إلى الشبكة افتراضيًا، والتخزين المؤقت، وبيانات الاعتماد الضيقة النطاق من أثر الفشل. لا تزيل هذه الضوابط حقن التعليمات، بل تمنع أن تتحول إجابة منحرفة مباشرةً إلى وصول واسع.
ماذا يفعل المستخدمون والمديرون لحماية روبوت المحادثة؟
ينبغي أن يتعامل المستخدمون مع كل اتصال بالذكاء الاصطناعي باعتباره مستلمًا جديدًا للبيانات الخاصة. كما ينبغي أن يراجع المديرون تدفق البيانات وعمليات الوكيل قبل نشره، وأن يراقبوه أثناء التشغيل.
للاستخدام الشخصي:
- اختر الرسالة أو الملف اللازم فقط، ولا تمنح الوصول إلى السجل بأكمله.
- راجع مكان المعالجة ومدة الاحتفاظ والاستخدام للتدريب وطريقة حذف البيانات.
- أبقِ الإرسال التلقائي للرسائل أو الملفات معطّلًا، ما لم توجد ضرورة واضحة.
- حافظ على تحديث الجهاز والمتصفح والتطبيقات، وراجع الصلاحيات الحساسة.
للمؤسسات:
- اكتب نموذج تهديدات يغطي بصورة منفصلة المرسل الخبيث وعضو المجموعة غير الأمين وخدمة النموذج والأداة الخارجية والجهاز المصاب.
- سجّل استدعاءات الأدوات وتغييرات الصلاحيات ووجهات المخرجات وتأكيد المستخدم، مع أقل قدر لازم من البيانات الحساسة.
- اختبر مدخلات عدائية في الرسائل والمستندات والنصوص المقتبسة والصور التي تحتوي على نص والمحتوى المسترجع.
- حدّد لكل وكيل سقفًا للعمليات ومعدلًا للطلبات ووجهات مسموحًا بها ومفتاح إيقاف طارئ.
- اجعل التوقف الآمن هو السلوك الافتراضي عند الفشل: إذا كانت السياسة مبهمة، فعلى الوكيل أن يتوقف لا أن يخمّن.
لا تصنع أي قائمة أمانًا كاملًا. تعتمد النتيجة على التنفيذ والنموذج والإعدادات وسلوك المستخدم وتطور أساليب الهجوم. وهدف الدفاع الجيد هو تقليل الصلاحيات وكشف الانحراف والحد من الضرر.
هل يمكن الجمع بين المراسلة المشفّرة والذكاء الاصطناعي بأمان؟
نعم، يمكن أن يعمل تطبيق مراسلة مشفّر والذكاء الاصطناعي معًا بمخاطر مضبوطة، بشرط أن تكون للمساعد أقل صلاحيات لازمة، وألا ينفذ إجراءً حساسًا من دون تأكيد. ومع ذلك، ينشئ ربط أي نموذج بمحتوى خاص نطاقًا جديدًا من الثقة، ولا ينبغي إخفاء ذلك خلف تسمية E2EE.
يُبقي التصميم الأقل خطرًا المعالجة على الجهاز قدر الإمكان، ويحصر السياق فيما يختاره المستخدم صراحةً، ويجعل الذاكرة قصيرة العمر، ويفصل أدوات الإخراج. لكن المعالجة المحلية ليست ضمانًا مطلقًا أيضًا: فالجهاز المصاب أو النموذج غير الآمن أو الصلاحيات الواسعة تظل مصادر للخطر.
يجب أن يستطيع المستخدم معرفة البيانات التي تصل إلى النموذج، ومكان تشغيله، ومدة احتفاظه بالمعلومات، وما يستطيع فعله. وإذا لم يوضح المنتج إجابات هذه الأسئلة، فلا ينبغي استخلاص حكم أمني قاطع من عبارات مثل «ذكاء اصطناعي خاص».
وثائق البروتوكول أو مطابقة تجزئة تطبيق ليست اختبارًا لأمان مساعد متصل. قبل تفعيل الاتصال، راجع بصورة مستقلة صلاحيات الميزة نفسها ومسار بياناتها. كما أن نجاح اختبار واحد لا يغطي وحده كل المدخلات المستقبلية.
أسئلة شائعة
هل يوقف التشفير من طرف إلى طرف حقن التعليمات؟
لا. يخفي التشفير من طرف إلى طرف الرسالة عن الوسطاء بين المرسل والمستلمين المصرّح لهم. وإذا استطاع روبوت مأذون له أو تطبيق على الجهاز أو برمجية خبيثة الوصول إلى النص بعد فك تشفيره، فإنه يستطيع معالجته. ويتطلب الحد من حقن التعليمات تقييد صلاحيات الوكيل وأدواته وذاكرته ومخرجاته.
هل تلخيص محادثة خاصة بالذكاء الاصطناعي خطير؟
يعتمد الخطر على البنية. فالتلخيص المحلي لرسالة مختارة، من دون ذاكرة أو أدوات إخراج، ينطوي على نطاق خطر أقل من روبوت سحابي يتمتع بوصول دائم إلى كل المحادثات. قبل الاستخدام، راجع مكان المعالجة والاحتفاظ بالبيانات ونطاق الصلاحيات وإمكانية الإرسال التلقائي.
هل قد تحمل رسالة من جهة اتصال معروفة حقنًا للتعليمات؟
نعم. الثقة بهوية المرسل ليست مثل الثقة بكل محتواه؛ فقد يكون حسابه قد اختُرق، أو ربما أعاد توجيه نص خبيث دون قصد. ويجب التعامل مع كل محتوى يقرؤه الوكيل باعتباره بيانات غير موثوقة، حتى إذا كان داخل محادثة مشفّرة ومتحقق من أصالتها.
هل يخفي LVR1 وLGS1 المعلومات عن مساعد الذكاء الاصطناعي؟
في المحادثات المحمية فعلًا بـLVR1 أو LGS1 مع حالة E2EE نشطة، تهدف هذه البروتوكولات إلى إخفاء المحتوى عن الوسطاء الذين لا يملكون المفاتيح. وإذا سمح المستخدم أو التطبيق للمساعد بقراءة الرسالة بعد فك تشفيرها، فلا تمنع هذه البروتوكولات ذلك الوصول المأذون به. لذلك يجب تقييم أمان المساعد بصورة منفصلة عن أمان نقل الرسائل.
ما أول خطوة لتقليل تسريب المعلومات من وكيل الذكاء الاصطناعي؟
قلّل أولًا نطاق وصول الوكيل: الرسالة المحددة فقط، في تلك المرة فقط، ومن دون إمكانية الإرسال التلقائي. ثم وفّر معاينة وتأكيدًا بشريًا للعمليات الحساسة، وقيّد وجهات المخرجات، وسجّل استدعاءات الأدوات. تقلل هذه الطبقات الخطر، لكنها لا توفر ضمانًا مطلقًا.
