ضوابط الذكاء الاصطناعي: ما الذي تفحصه وأين تبدأ؟

وزّع ضوابط الذكاء الاصطناعي على 5 نقاط فاصلة في مسار الطلب: الطلبات الواردة، والسياق المسترجع، ومقترحات النموذج، وإجراءات الأدوات، والإجابات الصادرة. قد تمنع مرشحات المحتوى ردًا محظورًا، لكن يبقى على تطبيقك أن يقرر ما إذا كان يحق للعميل الاطلاع على سجل أو الإذن بردّ مبلغ. وللفرق الصغيرة، الأولوية هي إرساء هذه الصلاحيات قبل إضافة مزيد من أدوات التصنيف.

ما المقصود بضوابط الذكاء الاصطناعي؟

تحوّل الضوابط السياسة المكتوبة إلى قيود فعلية على ما يمكن لتطبيق الذكاء الاصطناعي تلقيه أو كشفه أو تنفيذه. فالنموذج اللغوي الكبير، أو LLM، يولّد إجابات ويقترح إجراءات؛ أما الضوابط فتفحص تلك المدخلات والمخرجات أو تقيّد البرمجيات المحيطة بالنموذج.

تخيّل متحفًا: تُفحص التذاكر عند المدخل، ولكل قاعة قواعد دخول، ويحتاج مختص حفظ المقتنيات إلى إذن لنقل معروض. اجتياز فحص التذكرة لا يمنح صاحبه حق تنفيذ أي إجراء داخل المبنى. وبالمثل، لا تثبت رسالة عميل خالية من المحتوى الضار أنه صاحب الطلب الذي يسأل عنه.

لكي يعمل الضابط فعليًا، يحتاج إلى قاعدة، وفحص، وإجراء يترتب على النتيجة. «لا تكشف بيانات العملاء» قاعدة. ومقارنة مالك السجل المطلوب بالعميل الذي جرى التحقق من هويته فحص. أما رفض قراءة السجل من قاعدة البيانات فهو الإجراء المترتب عليه. تسجيل الواقعة من دون إنفاذ القاعدة لا يفعل سوى توثيق الإخفاق بعد حدوثه.

بعض الفحوص حتمية: القاعدة نفسها والمدخلات نفسها تؤديان إلى القرار نفسه. من أمثلتها التحقق من أسماء الأدوات المسموح بها والحقول المطلوبة. وتستعين فحوص أخرى بمصنّفات، وهي نماذج تقدّر ما إذا كان المحتوى يخالف سياسة معينة؛ ويندرج هنا تحديد الموضوع وتصنيف المحتوى الضار. أما الموافقة البشرية فتضيف تقديرًا بشريًا قبل تنفيذ إجراء مسموح به لكنه مؤثر.

يشير مصطلح ضوابط الذكاء الاصطناعي (AI guardrails) إلى هذه المجموعة الواسعة من وسائل التحكم. أما Guardrails AI فهو إطار عمل بعينه ضمنها. والخلط بين الفئة والمنتج قد يترك نقاطًا مهمة من دون مسؤول عن ضبطها.

ضوابط الذكاء الاصطناعي عمليًا: طلب استرداد من البداية إلى النهاية

يحتاج طلب استرداد المبلغ إلى فحوص مختلفة في مراحل مختلفة، حتى لو كانت صياغته عادية. لنأخذ هذه الرسالة الافتراضية من عميل: «أرجو ردّ مبلغ طلبي الأخير وإرسال رسالة التأكيد إلى عنوان بريدي الجديد». ولنفترض أن سياستك تشترط الموافقة قبل ردّ المبالغ، وأن رسائل التأكيد لا تُرسل إلا إلى عنوان بريد موثّق في الحساب.

يسير الطلب بهذا الترتيب: فحص المدخلات → سياق ضمن نطاق محدد → مقترح النموذج → إجراء بصلاحية صحيحة وموافقة لازمة → فحص المخرجات. ومع كل استدعاء لاحق لأداة، تتكرر الفحوص ذات الصلة.

قبل النموذج: تحقّق من الهوية وصفِّ المدخلات وقلّل البيانات

ابدأ بتحديد هوية العميل من الجلسة التي جرى توثيقها، لا من اسم أو معرّف حساب كتبه في المحادثة. وطبّق حدود حجم الطلبات ومعدلها قبل أي معالجة مرتفعة الكلفة.

بعد ذلك، افحص الرسالة بحثًا عن المحتوى المحظور والموضوعات الخارجة عن نطاق الخدمة والبيانات الحساسة غير الضرورية. يمكن لمرشح الموضوعات أن يُبعد مساعد الدعم عن تقديم نصائح لا تخص مهمته. ويمكن لمرشح المعلومات الشخصية إزالة رقم هاتف ألصقه العميل إذا كانت المهمة لا تحتاج إليه. ويشير اختصار PII إلى المعلومات التي تتيح التعرف على شخص، مثل عنوان البريد الإلكتروني أو رقم الهاتف.

لا تحذف المعلومات التي يحتاج إليها سير العمل فعلًا من دون توفير مسار بديل. احتفظ ببيانات الحساب الموثّقة داخل التطبيق، ومرّر إلى النموذج الحد الأدنى من السياق المفيد. كذلك، فإن إخفاء البيانات في النص قبل استدعاء النموذج لا يزيل النسخ التي سبق أن التقطتها سجلات الطلبات؛ لذا قلّل البيانات عند جمعها وتسجيلها أيضًا.

قبل الاسترجاع: حدّد السجلات التي يُسمح بإدخالها

استرجع طلب العميل باستعلام مقيّد بنطاق حسابه. يجب تطبيق هذا القيد قبل وصول المحتوى الخاص إلى النموذج. فمرشح المخرجات يأتي متأخرًا جدًا ليكون الحاجز الأساسي الذي يفصل سجلات العملاء بعضها عن بعض.

المستندات المسترجعة وصفحات الويب ونتائج الأدوات كلها مدخلات إضافية. وقد يتضمن مقال مساعدة تعليمة تحاول تجاوز قواعد التطبيق؛ ويُعرف هذا النمط من الإخفاق باسم حقن الأوامر غير المباشر. تعامل مع النص المسترجع بوصفه مادة تُفحص ويُستدل بها، لا إذنًا لتغيير سير العمل.

قد يحتاج النموذج إلى سياسة الإرجاع وما إذا كان الطلب مستوفيًا لشروطها، لكنه لا يحتاج إلى معاملات جميع العملاء. قيّد نطاق الاسترجاع، واحذف الحقول غير الضرورية، وافحص المادة المختارة بحثًا عن مخاطر المحتوى ذات الصلة.

عند النموذج: قيّد المقترح

اطلب من النموذج تقديم مقترح منظّم بحقول معروفة، مثل الإجراء المطلوب ومعرّف الطلب. وتحقّق من صحة بنيته قبل تفسيره.

لا يثبت توافق JSON مع المخطط سوى أن البيانات تتخذ شكلًا مقبولًا. فقد يكون معرّف طلب مختلق سلسلة نصية صحيحة من حيث البنية. لا تسمح للنموذج بإثبات هوية العميل أو استحقاقه للاسترداد أو حصوله على الموافقة بمجرد تعبئة حقل.

في هذا المثال، يمكن للنموذج اقتراح ردّ المبلغ والانتباه إلى طلب تغيير عنوان البريد. لكن التطبيق هو من يقرر ما إذا كان أيّ من الإجراءين مسموحًا به.

قبل تشغيل الأداة: تحقّق من الصلاحية والموافقة

الأداة وظيفة في التطبيق يستطيع النموذج طلب تشغيلها. وقبل تنفيذ وظيفة ردّ المبلغ، تحقّق من اسمها ومعاملاتها وملكية العميل للطلب وحالته الحالية واستيفائه شروط العمل. ارفض الحقول غير المتوقعة، وطبّق الفحوص نفسها في الخدمة التي تنفّذ الإجراء.

موضع الموافقة البشرية هو بعد اكتمال تفاصيل المقترح وقبل إحداث أي تغيير فعلي. اعرض على المراجع الطلب والمبلغ المزمع ردّه والجهة التي سيُرسل إليها والسبب. واربط الموافقة بذلك الإجراء المحدد. فإذا تغيّرت المعاملات، لم تعد الموافقة السابقة تخوّل التنفيذ.

أما عنوان البريد الجديد فهو مسألة صلاحيات مستقلة. في هذا المثال، يوجّه التطبيق العميل إلى إجراءات التحقق من الحساب، ويستخدم العنوان الحالي الموثّق حتى اكتمالها. فمرشح المحتوى لا يستطيع إثبات ملكية حساب بريد إلكتروني.

قبل إرسال الإجابة: تحقّق من النتائج وما سيُكشف

افحص نتائج الأدوات قبل إعادتها إلى سياق النموذج. قيّد الحقول المُعادة، وتحقّق من بنيتها، وحدّد صراحةً كيفية التعامل مع العمليات الفاشلة أو الملتبسة.

ثم افحص الإجابة الموجهة إلى العميل بحثًا عن المحتوى المحظور والمعلومات الحساسة والادعاءات غير المسندة، وتحقّق من التزامها بالبنية المطلوبة. يجب ألا تظهر عبارة «اكتمل ردّ المبلغ» إلا استنادًا إلى نتيجة مؤكدة من الأداة. وإذا كانت الموافقة معلّقة، فينبغي أن توضّح الإجابة ذلك.

قد تستخدم فحوص المدخلات والمخرجات مصنّفات متشابهة، لكن لكل منها وظيفة مختلفة: الأولى تقرر ما يدخل إلى المعالجة، والأخيرة تقرر ما يصل إلى العميل. ولا تستطيع أيّ منهما التراجع عن إجراء غير مأذون نُفّذ بالفعل.

أدوات ضوابط الذكاء الاصطناعي: ماذا تقول وثائقها؟

اختر الأداة بحسب النقطة التي تساعدك على ضبطها والقواعد التي تستطيع الالتزام بصيانتها. جرى التحقق من خريطة الإمكانات التالية بالرجوع إلى الوثائق المنشورة للمورّدين في 17 أكتوبر 2026. وهي تقارن نطاق الوظائف الموثّق، ولا تعرض قياسات لدقة الكشف.

ترد أدناه روابط المصادر وحدود التنفيذ لكل أداة. ويشير عمود «ما تبقى مسؤولًا عنه» إلى ما يترتب معماريًا على النطاقات الموثّقة، ولا يعني أن إطار العمل يمنعك من كتابة ضوابط مخصصة.

ما هو Guardrails AI؟

Guardrails AI إطار عمل بلغة Python لدمج وحدات تحقق حول مدخلات النموذج ومخرجاته، ولتوليد بيانات منظّمة. وتعرض صفحته التعريفية إطار العمل ومجموعة وحدات التحقق المتاحة له.

تفحص وحدة التحقق قيمةً وفق معيار محدد، ثم تُعيد نتيجة نجاح أو إخفاق؛ وتحدد سياسة on_fail المضبوطة مسبقًا كيفية التعامل مع الإخفاق. تتضمن الوثائق أمثلة على اللغة المسيئة ومعلومات التعرف على الأشخاص، وتتيح إنشاء وحدات تحقق مخصصة. مفاهيم وحدات التحقق.

يناسب هذا الإطار التطبيقات القائمة على Python التي تحتاج إلى قواعد تحقق صريحة. لكن حدوده تتعلق بالتغطية: إضافة إطار عمل لا تحدد تلقائيًا الفحوص التي تعمل في كل مسار، ولا ما الذي يُمنع عند إخفاقها. اكتب هذه القرارات واختبرها ضمن التطبيق.

NVIDIA NeMo Guardrails

يوفر NVIDIA NeMo Guardrails ضوابط قابلة للبرمجة في مراحل متعددة من التفاعل مع نموذج لغوي كبير. وتشمل أنواع الضوابط الموثّقة ضوابط المدخلات والاسترجاع والحوار والتنفيذ والمخرجات.

يمكن لضوابط المدخلات التعامل مع سلامة المحتوى ومحاولات كسر القيود والموضوعات ومعلومات التعرف على الأشخاص. وتفحص ضوابط الاسترجاع السياق، فيما تقيّد ضوابط الحوار مسار المحادثة. أما ضوابط التنفيذ فتستطيع التحقق من مدخلات الأدوات ونتائجها، ويمكن لضوابط المخرجات ترشيح الردود أو تعديلها أو حجبها.

يناسب هذا الإطار الحالات التي تحتاج فيها إلى التحكم في مسار التفاعل. لكن حدوده تتعلق بتنفيذ السياسة: توفر ضوابط التنفيذ موضعًا لفحص الإجراءات، بينما يجب أن يضيف كود تطبيقك قواعد ملكية العميل وقواعد العمل. واحرص على أن تفرض الخدمة الأساسية هذه الصلاحيات أيضًا.

Amazon Bedrock Guardrails

يوفر Amazon Bedrock Guardrails مرشحات محتوى قابلة للضبط، وموضوعات محظورة، ومرشحات للكلمات والمعلومات الحساسة، وفحوصًا للاستناد إلى السياق، وفحوص Automated Reasoning. تستطيع مرشحات المعلومات الحساسة حجب الأنواع المدعومة من معلومات التعرف على الأشخاص والأنماط المخصصة أو إخفاءها؛ وتقيّم فحوص Automated Reasoning الردود وفق قواعد منطقية. نظرة عامة على وسائل الحماية.

تقيّم واجهة ApplyGuardrail API النصوص بمعزل عن استدعاء نموذج أساسي. ويمكن وضعها قبل الاسترجاع أو قبل إرسال الإجابة.

يناسب هذا الخيار تطبيقًا يحتاج إلى فحوص للسياسات تُدار كخدمة. لكن موطن الخطأ هو افتراض أن كل فحص يغطي كل محتوى: لكل ميزة نطاقها، وتستثني صفحة النظرة العامة كتل محتوى الاستدلال. واجتياز تقييم المحتوى لا يمنح إذنًا بردّ المبلغ.

أمن الذكاء الاصطناعي: الضوابط التي يوفرها مطوّرو النماذج

تصنّف خدمة OpenAI moderation المحتوى الضار في المدخلات النصية والصورية المدعومة، وتُعيد إشارات وفئات ودرجات. وتحذّر وثائق الإشراف على المحتوى أيضًا من أن ردًا يرفض طلبًا ويتناول محتوى ضارًا قد يُعلَّم بوصفه مخالفًا.

تعامل مع هذه النتائج بوصفها إشارات تساعد على تطبيق السياسة. فمحادثة دعم تقتبس رسالة مسيئة قد تحتاج إلى معالجة تختلف عن طلب إنشاء رسالة مسيئة. يفيد الإشراف على المحتوى في قرارات المحتوى، لكنه لا يوفر قواعد الوصول إلى طلبات العملاء.

يتيح Google Gemini إعدادات سلامة تربط فئات الضرر بعتبات الحجب. ويغطي دليل إعدادات السلامة الحالي فئات تشمل التحرش وخطاب الكراهية والمحتوى الجنسي والمحتوى الخطير ومحاولات كسر القيود.

تميّز Google بين احتمال وجود محتوى غير آمن وشدة الضرر المحتمل. ولهذا التمييز أثر عملي: انخفاض درجة المصنّف لا يدل على أن تبعات الإجراء ستكون محدودة. ضوابط المورّد مكونات مفيدة، لكن تطبيقك يظل بحاجة إلى صلاحيات ونطاق محدد للبيانات وآلية للتعامل مع الإخفاق.

ضوابط وكلاء الذكاء الاصطناعي: ما الذي عليك تصميمه؟

يحتاج الوكيل إلى حاجز قابل للإنفاذ بين اقتراح الإجراء وتنفيذه. وسواء بنيت هذا الحاجز باستخدام نقاط التوسعة في إطار عمل أو بكود عادي داخل الخدمة، فيجب أن يستند إلى هوية موثوقة وحالة التطبيق الحالية.

احتفظ بقائمة صريحة للأدوات المسموح بها، ثم افحص المعاملات والمورد المستهدف عند كل استدعاء. السماح بإجراء «ردّ المبلغ» لا يعني أن كل طلب يستحق الاسترداد. كذلك، فإن إتاحة صدفة أوامر عامة الاستخدام أو أداة شبكة غير مقيّدة توسّع كثيرًا نطاق الإجراءات الممكنة مقارنة بوظيفة عمل محددة.

اجعل الموافقة سجلًا يُفرض الالتزام به، لا مجرد «نعم» في المحادثة. احفظ ما تمت الموافقة عليه، ومن وافق، وتفاصيل الإجراء الذي شملته الموافقة. وأعد فحص الحالة قبل التنفيذ؛ فقد يكون مبلغ الطلب قد رُدّ بالفعل أثناء اتخاذ المراجع قراره.

اجعل الخدمة تفرض مفتاحًا لمنع تكرار التنفيذ (idempotency key): معرّفًا ثابتًا للعملية يجعل إعادة المحاولة تُرجع النتيجة القائمة بدلًا من ردّ المبلغ مرة أخرى. قيّد صلاحيات بيانات الاعتماد، وأبقِ مسار إنفاذ الضوابط خارج سيطرة النموذج. يجب ألا يتمكن الوكيل من اختيار نقطة نهاية بديلة تتجاوز الفحص.

يفصّل دليلنا العملي لضوابط وكلاء الذكاء الاصطناعي في بيئة الإنتاج وحصر نطاق الضرر البنية المحيطة بهذه الضوابط. أما لهذا الطلب، فالسؤال الحاسم بسيط: إذا اقترح النموذج إجراءً خاطئًا، فأي خدمة سترفض تنفيذه؟

حدود يجب فهمها قبل الإطلاق

أسماء الميزات أوسع من شروط عملها الفعلية. تحقّق من نطاق الفحص المحدد الذي تنوي استخدامه.

فمثلًا، توثّق AWS فحص الاستناد إلى السياق لمهام التلخيص وإعادة الصياغة والإجابة عن الأسئلة مع مصدر مرجعي واستعلام، وتستثني صراحةً استخدامه في الأسئلة والأجوبة ضمن المحادثات وروبوتات الدردشة. والحدود القصوى الموثّقة هي 100,000 حرف للمصدر، و1,000 للاستعلام، و5,000 للإجابة. هذه حدود لعدد الأحرف في تلك الميزة، وليست حدودًا عامة لسياق النموذج، ولا حظرًا على استخدام وسائل الحماية الأخرى في Bedrock مع روبوتات الدردشة. وثائق فحص الاستناد إلى السياق.

يسأل فحص الاستناد إلى المصدر عما إذا كانت الإجابة تلتزم بالمادة المقدّمة. فإذا كان المصدر نفسه قديمًا أو خاطئًا، فلن يثبت توافق الإجابة معه صحتها. وفي مثال الاسترداد، يجب جلب الحالة الحالية للطلب من الخدمة المرجعية المعتمدة.

البث التدريجي يغيّر موضع إنفاذ الضوابط. تحذّر AWS من أن قرار الصلة بالموضوع في فحص الاستناد إلى السياق قد يصل بعد بث الإجابة. وبوجه عام، إذا كانت السياسة تشترط فحص الإجابة كاملة قبل كشفها، فاحتفظ بها في مخزن مؤقت حتى تجتاز الفحص. لا يمكن لرفض لاحق أن يسحب نصًا عُرض بالفعل.

انتهاء المهلة يحتاج إلى نتيجة محددة مسبقًا. إذا تعذّر إتمام فحص إلزامي للصلاحية أو الموافقة، فأوقف العملية التي تغيّر الحالة، ووفّر مسار انتظار أو دعم بشري. أما الردود الأقل خطورة، فحدّد صراحةً البديل المحدود المقبول لها. لا تحوّل تعطل الفحص ضمنيًا إلى إذن بالمتابعة.

قِس زمن الاستجابة الإضافي وحالات الحجب الخاطئ على عبء العمل الفعلي لديك. لا تغني أي درجة يقدمها مورّد عن معرفة ما إذا كان العملاء أصحاب الطلبات المشروعة يستطيعون إنجاز مهمة الدعم التي يقدمها تطبيقك.

الحد الأدنى الذي يحتاج إليه فريق صغير

ابدأ بستة ضوابط تستطيع شرحها وتجربتها وتعيين مسؤول عن كل منها. لست مضطرًا إلى اعتماد جميع أطر العمل الواردة في الجدول.

1. 1

   الهوية ونطاق البيانات

   استخدم سياق العميل الذي جرى التحقق من هويته في الاسترجاع والأدوات. واختبر عجز العميل عن قراءة طلب يخص عميلًا آخر، حتى لو طلب النموذج ذلك.

2. 2

   سياسة المدخلات وتقليل البيانات

   حدّد المهمة المدعومة، وافحص مخاطر المحتوى ذات الصلة، واحذف الحقول الحساسة غير الضرورية. واختر ردًا آمنًا للطلبات الخارجة عن نطاق الخدمة.

3. 3

   متطلبات واضحة للمخرجات

   تحقّق من الحقول المطلوبة وقواعد الكشف عن المعلومات والادعاءات المتعلقة بإجراءات مكتملة. وإذا افتقرت الإجابة إلى سند موثوق، فاجعلها تقرّ بعدم اليقين أو تُحيل إلى الدعم.

4. 4

   إجراءات مقيّدة وموافقة لازمة

   أتِح أدوات عمل محدودة الوظائف. افحص الهوية والمعاملات والحالة الحالية قبل التنفيذ، واشترط الموافقة على الإجراءات التي تصنفها سياستك على أنها مؤثرة.

5. 5

   التعامل مع الإخفاق وحدود التشغيل

   اضبط حدودًا للطلبات واستدعاءات الأدوات وإعادة المحاولة ومدة التنفيذ تتناسب مع سير العمل. حدّد ما يحدث عند تعطل فحص إلزامي أو خدمة يعتمد عليها التطبيق. وأعد التحقق من المقترحات المعدّلة ومحاولات التنفيذ المتكررة.

6. 6

   اختبارات منع التراجع وسجل تدقيق

   سجّل إصدارات القواعد والقرارات ونتائج الأدوات ومراجع الموافقات، من دون نسخ بيانات حساسة لا حاجة إليها. واجعل حالات الكشف والتنفيذ غير المأذون المعروفة تمنع إصدار التطبيق.

على المطوّرين التحرك الآن إذا كانت ميزة يستخدمها العملاء تقرأ سجلات خاصة أو تستطيع تغيير الحالة. ابدأ بتنفيذ الصلاحيات على مستوى الخدمة. ويحتاج مسؤولو التشغيل إلى تعيين مسؤول عن التصعيد والطلبات المشروعة التي تُحجب والفحوص غير المتاحة. طابور انتظار بلا مسؤول عنه يعني أن سير العمل لم يكتمل.

على المشترين التريث قبل اقتناء منتج إضافي للضوابط إلى أن تتضح النقطة التي تفتقر إلى الحماية. فمساعد المستندات العامة الذي لا يملك أدوات كتابة لا يحتاج إلى مسار موافقة على ردّ المبالغ. لكنه يظل بحاجة إلى فحوص محتوى مناسبة، واسترجاع موثوق، ومسار بديل واضح. وتصبح ضوابط الإجراءات ضرورية عندما تتسع قدراته.

اختبر التطبيق باستخدام Promptfoo

Promptfoo أداة للتقييم واختبارات الفريق الأحمر: تساعد على اختبار السلوك المعتاد والطلبات المصممة عمدًا لمهاجمة النظام. وتشرح وثائق اختبار الوكلاء فحوص قيود الأدوار، والوصول غير المأذون إلى الكائنات، واستدعاء الوظائف من دون صلاحية.

وجّه الاختبارات إلى حدود التطبيق مستخدمًا سياق هوية وبيانات اختبار معدّة تمثل الاستخدام الفعلي. فاختبار النموذج وحده يُسقط صلاحيات الاسترجاع ومسار الموافقات وخدمات الأدوات التي يتعامل معها العملاء فعلًا.

ابدأ بالحالات التالية لمسار الاسترداد الافتراضي:

• طلب مستوفٍ للشروط: يصل المقترح إلى مرحلة الموافقة، وينتظرها التنفيذ.
• طلب يخص عميلًا آخر: يُرفض الوصول في مرحلتي الاسترجاع والتنفيذ.
• تغيير عنوان إرسال التأكيد: يشترط التطبيق إتمام عملية التحقق المنفصلة.
• تعليمات مخفية في محتوى مسترجع: لا تستطيع منح صلاحيات أو تغيير سياسة الموافقة.
• تعديل المقترح بعد الموافقة: لا تخوّل الموافقة السابقة تنفيذ المعاملات الجديدة.
• تعطل أداة فحص أو تكرار طلب: لا تُتجاوز الفحوص الإلزامية، ولا تُنفّذ العملية نفسها مرتين.

هذه حالات اختبار مقترحة، وليست نتائج اختبارات أُجريت. افحص الآثار الفعلية والحالة المخزّنة إلى جانب الإجابة النهائية. فعبارة «لا أستطيع فعل ذلك» لا تطمئن إذا كانت الأداة قد فعلته بالفعل.

يشرح دليل البدء السريع في Promptfoo إعداد الهدف وفئات الهجمات وتشغيل الاختبارات ومراجعة التقرير. وتتناول مراجعتنا لأداة Promptfoo سير عمل التقييم بمزيد من التفصيل. احتفظ بطلبات العملاء العادية إلى جانب الحالات الهجومية، حتى لا يؤدي تشديد الترشيح إلى تعطيل المهمة المفيدة من دون أن تلاحظ.

أين تبدأ المبالغة في الوعود؟

منتج الضوابط ليس مفتاحًا يضمن السلامة في كل الحالات. تتحدد قيمته بما يفحصه، وموضع تشغيله، وما يمنعه القرار الذي يصدره.

يمكن لموجّه نظام أطول أن يعبّر عن سياسة، لكنه لا يستطيع فرض صلاحيات قاعدة البيانات. ويمكن لنموذج ثانٍ نقد الإجابة، لكن اتفاق النماذج ليس دليلًا على صحتها. كذلك، قد تؤدي زيادة طبقات المصنّفات إلى مزيد من الحجب الخاطئ والعمل التشغيلي، من دون سدّ الفجوة عند نقطة تنفيذ الإجراء.

أفضل بداية هي مجموعة صغيرة من الضوابط الصريحة المرتبطة بحالات إخفاق محددة. أضف فحصًا عندما يعالج فجوة ثبت وجودها، وقِس ما إذا كان يحسّن النتيجة.

ذكاء اصطناعي بلا ضوابط: ما الذي ينقصه فعلًا؟

بالنسبة إلى ميزة يستخدمها العملاء، السؤال المفيد هو: ما الضوابط الغائبة؟ قد يطبّق النظام مرشحات المحتوى التي يوفرها المورّد، بينما يفتقر إلى صلاحيات تخص كل عميل، أو تحقق من المخرجات، أو إنفاذ الموافقة. ووصفه بأنه «محمي بالضوابط» يحجب هذه الفجوات.

وفي المقابل، قد يظل تطبيق يملك ضوابط وصول حتمية بحاجة إلى فحوص للمحتوى. فسلامة المحتوى والتصرف ضمن الصلاحيات متطلبان منفصلان؛ ولا يكفي أيّ من الوصفين للحكم على كليهما.

الأسئلة الشائعة

ما أنواع ضوابط الذكاء الاصطناعي؟

تشمل الفئات المفيدة عند التنفيذ فحوص المدخلات، وفحوص السياق المسترجع، وفحوص المخرجات، وضوابط تنفيذ الأدوات، والموافقة البشرية. ويمكن تطبيق مرشحات الموضوعات ومعلومات التعرف على الأشخاص عند عدة نقاط من هذه المراحل.

كيف أضع ضوابط لتطبيق ذكاء اصطناعي؟

حدّد نتيجة يجب ألا تحدث، وضع فحصًا قبل الكشف عن المعلومات أو تنفيذ الإجراء المرتبط بها، وحدّد الاستجابة عند الإخفاق، ثم اختبر التطبيق كاملًا. وعيّن مسؤولًا عن صيانة السياسة والتعامل مع الحالات التي تحتاج إلى تصعيد.

ما وظيفة Guardrails AI؟

يجمع Guardrails AI وحدات تحقق ضمن ضوابط للمدخلات والمخرجات، ويدعم توليد بيانات منظّمة. وتحدد إعداداتك وكود تطبيقك المخاطر التي تُفحص وكيفية التعامل مع الإخفاقات.

هل يوجد ذكاء اصطناعي بلا ضوابط؟

تختلف التطبيقات في الضوابط التي تطبقها. وعند النشر، دقّق نقاط التحكم المحددة بدلًا من الاعتماد على وصف عام: فحماية المحتوى على مستوى النموذج لا تثبت صلاحية العميل ولا تحقق الموافقة البشرية.

ما أبرز 3 مخاطر لأمن الذكاء الاصطناعي؟

في مثال دعم العملاء هذا، ابدأ بحقن الأوامر، والكشف عن البيانات من دون إذن، وتنفيذ إجراءات غير مأذون بها. هذه أولويات عملية لسير العمل المذكور، وليست ترتيبًا عامًا لمخاطر الذكاء الاصطناعي.

خطوتك العملية في بداية الأسبوع

خذ طلبًا حقيقيًا من عميل، وارسم مساره من التحقق من الهوية إلى الإجابة النهائية. وعند كل نقطة فاصلة، دوّن القاعدة والمكوّن الذي يفرضها والاستجابة عند الإخفاق والمسؤول عنها. وحوّل قراءة سجل من دون صلاحية وتنفيذ إجراء من دون موافقة إلى اختبارات تمنع الإصدار عند إخفاقها، قبل توسيع صلاحيات الوكيل.

احصل على أدلة عملية لتطبيق الذكاء الاصطناعي عبر النشرة البريدية.