مراجعة Promptfoo: اختبار جودة الذكاء الاصطناعي وأمانه

جرى التحقق من الأسعار والوثائق في 13 أكتوبر 2026. نُفّذ المثال التطبيقي أدناه محلياً على إجابات اختبارية أُعدّت مسبقاً. أما تقييم الميزات المستضافة فيستند إلى الوثائق العامة، وليس إلى تجربة المنتج من داخل حساب مسجّل. خطط Promptfoo الحالية.

ما هي Promptfoo؟

Promptfoo أداة مفتوحة المصدر تعمل من سطر الأوامر، ومكتبة ترسل مدخلات اختبار إلى نموذج ذكاء اصطناعي أو تطبيق، ثم تفحص الردود وتعرض النتائج للمقارنة. اختبار التقييم هو اختبار قابل للتكرار يحدد ما إذا كانت الإجابة تستوفي متطلباتك؛ أما الاختبار الهجومي، أو Red Teaming، فيحاول عمداً دفع التطبيق إلى مخالفتها. تحدد تعليمات النموذج والجهات المستهدفة والأمثلة وقواعد التقييم، ثم تفحص النتائج في واجهة محلية أو تستخدمها ضمن عملية بناء التطبيق. وتكمن قيمة الأداة في تحويل سؤال «هل أفسد هذا التغيير عمل بوت الدعم؟» إلى اختبار يمكن تكراره. تتناول الوثائق التمهيدية تقييم الجودة واختبارات الأمان معاً.

لمن تناسب هذه الأداة، ومتى تختار غيرها؟

تناسب Promptfoo المطوّر القادر على إعداد الاختبارات وصيانتها وربطها بالتطبيق نفسه الذي يستخدمه العملاء. ومن أمثلتها المناسبة بوت دعم يسترجع مقالات المساعدة، أو يقرأ سجلات الطلبات، أو يستدعي أداة لاسترداد الأموال؛ إذ تحتاج جودة الإجابات وسلامة الإجراءات إلى اختبارات منفصلة.

اخترها إذا كنت تريد اختبارات يمكن مراجعتها إلى جانب الكود، ومقارنات بين المزوّدين، وفحوصاً هجومية مخصصة لتطبيقك. لكن يبقى على شخص ما تحديد ما الذي يجعل الإجابة صحيحة. وهذا العمل هو ثمن التقييم المفيد، أياً كانت الأداة.

المصادر: Promptfoo، Braintrust، LangSmith. تختلف نماذج الفوترة هنا؛ فهذه ليست باقات متكافئة.

لا تجعل Promptfoo خيار الشراء الأول إذا كانت مشكلتك العاجلة هي تحليل سلوك الإنتاج بالتعاون مع الفريق، لا تحديد اختبارات ما قبل الإصدار. ضع Braintrust ضمن قائمتك المختصرة عندما تتمحور المهمة حول مراجعة التجارب ومجموعة بيانات مشتركة. وادرس LangSmith عندما تحتاج إلى تتبّع تسلسل استدعاءات النماذج والأدوات لفهم سبب نتيجة سيئة. ستجد الأسعار والفروق العملية لكل منهما أدناه.

يتوقف القرار على أربعة معايير: مدى مطابقة هدف الاختبار لبيئة الإنتاج، وإمكانية فحص طريقة احتساب الدرجات، واختبارات الأمان الملائمة لقيود بياناتك، وتكلفة سير العمل كاملاً. ولا تعوّض قائمة طويلة من التكاملات اختبارَ هدف غير مناسب. تتناول مقارنتنا لأدوات تدقيق اختبارات الذكاء الاصطناعي قائمة أوسع من الخيارات.

ما الذي تغيّر مع استحواذ OpenAI؟

يذكر المستودع الرسمي الحالي لـ Promptfoo أنها أصبحت جزءاً من OpenAI، وأنها لا تزال متاحة بترخيص MIT. وتوضح إعلانات الشركة المؤرخة الاتجاه المقصود، لكنها لا تحدد تاريخ إتمام الصفقة أو قيمة الاستحواذ. مستودع Promptfoo.

في 9 مارس 2026، أعلنت Promptfoo أنها وافقت على استحواذ OpenAI عليها، على أن يخضع إتمام الصفقة للشروط المعتادة. وقالت إن الخطوة ستتيح تحسين تقنيتها الأساسية ودمجها ضمن طبقات النماذج والبنية التحتية. ووعد الإعلان نفسه باستمرار الخدمة والدعم، وصيانة حزمة الأدوات مفتوحة المصدر، ودعم مجموعة متنوعة من النماذج والمزوّدين. إعلان Promptfoo.

هذه هي الالتزامات التي أعلنتها الشركة. ولا تزال وثائق المزوّدين الحالية تشمل شركات منافسة وبيئات تشغيل محلية. اقرأ الحديث عن الدمج بوصفه توجهاً، لا دليلاً على أن ميزة مؤسسية بعينها أصبحت متاحة بالفعل في أداة سطر الأوامر.

عند اتخاذ قرار الشراء، ميّز بين تغيّر الملكية والمتطلبات التقنية. لا تسند هذه التصريحات افتراض أن Promptfoo تقيّم نماذج OpenAI وحدها. كذلك لا ينبغي أن يدفعك دمج مؤسسي مقترح إلى شراء قدرات لم تتحقق من ملاءمتها لسير عملك. قيّم الحزمة المتاحة حالياً، وخيارات النشر الحالية، والعقد الحالي.

إعداد الاختبارات ودعم المزوّدين

تجعل Promptfoo ملف إعداد الاختبارات مرجعاً مشتركاً لما أردت قياسه. يتضمن تنسيق YAML الحقول prompts وproviders وtests؛ ويقدّم كل اختبار متغيرات vars وقواعد تحقق اختيارية ضمن assert. المزوّد هنا هو الموصل الذي يستدعي النموذج أو تطبيقك. وتُدرج متغيرات مثل {{question}} مدخل الاختبار داخل تعليمات النموذج. دليل الإعداد.

في حالة بوت الدعم، اختبر التعليمات الحالية والصياغة البديلة المقترحة بالأسئلة وقواعد التقييم نفسها. وإلا فقد تعني الدرجة الأعلى ببساطة أن التشغيل الثاني حصل على أسئلة أسهل. غيّر قراراً واحداً في كل مرة: صياغة التعليمات، أو سلوك الاسترجاع، أو النموذج، أو صلاحيات الأدوات.

يتيح لك جدول النتائج المحلي فحص الإجابة التي تغيّرت درجتها. استخدم هذه المراجعة لتحديد التراجع الفعلي: ربما توقفت التعليمات الأقصر عن طلب معرّف طلب مفقود، أو عرض النموذج الأقل تكلفة موعد تسليم غير مؤكد على أنه حقيقة. وقد يخفي المتوسط أياً من المشكلتين.

ما المزوّدون الذين تدعمهم؟

يوثّق فهرس المزوّدين في Promptfoo نطاقاً واسعاً من الخيارات. ومن أمثلتها ذات الصلة:

• واجهات برمجة النماذج: OpenAI، Anthropic، Google AI Studio، Google Vertex AI، Azure OpenAI، Amazon Web Services Bedrock، Cohere، Mistral AI، DeepSeek، Alibaba Cloud Qwen، AI21 Labs، Meta Model API، MiniMax، Moonshot Kimi، xAI، وIBM WatsonX.
• خدمات الاستضافة والاستدلال: Amazon SageMaker، Groq، Cerebras، Fireworks AI، Together AI، Hugging Face، OpenRouter، Replicate، Perplexity AI، NVIDIA NIM، Databricks، Snowflake Cortex، وCloudflare AI.
• بيئات التشغيل المحلية: Ollama، llama.cpp، llamafile، LocalAI، Docker Model Runner، vLLM، وTransformers.js.
• موصلات التطبيقات: HTTP، WebSocket، Python، JavaScript، أوامر الصدفة، خوادم Model Context Protocol، وتكاملات موثّقة مع حزم تطوير الوكلاء.

هذه أمثلة تمثيلية؛ ويتضمن الفهرس المرتبط بوابات إضافية ومزوّدين متخصصين. راجع توثيق كل موصل لمعرفة متطلبات المصادقة والخيارات المدعومة. فدعم مزوّد ما لا يمنح حسابك وصولاً إلى جميع نماذجه.

اختبر تطبيق الدعم نفسه، لا النموذج وحده

يستطيع موصل HTTP في Promptfoo إنشاء طلب واستخراج الإجابة باستخدام transformResponse، مثل json.output. ويمكن بدلاً من ذلك استخدام مزوّد Python مخصص لاستدعاء كود التطبيق الموجود. وتزداد أهمية هذه الخيارات عندما يعتمد سلوك بوت الدعم على الاسترجاع، أو حالة الجلسة، أو التحقق من الصلاحيات، أو تنفيذ الأدوات. وثائق مزوّد HTTP.

مرّر سؤالاً واقعياً من عميل عبر هذه الواجهة وقيّم الرد. استخدم هوية الاختبار المقيّدة الصلاحيات والسجلات الاختبارية نفسها التي يفترض أن يستخدمها التطبيق. فإذا تجاوزت طبقة الاسترجاع واختبرت نموذجاً مجرداً، فلن تعرف الكثير عن إمكانية حصول عميل على طلبات عميل آخر.

لذلك، فإن إعداد الموصل مهمة هندسية فعلية. حافظ على السياق الذي يحدد الصلاحيات، واستخرج الحقل الذي يراه العملاء، وافحص الإجراءات المنفّذة بصورة مستقلة. فالرفض المهذب في الإجابة النهائية لا يلغي عملية استرداد أموال غير مصرّح بها نُفّذت قبلها.

تقييم نماذج اللغة الكبيرة باستخدام Promptfoo: مثال لبوت دعم

تستطيع Promptfoo تقييم إجابات موجودة مسبقاً، وهذه بداية مفيدة قبل الإنفاق على استدعاءات متكررة للنماذج. يعيد مزوّد echo النص المقدم إليه كما هو، فتفحص قواعد التحقق الإجابة مباشرة. ولا يرسل Echo أي طلب إلى نموذج؛ لكن إضافة نموذج لغوي للحكم على الإجابات ستغيّر ذلك. وثائق مزوّد Echo.

يستخدم المثال التالي إجابات اختبارية أُعدّت مسبقاً، وليس سجلات عملاء أو مخرجات يُدّعى أنها صادرة عن نموذج. افترض أن سياسة الدعم تنص على توجيه طلبات استرداد الأموال عبر الإعدادات (Settings)، ثم الفوترة (Billing)، ثم طلب الاسترداد (Request refund). وعندما لا تتوفر حالة الطلب، ينبغي للبوت تصعيد الحالة دون الادعاء بأن الطلب شُحن.

احفظ الملف باسم promptfooconfig.yaml:

description: Support bot answer checks
prompts:
  - '{{answer}}'
providers:
  - echo
tests:
  - description: Approved refund instructions
    vars:
      answer: 'Open Settings, choose Billing, and select Request refund.'
    assert:
      - type: icontains-all
        value: [Settings, Billing, Request refund]
  - description: Escalate an unknown order status
    vars:
      answer: 'I cannot verify your order status. Please contact support.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped
  - description: Reject an invented order status
    vars:
      answer: 'Your order has shipped. Please contact support if needed.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped

قواعد التحقق هنا من الأنواع الموثّقة: يفحص icontains وجود النص دون تمييز بين الأحرف الكبيرة والصغيرة، ويشترط icontains-all وجود كل عبارة مقدمة، بينما تعكس البادئة not- نتيجة الفحص. مرجع قواعد التحقق.

مع استيفاء متطلب Node.js الموثّق، وهو >=22.22.0، شغّل:

npx promptfoo@latest eval -c promptfooconfig.yaml -o support-results.json
npx promptfoo@latest view

يوثّق دليل البدء أمري التقييم وعرض النتائج؛ ويحدد دليل البدء السريع للاختبارات الهجومية متطلب Node. شغّل عارض النتائج بأمر منفصل بعد انتهاء أمر التقييم.

أنتج التشغيل المحلي لهذه المراجعة النتيجة المقصودة: نجحت إجابة الاسترداد، ونجحت الإجابة التي تقرّ بعدم اليقين، وفشلت الإجابة التي اختلقت حالة الشحن. احتوت الإجابة الأخيرة على عبارة التصعيد، لكن ذلك لم يشفع لادعائها المحظور. يثبت هذا سلامة توصيل مكونات المثال وقواعد التحقق فيه؛ ولا يخبرنا بشيء عن موثوقية نموذج حي.

لهذا التمييز فائدة عملية. قبل الوثوق بأداة التقييم، أعطها إجابة يجب أن تنجح وأخرى يجب أن تفشل. وإذا نجحت الاثنتان، أصلح الاختبار قبل مقارنة النماذج. لا تجعل النموذج المستهدف أول أداة تستخدمها لتصحيح منظومة الاختبار.

من مطابقة العبارات إلى تقييم جودة الدعم

يمكن لقواعد التحقق التي تعتمد على النماذج في Promptfoo تقييم معايير لا تلتقطها المطابقة النصية. يقيّم llm-rubric الإجابة وفق معايير مكتوبة، بينما يقارن factuality الإجابة ببيان مرجعي. ويمكنك تحديد مزوّد التقييم صراحةً. قواعد التحقق المعتمدة على النماذج.

في هذا البوت، ينبغي لمعيار التقييم المفيد أن يشترط الاقتصار على حقائق الطلب المقدمة، والإقرار بالمعلومات الناقصة، واقتراح إجراء تالٍ مسموح به. أعطِ نموذج التقييم السياسة ذات الصلة والحقائق المرجعية؛ وإلا فأنت تطلب منه تخمين ما إذا كان الادعاء المتعلق بالشحن صحيحاً.

احتفظ بالفحوص الحتمية للمتطلبات الدقيقة، واستخدم التقدير عندما تقبل الصياغة التنوع. فالمثال لن يلتقط عبارة «طردك في الطريق إليك»، وقد يرفض جملة سليمة تقتبس العبارة المحظورة لتصحيحها. هذه حدود الفحوص المختارة، وليست دليلاً على أن البوت آمن أو غير آمن.

بعد ذلك، استبدل الإجابات الاختبارية بإجابات محفوظة، أو اربط مزوّد التطبيق. واحتفظ بالإجابة المعروفة بأنها سيئة لاختبار منطق التقييم نفسه. ينبغي ألا يعيد تغيير التعليمات تعريف النجاح من دون أن تنتبه.

اختبار أمان الذكاء الاصطناعي في Promptfoo: افحص حدود التطبيق

يولّد سير عمل الاختبارات الهجومية في Promptfoo مدخلات هجومية، ويشغّلها على هدف محدد، ثم يعرض الإخفاقات للمراجعة. تحدد الإضافات السلوك المراد فحصه؛ وتغيّر الاستراتيجيات طريقة إيصال الهجوم. وتشمل الأهداف الموثّقة نقاط نهاية HTTP، والتفاعلات عبر المتصفح، والاتصال المباشر بالنماذج أو بالكود المخصص. دليل البدء السريع للاختبارات الهجومية.

في بوت الدعم، تسأل اختبارات التقييم العادية عما إذا كان العميل المستحق يحصل على تعليمات استرداد صحيحة. أما الاختبارات الهجومية فتسأل عما إذا كان يستطيع التلاعب بالبوت لكشف سجل شخص آخر، أو تجاوز سياسة، أو إساءة استخدام أداة متصلة. توثّق Promptfoo تهديدات على مستوى التطبيق، منها حقن التعليمات غير المباشر، وتسريب البيانات، والوصول غير المصرّح به، وإساءة استخدام الأدوات. دليل الاختبارات الهجومية.

إذا كان الوكيل يملك صلاحيات كتابة، فاستخدم بيئة اختبار مضبوطة وتحقق من السجلات الناتجة إلى جانب نص المحادثة. قد يفوت اختبارُ الإجابة وحدها إجراءً غير مصرّح به نفّذته أداة. وفي المقابل، قد يكون الرفض صحيحاً حتى لو بدا أقل فائدة مما يتوقعه نموذج التقييم.

بعد إصلاح المشكلة المكتشفة، حوّلها إلى حالة اختبار تمنع عودتها. وافصل الاستكشاف، الذي يبحث عن إخفاقات جديدة، عن إعادة تشغيل الحالات، التي تتحقق من عودة إخفاقات معروفة. يتوسع دليلنا حول إجراء التقييمات الأمنية لوكلاء الذكاء الاصطناعي في شرح هذه العملية ضمن دورة الإصدار.

التكامل المستمر والتقارير: اجعل الإخفاقات تمنع الإصدار

تناسب Promptfoo التكامل المستمر، أي الفحوص الآلية التي تعمل عند تغيير الكود. وتغطي وثائقها اختبارات التقييم المعتادة، والفحوص الهجومية، وإعادة تشغيل طلبات الاختبار المحفوظة، وتصدير النتائج بصيغ تشمل JSON وHTML وJUnit. دليل CI/CD.

استخدم مجموعة ثابتة من اختبارات منع التراجع عندما يغيّر مطوّر تعليمات النظام أو سلوك الاسترجاع. وشغّل توليد هجمات أوسع بصورة مستقلة عندما تريد اكتشاف حالات جديدة. فإدخال هجمات جديدة في كل مقارنة يصعّب تحديد سبب تغير الدرجة: هل تراجع التطبيق أم أصبح الاختبار أصعب؟

وفق الإعداد الافتراضي الموثّق لأداة سطر الأوامر، يكون رمز الخروج 100 عند فشل اختبار أو عدم بلوغ الحد المطلوب لنسبة النجاح؛ أما الأخطاء الأخرى فتستخدم 1. والحد الافتراضي لنسبة النجاح هو 100%، ويمكن تغيير هذه الإعدادات. يجب أن تحافظ مهمة التكامل المستمر على حالة الفشل، بدلاً من اعتبار نجاح كتابة التقرير نجاحاً للاختبار. مرجع سطر الأوامر.

عند وضع قاعدة السماح بالإصدار، افصل الأخطاء الكارثية عن أوجه القصور العادية في الجودة. يجب ألا يختفي الوصول غير المصرّح به داخل متوسط إجابات مفيدة في جوانب أخرى. عيّن مسؤولاً لكل حالة تمنع الإصدار، واحتفظ بالأدلة، وأعد تشغيل الحالة نفسها بعد التغيير.

تكتسب التقارير قيمتها من تمكين شخص آخر من مراجعة الاستنتاج والاعتراض عليه. احفظ نسخة التطبيق، والإعدادات، وبيانات الاختبار، واختيار نموذج التقييم إلى جانب النتيجة. من دون هذا السياق، قد يتعذر إعادة إنتاج تقرير ناجح عند تغيير النموذج أو التعليمات لاحقاً.

الأسعار: Community وEnterprise وOn-Premise

تعرض Promptfoo ثلاث خطط. وتتطلب الخطتان المدفوعتان عرض سعر؛ إذ لا تنشر الصفحة الحالية سعراً ابتدائياً بالدولار لأي منهما. جرى التحقق في 13 أكتوبر 2026 بالرجوع إلى صفحة أسعار Promptfoo.

ماذا تتيح حصة طلبات الاختبار؟

تحتسب Promptfoo طلب اختبار عندما ترسل طلباً إلى الهدف أثناء التقييم الهجومي. ولا تحتسب استدعاءات التوليد والتقييم الداخلية ضمن هذه الطلبات. وتوضح وثائق الاستدلال أن احتساب الاستخدام ضمن الحدود يستمر حتى عندما تدير الاستدلال بنفسك، بما في ذلك استخدام نماذج محلية. الاستدلال وحدود الاستخدام.

لا تساوِ بين الحصة المتاحة وعدد السيناريوهات الأمنية الفريدة. فالاستراتيجية التي ترسل طلبات متكررة إلى الهدف تستهلك الحصة على نحو مختلف عن حالة ذات تفاعل واحد. تعتمد التغطية على التطبيق، والهجمات المختارة، والطلبات التي ينفّذها التشغيل. قدّر الميزانية بناءً على الطلبات المرصودة بعد ربط هدفك.

التكلفة الشهرية وتكلفة كل إجابة

مع أن ترخيص Promptfoo مجاني، تبقى تكاليف ينبغي احتسابها: استدلال النموذج المستهدف، وتوليد الهجمات، والتقييم بواسطة النماذج، والبنية التحتية، ومراجعة الإخفاقات. ويتوقف الإجمالي الشهري على الخدمات التي تشغّلها أو تشتريها من بين هذه العناصر. فمجانية مشغّل الاختبارات لا تسدد فاتورة المزوّد.

في المثال التطبيقي، تبلغ تكلفة استدلال النماذج $0 لكل إجابة اختبارية يجري تقييمها، لأن Echo لا يستدعي أي نموذج ولأن الفحوص حتمية. ولا تنطبق هذه النتيجة على مجموعة اختبارات يقيّمها نموذج لغوي. فبمجرد أن يقرأ نموذج التقييم كل إجابة، يصبح استهلاكه جزءاً من ميزانية التقييم. سلوك Echo الموثّق.

للمقارنة، فإن رسوم تجاوز حصة Starter المعلنة لدى Braintrust، البالغة $2.50 لكل 1,000 درجة تقييم، تعادل $0.0025 لكل درجة إضافية. هذه رسوم احتساب درجة، وليست سعراً شاملاً لإجابة دعم مقبولة؛ إذ يُحاسَب استخدام النماذج ومعالجة البيانات كلٌّ على حدة. أسعار Braintrust.

المقياس المفيد هو تكلفة الإجابة المقبولة وفق سياسة الدعم. اقسم نفقات التقييم ذات الصلة على عدد الإجابات المقبولة، وأظهر تكلفة التحقيق في الإخفاقات إلى جانبها. فالتشغيل الأرخص الذي يقبل حقائق مختلقة عن الطلبات يحسّن النتيجة الخطأ.

قيود تؤثر في قرار الاختيار

أهم حدود Promptfoo أن تشغيل أداة الفحص محلياً لا يجعل كل سير عمل أمني محلياً بالكامل. تميّز وثائق التعامل مع البيانات بين استدعاءات الهدف والتوليد والتقييم. وقد تتلقى خدمة التقييم المستضافة تعليمات الاختبار ورد الهدف ومعايير التقييم.

تتطلب بعض الاختبارات المهمة استدلالاً مستضافاً. تحدد الوثائق نفسها إضافات لا تعمل إلا عن بُعد، منها bola وbfla وindirect-prompt-injection. وتتعلق هذه الإضافات بالوصول إلى الموارد، وصلاحيات الوظائف، والتعليمات الواردة عبر محتوى خارجي. يؤدي تعطيل التوليد عن بُعد إلى تقليص التغطية المتاحة؛ كما أن خيار التعطيل لا يضمن العزل عن الشبكة. احسم هذه المسألة عند التعامل مع بيانات دعم مقيّدة قبل التعهد بخطة اختبار محلية بالكامل.

إدارة الاستدلال بنفسك لا تلغي حد طلبات الاختبار. وهذا قيد مستقل عن وجهة انتقال البيانات. تنص وثائق الاستدلال صراحةً على استمرار احتساب الاستخدام حتى مع إعداد الاستدلال الخاص بك. لا تفترض أن «مفتوح المصدر» يعني خدمات هجومية مستضافة بلا حدود.

قد تمنح أداة التقييم درجات جيدة لسلوك خاطئ. يلتقط المثال التطبيقي عبارة حرفية عن الشحن، لا كل ادعاءات التسليم غير المسندة. يضيف نموذج الحكم اللغوي مرونة، لكنه يُدخل أيضاً تفسير نموذج آخر. عاير معايير التقييم بأمثلة يتفق موظفو الدعم المسؤولون على قبولها أو رفضها.

قد يفوت اختبارَ الإجابة إخفاقٌ في تنفيذ إجراء. إذا كان موصل الهدف يعرض النص النهائي وحده، فلن تستطيع مجموعة الاختبارات إثبات ما إذا كان الوكيل استخدم الحساب الصحيح أو غيّر السجل الصحيح اعتماداً على هذا النص وحده. أضف أدلة على الإجراءات أو تحقّق من حالة التطبيق حيثما كان النجاح يتضمن استخدام أداة.

تظل مسؤولية التشغيل عليك. لا بد أن يتولى شخص صيانة الحالات، والتحقيق في النتائج، وتحديد ما يمنع الإطلاق. قد يسهّل شراء لوحة تحكم مُدارة تنسيق هذا العمل؛ لكنه لن يضع سياسة الاسترداد أو قواعد وصول العملاء التي ينبغي لاختباراتك فرضها.

بدائل Promptfoo

Braintrust: عندما تكون الأولوية للتقييم المشترك

تجمع Braintrust تتبّع التنفيذ والتجارب ومجموعات البيانات واحتساب الدرجات في منصة مشتركة. اخترها عندما تتمثل المهمة المتكررة في مراجعة التغييرات مع الزملاء وتحويل السلوك المرصود إلى بيانات تقييم. فهذا النطاق يجعلها مرشحاً أولياً أقوى لهذا النوع من العمل من مسار يعتمد أساساً على ملفات الإعداد.

سعر Starter هو $0/شهر، وتشمل 1 GB من البيانات المعالجة، و10,000 درجة تقييم، والاحتفاظ بالبيانات لمدة 14 يوماً. وسعر Pro هو $249/شهر، وتشمل 5 GB، و50,000 درجة تقييم، والاحتفاظ بالبيانات لمدة 30 يوماً؛ أما Enterprise فسعرها مخصص. تبلغ تكلفة البيانات الزائدة في Starter $4/GB، ودرجات التقييم الزائدة $2.50/1,000. وتعلن Pro رسوماً قدرها $3/GB و**$1.50/1,000**، مع رسوم منفصلة لتمديد مدة الاحتفاظ بالبيانات. خطط Braintrust الحالية.

يكمن القيد في تعدد بنود الفاتورة: تحتاج درجات التقييم والبيانات المعالجة ومدة الاحتفاظ واستخدام النماذج إلى تقدير لحجم العمل. فضّل Promptfoo عندما تكون الحاجة المباشرة مجموعة اختبارات صغيرة قابلة للمراجعة، واختبارات هجومية للتطبيق. ولا تشترِ منصة مشتركة لمجرد تجنب كتابة السلوك المتوقع.

LangSmith: عندما تكون المشكلة في مسار تنفيذ الوكيل

توفّر LangSmith تتبّع التنفيذ، وجمع مجموعات البيانات، وإضافة التوسيمات، والتقييم أثناء التشغيل وخارجه. اخترها عندما يكون التحقيق في سلسلة الأحداث التي أدت إلى الإجابة محور عملك. فقد يعيد وكيل الدعم جملة تبدو معقولة بعد استرجاع السجل الخطأ؛ وهنا يوفر سجل تتبّع التنفيذ دليلاً قيّماً للتحقيق.

سعر Developer هو $0/مقعد/شهر، وتقتصر على مقعد واحد، مع 5,000 سجل تتبّع أساسي شهرياً قبل احتساب رسوم الاستهلاك. وسعر Plus هو $39/مقعد/شهر، مع 10,000 سجل تتبّع أساسي شهرياً وإمكانية إضافة مقاعد. الحصة المعلنة إجمالية ولا تتضاعف بعدد المقاعد. أما Enterprise فتأتي بسعر مخصص. أسعار LangSmith.

بالنسبة إلى فريق مراجعة يتوسع، يتمثل القيد في أن المقاعد تضيف تكلفة فيما يستمر احتساب الاستهلاك. فضّل Promptfoo عندما يكون هدفك العاجل فحصاً آلياً للإصدار يتضمن تغطية هجومية واضحة. فسجل التتبّع في LangSmith، ودرجة التقييم في Braintrust، وطلب الاختبار في Promptfoo تمثل أحداثاً مختلفة؛ ومقارنة حصصها كأنها عمليات اختبار متكافئة تعطي ميزانية مضللة.

الحكم النهائي: اعتمدها عندما تستطيع تولّي مسؤولية الاختبارات

تستحق Promptfoo مكاناً في مشروع بوت دعم أو وكيل عندما تحتاج إلى فحوص جودة صريحة واختبارات هجومية يستطيع المطوّرون مراجعتها وإعادة تشغيلها. ابدأ بخطة Community إذا ناسبتك تدفقات بياناتها وتغطيتها وطريقة تشغيلها. واشترِ القدرات المُدارة عندما تنشأ حاجة محددة تتعلق بالتعاون أو الضوابط أو متطلبات النشر.

يتغيّر القرار عندما يتغيّر موضع التعطّل. إذا لم تستطع وصف الإجابة الآمنة والصحيحة، فأصلح السياسة والأمثلة أولاً. وإذا استطعت وصفها لكن تعذّر عليك إعادة إنتاج الإخفاقات، فـ Promptfoo خطوة تالية معقولة. أما إذا كنت تعيد إنتاج الإخفاقات بالفعل وكانت المشكلة في التحليل المشترك أو تتبّع التنفيذ، فقيّم Braintrust أو LangSmith إلى جانبها.

خطوتك التالية هي حفظ أسئلة دعم تمثيلية، وتحديد الإجابات المقبولة والإجراءات المحظورة، والتأكد من فشل إجابة سيئة عن قصد. ثم اربط التطبيق الفعلي، وافحص حدود تدفق بياناته، وأضف الحالات الأمنية التي ستدفعك إلى إيقاف الإصدار. حدّد قاعدة السماح بالإصدار وأعلنها قبل الاطلاع على الدرجات.

أسئلة قبل اعتماد الأداة

اشترك في النشرة البريدية للحصول على يوميات تطوير عملية وملاحظات من واقع تشغيل أنظمة الذكاء الاصطناعي.