SWE-bench واختبارات النماذج اللغوية: كيف تفهم النتائج؟

تساعدك اختبارات النماذج اللغوية الكبيرة على تحديد ما يستحق التجربة التالية. يقيس SWE-bench Verified الأداء في حل 500 مشكلة برمجية منتقاة، لكن النتيجة المرتفعة لا تخبرك إن كان الوكيل قادراً على الالتزام بسياسة استرداد الأموال لديك. ابدأ بفهم المهمة وإعدادات الاختبار وطريقة احتساب النتيجة، ثم انظر إلى الرقم المتصدر.

راجَعنا المعلومات بالرجوع إلى صفحات مطوّري الاختبارات وبطاقة نموذج Google في 15 أكتوبر 2026. تشرح الأوصاف أدناه ما يقيسه كل اختبار، وتستند الأمثلة الرقمية إلى النتائج التي نشرتها Google. أما تفسير النتائج وقائمة التحقق للتقييم فمن إعدادنا.

إذا كنت تختار مساعداً برمجياً، فابدأ بمهام المستودعات البرمجية أو الطرفية. وإذا كنت تختار وكيلاً لخدمة العملاء، فابدأ باستخدام الأدوات أثناء الحوار والالتزام بالسياسات. أما مساعد المستندات، فابدأ معه بالاستدلال ضمن سياق طويل. قد تدعم نتيجة اختبار المعرفة العامة هذه القرارات، لكنها لا تحسمها.

ماذا تقيس اختبارات النماذج اللغوية مثل SWE-bench؟

يقيس الاختبار المعياري الأداء في مجموعة محددة من المهام وفق قواعد محددة. وهو أشبه بمسابقة رياضية منه بشهادة ذكاء: زمن العدو معلومة مفيدة، لكنه لا يكفي لاختيار من يقود عملية إنقاذ في الجبال.

تضم مجموعة البيانات الأسئلة أو المهام. ويحدد بروتوكول التقييم ما يُقدَّم للنموذج، والمساعدة المتاحة له، وطريقة تصحيح النتيجة. أما بيئة تشغيل الوكيل، التي تُسمّى harness أو scaffold، فهي البرمجيات المحيطة بالنموذج، وتشمل التعليمات والأدوات ودورة التنفيذ.

يصبح هذا التمييز ضرورياً حين يُعلَن أن نموذجاً جديداً يجيد البرمجة. فكتابة دالة انطلاقاً من توجيه قصير تختلف عن مهمة وكيل يبحث في مستودع، ويعدّل الملفات، ويشغّل الاختبارات، ويتدارك الأخطاء. نتيجة المهمة الثانية تخص نظاماً متكاملاً، بما فيه بيئة تشغيل الوكيل.

تُظهر لوحة ترتيب SWE-bench هذا الفرق من خلال الفصل بين إعدادات التقييم، ومنها بيئة mini-SWE-agent مشتركة. وقد يتيح منتجك البرمجي أدوات أو تعليمات أو حدوداً مختلفة. قبل إسقاط النتيجة على سير عملك، تعرّف إلى البرمجيات والأدوات التي كانت تعمل حول النموذج.

أسماء الاختبارات التي تتكرر في إعلانات النماذج

اربط الاختبار بالمهمة قبل مقارنة النتائج. هذه أبرز العائلات التي ستصادفها في إعلانات النماذج العامة والبرمجية والصوتية في 2026، إلى جانب اختبارات السياق التي تساعد على فهم ادعاءاتها. ويرتبط اسم كل اختبار بصفحة مطوّريه أو مستودعهم.

احتفظ برقم الإصدار إلى جانب الاسم. يضم HLE-Diamond مجموعة من 1,000 سؤال منقّح، بينما يضم HLE الأصلي في صيغته النهائية 2,500 سؤال. وقد غيّر Terminal-Bench 4.0 الموارد والمهام. ويوثّق مستودع tau الحالي أنماط التفاعل الجديدة وإصلاحات التصحيح معاً. لذا قد يعكس وضع نتيجة حديثة إلى جانب أخرى قديمة تغيّر الامتحان، لا تحسّن النموذج.

أي النتائج تهمّ طبيعة عملك؟

اختر عائلة الاختبارات الأقرب إلى نوع الإخفاق الذي تريد منعه. فمؤسس الشركة الذي يختار ميزة ذكاء اصطناعي، والمدير التقني الذي يجيز استخدام وكيل، ومسؤول العمليات الذي يتعامل مع تذاكر الدعم، لا ينبغي أن يمنحوا كل صف في جدول الإطلاق الوزن نفسه.

اختبارات وكلاء البرمجة

من يطوّر منتجاً قائماً ويصونه ينبغي أن يبدأ بإصلاح المستودعات والعمل في الطرفية. يوفر SWE-bench دليلاً مفيداً على حل المشكلات البرمجية، ويوفر Terminal-Bench دليلاً على إنجاز العمل في بيئة الأوامر. أما LiveCodeBench وHumanEval فيساعدان على الإجابة عن أسئلة برمجية أضيق نطاقاً. ولا يقيس أيٌّ منها بمفرده مدى قابلية التعديل للصيانة داخل قاعدة شيفرتك.

تخيّل مطوّراً يعمل بمفرده ويطلب من وكيل تعديل آلية حذف الحساب. كتابة دالة مساعدة صحيحة ليست سوى جزء من المهمة. فعلى الوكيل العثور على كل مواضع الاستدعاء المتأثرة، والحفاظ على الصلاحيات، وتحديث الاختبارات، وتجنّب ترك سجلات العملاء في حالة غير متسقة. ينبغي أن يشمل تقييمك هذا التغيير كاملاً، مع صلاحيات الوصول إلى المستودع والأدوات نفسها التي تنوي إتاحتها.

قاعدة القرار: إذا كان العمل يمتد عبر ملفات وخطوات تنفيذ متعددة، فاطلب دليلاً من مهام الوكلاء قبل إدراج النموذج في القائمة المختصرة. تعامل مع نتائج الدوال باعتبارها معلومات مساندة. وأبقِ مراجعة الشيفرة ضمن شروط القبول إلى أن تبرر حالاتك الفعلية تقليص نطاقها.

اختبارات الاستدلال في النماذج اللغوية

تختبر GPQA وHLE وMMLU-Pro وAIME وARC-AGI أنواعاً مختلفة من الاستدلال. وتوفر مؤشرات مفيدة لما يستحق الفحص، خصوصاً عندما تتطلب المهمة حل مسائل علمية أو رياضية صعبة. لكنها لا تعوّض جيداً عن الدليل المباشر على الالتزام بقواعد عملك.

تضم مجموعة GPQA Diamond 198 سؤالاً علمياً اختيرت بعناية. يستطيع مدير تقني يقيّم مساعد أبحاث داخلياً استخدام هذه الإشارة لإعداد قائمة مختصرة، ثم اختبار المساعد بأسئلة تعتمد إجاباتها على مواد الشركة نفسها. أما مسؤول الدعم، فينبغي أن يعطي اهتماماً أكبر لاستخدام الأدوات ضمن حدود السياسات وللتصعيد.

وعند قراءة نتائج Humanity's Last Exam، افصل طموح الاسم عما يقيسه الاختبار. فمطوّروه يميّزون صراحة بين الأداء الأكاديمي في الأسئلة ذات الإجابات المحددة والبحث المستقل. الإجابة عن سؤال صعب ذي حل معروف لا تثبت أن النظام يستطيع اختيار مشكلة تستحق البحث، وجمع أدلة موثوقة، وإدراك أنه مخطئ.

السياق الطويل والصوت يحتاجان إلى أدلة خاصة بهما

نافذة السياق سعةٌ تعبّر عن حجم المدخلات التي يستطيع النظام استقبالها. أما تقييم السياق الطويل فيسأل عما يستطيع فعله بهذه المدخلات. تختبر مهام الاسترجاع العثور على المعلومات، بينما تتطلب مهام الاستدلال الربط بينها. ويوضح مطوّرو RULER لماذا لا ينبغي تعميم النجاح في العثور على معلومة مخفية على الأداء في السياق الطويل كله.

بالنسبة إلى مسؤول عمليات يراجع العقود، يكون الاختبار المفيد هو قدرة المساعد على ربط استثناء في ملحق ببند في الاتفاقية الأساسية، والاستشهاد بكليهما بصورة صحيحة. أدرج مستندات تغيب فيها الإجابة، أو تكون قد أُلغيت بنص أحدث، أو تناقضها معلومات أخرى. النظام الذي يدمج بثقة نسخاً متعارضة يكون قد أخفق، حتى لو استرجع كل مقطع منها.

وفي الصوت، افصل بين السماع والاستدلال والتحدث وإدارة الحوار. يمكن أن يفيد FLEURS في تقييم التفريغ النصي، ويتناول Big Bench Audio الاستدلال انطلاقاً من أسئلة منطوقة، ويغطي VoiceBench مهام التعليمات المنطوقة. وتقيّم عائلة tau الحالية التفاعلات الصوتية أيضاً. هذه قياسات مختلفة.

ينبغي أن تتضمن التجربة الأولية للدعم الهاتفي ضجيجاً في الخلفية، وأسماء، ومقاطعات، وتصحيحات، وتحويلاً إلى موظف. استمع إلى التفاعل وتحقق من الإجراء النهائي. فقد يبدو النص المفرّغ صحيحاً، بينما تكون المحادثة المنطوقة مزعجة أو يُحدَّث الحساب الخطأ.

اختبارات أداء النماذج اللغوية

عند اتخاذ قرار التبنّي، عرّف الأداء بأنه إنجاز عمل يستوفي معايير القبول ضمن حدود سير عملك. جودة الإجابة، وموثوقية الإكمال، وزمن الاستجابة متطلبات منفصلة. قد تناسب نتيجة اختبار يتيح استدلالاً مطوّلاً مهمة بحث تستمر طوال الليل، لكنها لا تلائم تفاعلاً مباشراً مع عميل يطلب الدعم.

على المشتري طلب نتائج لفئات المهام المطلوبة وبإعدادات المنتج الفعلية. وعلى مسؤول العمليات فحص الإخفاقات وكيفية التعافي منها. وعلى المطوّر أن يتمكن من إعادة إنتاج الإعدادات. إذا عجز البائع عن تحديد الإعداد الذي خضع للتقييم، فلن تكون النتيجة دليلاً كافياً لاتخاذ قرار باستخدامه في بيئة الإنتاج.

كيف تقرأ جدول إطلاق نموذج في خمس دقائق؟

استخدم هذه المراجعة السريعة، ومدتها خمس دقائق، لتقرر إن كان النموذج الجديد يستحق تقييماً أعمق. إنها طريقة لقراءة النتائج؛ وليست مدة كافية لإثبات أن النموذج آمن أو مفيد في تطبيقك.

1. 1

   الدقيقة 1: حدّد مهمتك

   اكتب النتيجة التي تحتاج إليها: إصلاح مشكلات المستودع، أو معالجة طلبات الدعم، أو الإجابة من المستندات، أو التعامل مع المكالمات الصوتية. علّم الصفوف التي تشبه مهمتك، واستبعد التفوق في المهام غير المرتبطة بها من قرار التبنّي.

2. 2

   الدقيقة 2: حدّد الاختبار بدقة

   سجّل إصدار الاختبار، والمجموعة الفرعية، واللغة، والفترة الزمنية للمهام. انتبه إلى الأوصاف المقيّدة، مثل Diamond وVerified، أو العمل دون اتصال، أو النص فقط، أو استخدام الأدوات. ارجع إلى صفحة الاختبار نفسه إذا كانت التسمية ناقصة.

3. 3

   الدقيقة 3: افهم إعدادات التشغيل

   ابحث عن بيئة تشغيل الوكيل، والأدوات، وإعداد الاستدلال، والوقت المسموح، وسياسة المحاولات. تحقّق مما إذا كان منتجك سيعمل في هذه الظروف. إتاحة البحث أو تنفيذ الشيفرة أو عدد أكبر من إعادة المحاولات قد تغيّر ما تعبّر عنه النتيجة.

4. 4

   الدقيقة 4: افهم مقياس النتيجة

   الدقة هي نسبة الإجابات التي عُدّت صحيحة. ويوازن F1 بين نسبة العناصر الصحيحة ضمن النتائج المسترجعة ونسبة العناصر المطلوبة التي عُثر عليها. أما الدرجات الجزئية، فقد تكافئ التقدم دون إتمام المهمة. وفي معدل الخطأ، تكون القيمة الأقل أفضل. اقرأ تعريف المقياس قبل أن تتعامل مع النسبة المئوية على أنها نسبة أعمال مكتملة.

5. 5

   الدقيقة 5: اعرف من أجرى الاختبار

   حدّد الجهة التي نفّذت الاختبار: الشركة المطوّرة، أم الجهة المنظمة للاختبار، أم جهة تقييم أخرى. اقرأ الحاشية الخاصة بكل صف، ولا تفترض أن الجدول كله اتبع إجراءً واحداً. احتفظ بالمصدر والإعدادات، ثم اختر مرشحاً لاختباراتك الخاصة.

ينبغي أن تخرج بمذكرة قرار قصيرة: «عائلة المهام ذات صلة، والإصدار حالي، والإعدادات مفهومة، ويستحق الاختبار على حالاتنا». إذا لم تستطع استكمال هذه المذكرة، فدوّن التفاصيل الناقصة قبل تغيير نظام يعمل بالفعل.

مثال تطبيقي: جدول Gemini 4 Argon من Google

يوفر Gemini 4 Argon، وهو نموذج ذكاء اصطناعي عام الاستخدام من Google، مثالاً مفيداً لأن جدوله يجمع عائلات مهام وقواعد احتساب مختلفة. تنقل الصفوف التالية نتائج Google الواردة في بطاقة النموذج لشهر أكتوبر، والتي راجعناها في 15 أكتوبر 2026. هذه نتائج منسوبة إلى مصدرها، وليست قياسات أُجريت لهذا المقال.

اقرأ تسمية الصف والملاحظات المرافقة لكل قيمة. فهذه النسب المئوية لا تشترك في مقام واحد أو معنى واحد.

يعني BFS البحث بالعرض أولاً، أي تتبع الروابط في الرسم البياني بحسب العمق. أما الرموز النصية، أو tokens، فهي الوحدات المستخدمة لقياس سياق النموذج، ولا تساوي الكلمات.

اقرأ الحواشي قبل استخلاص النتيجة

توضح منهجية التقييم لدى Google أن Argon يستخدم عموماً أعلى إعداد للتفكير ومقياس pass@1، مع وجود استثناءات. تعتمد نتيجته في DeepSWE على بيئة mini-swe. وقد احتسبت Google نتيجة Terminal-Bench بنفسها، بينما أخذت نتائج النماذج المقارَنة من لوحة الترتيب الرسمية. كما احتسبت بنفسها نتائج GraphWalks لجميع النماذج. ويستخدم OSWorld أعلى نتيجة من ثلاث جولات تشغيل، ويعرض درجات الإنجاز الجزئي دون اتصال.

إذن نحن أمام ترتيبات تقييم مختلفة، ولا يوجد ما يثبت أن كل خلية جاءت من تجربة واحدة مضبوطة. بالنسبة إلى المطوّر، السؤال التالي هو مدى تشابه بيئة تشغيل الوكيل البرمجي مع الوكيل المقصود استخدامه. وبالنسبة إلى المشتري، هو مدى تطابق الإعداد المقترح للتطبيق مع الدليل المعروض. أما مسؤول العمليات، فيهمّه معرفة ما إذا كان المقياس يكافئ النتيجة المكتملة.

حسابنا: 99.7 ناقص 84.2 يساوي فارقاً قدره 15.5 نقطة مئوية بين نتيجتي F1 المنشورتين لاختبار GraphWalks. تستخدم هذه الصفوف مجموعات فرعية مختلفة من حيث الطول، لذلك لا تعزل عملية الطرح الأثر السببي للطول على أسئلة متطابقة. لكنها توضح لماذا يؤدي الاكتفاء بالاستشهاد بصف السياق الأقصر إلى إسقاط دليل مهم لسير عمل يتعامل مع مستندات طويلة.

وينطبق الوضوح نفسه على تفسير استخدام الحاسوب: لا تحوّل الدرجة الجزئية إلى عبارة «ينجز الوكيل هذه النسبة من مهام سطح المكتب لدينا». قد يكون التقدم الجزئي ذا قيمة لمساعد يعيد المهمة إلى إنسان ليكملها. أما العملية التي تعمل دون إشراف، فتحتاج إلى دليل على نتائج مكتملة وصحيحة.

ولفهم قرار تبنّي هذا النموذج تحديداً، راجع شرح Gemini 4 Argon ومقارنة Gemini 4 Argon مع Opus 5.5 في المقال المنفصل.

لماذا قد تضللك النتيجة المرتفعة؟

قد تكون النتيجة المرتفعة صحيحة، لكنها تجيب عن سؤال لا يهمّ نشاطك. التصرف المفيد هو تحديد حدودها، ثم معرفة الدليل الذي يبدد هذا القصور.

تسرّب بيانات الاختبار والتحسين الموجّه إليه

يحدث تلوّث بيانات التقييم عندما تدخل أسئلة التقييم أو إجاباتها ضمن مواد التدريب. عندها قد يستفيد النموذج من اطلاعه السابق عليها بدلاً من حل مشكلة لم يرها من قبل. كما قد تتحول الاختبارات العامة إلى أهداف للتحسين: فتكرار ضبط التوجيهات أو بيئات تشغيل الوكلاء على المهام نفسها يضعف قيمتها بوصفها اختباراً جديداً للأداء.

يستخدم LiveCodeBench مسائل مؤرخة، ما يتيح للمقيّمين اختيار مهام نُشرت بعد تاريخ نهاية بيانات التدريب. هذه ميزة مفيدة في تصميمه، لكنها لا تبرر افتراض أن كل نتيجة يحمل اختبارها كلمة «Live» خالية من التلوث. تحقّق من الفترة الزمنية الفعلية للمسائل. وتعامل مع القفزة الكبيرة المثيرة للشك بوصفها سبباً لفحص البروتوكول، لا دليلاً على مخالفة.

في تقييمك الخاص، احتفظ بمجموعة اختبار معزولة لا تستخدمها لضبط التوجيهات. وعندما تتحول حالة إخفاق إلى مثال يُستخدم في التطوير، أضف حالات جديدة إلى المجموعة المعزولة. وإلا فقد يصبح النظام ممتازاً في أمثلتك المألوفة، مع بقائه هشّاً خارجها.

بيئة تشغيل الوكيل قد تغيّر النظام الذي تقارنه

طريقة التشغيل مؤثرة. النموذج المزوّد بالبحث وأدوات الملفات وإعادة المحاولات والتعليمات المصاغة بعناية يشكّل نظاماً مختلفاً عن النموذج نفسه حين يجيب عن توجيه واحد. قد يكون تحسين بيئة التشغيل إنجازاً هندسياً قيّماً؛ والخطأ هو نسب النتيجة كلها إلى النموذج الأساسي.

استخدم بيئة تشغيل مشتركة حين تريد عزل أثر تغيير النموذج. وقيّم المنتج كاملاً حين تختار بين منتجات متكاملة. من الطبيعي أن يؤدي هذان السؤالان إلى استنتاجات مختلفة.

نتائج الشركة المطوّرة مفيدة، لكنها لا تثبت إعادة إنتاج مستقلة

تكون نتيجة الشركة المطوّرة مفيدة عندما تكون المنهجية واضحة، وتكون نتيجة الجهة المنظمة للاختبار مفيدة عندما تلائم إعداداتها المقارنة المطلوبة. لا تعفيك أيٌّ من التسميتين من قراءة البروتوكول. ميّز بين نتيجة قُدّمت إلى لوحة ترتيب ونتيجة أعادت جهة مستقلة قياسها في ظروف موحّدة.

ابحث عن التوجيه، ومعرّف النموذج، وبيئة التشغيل، وطريقة التصحيح، والاستبعادات، وعدم اليقين. لا ينبغي لفارق صغير، من دون معلومات كافية عن تباين النتائج، أن يحسم قرار الانتقال. غياب النتيجة يعني غياب الدليل، ولا يعني تلقائياً أن النتيجة صفر.

افحص أيضاً طريقة تجميع النتائج. فالمتوسط العام يجسّد اختيارات المقيّم للمهام وأوزانها. وقد تضم قائمة طلبات الدعم لديك حالات استثنائية كثيرة لا تؤثر إلا قليلاً في ذلك المتوسط. لا تحسب متوسط نسب اختبارات غير مترابطة لتصنع منه درجة ذكاء خاصة بك.

قد يكون التصحيح جيداً، لكنه يقيس النتيجة الخطأ

تكافئ اختبارات الوحدات، ومفاتيح الإجابات، والنماذج المستخدمة للتحكيم، وتفضيلات البشر أشياء مختلفة. فقد تفوت التغطية بالاختبارات عيباً، وقد يحتوي مفتاح الإجابات على خطأ، وقد يفضّل النموذج المحكّم شرحاً بليغاً على إجراء صحيح. الفوز في اختبار التفضيل يقيس ما فضّله المشاركون وفق ذلك الإجراء.

يوثّق مستودع tau الحالي تصحيحات في المهام وآليات احتساب النتائج. تحسّن هذه الإصلاحات التقييم، وتجعل تتبع الإصدارات ضرورياً في الوقت نفسه. فالاختبار نظام قياس يخضع للصيانة، وليس مصدراً للحقيقة لا يقبل النقاش.

متى تحتاج إلى تقييم النماذج اللغوية الكبيرة بنفسك؟

أجرِ تقييماتك الخاصة عندما يعتمد القرار على بياناتك أو سياساتك أو أدواتك أو مستخدميك أو قدرتك على تحمّل الإخفاق. تكفي النتائج العامة لتحديد مرشحين معقولين، لكنها لا تكفي لإجازة استخدام وكيل يغيّر سجلات العملاء أو يجيب من مستندات خاصة.

ابدأ الآن إذا كان التحسن في اختبار ذي صلة يعالج إخفاقاً معروفاً في نظامك الحالي: أجرِ مقارنة مضبوطة على تلك الفئة من الإخفاقات. تريّث في الانتقال إذا كان التحسن يخص مهام غير مرتبطة بعملك، أو كانت إعدادات الاختبار المنشورة غير متاحة في منتجك. احتفظ بالنظام الحالي إذا كان يستوفي معايير القبول لديك ولم يُظهر المرشح الجديد تحسناً ذا صلة.

لفريق دعم في شركة متوسطة الحجم، قد تتكون تجربة أولية عملية من 50 حالة: 20 طلباً اعتيادياً، و10 استثناءات من السياسات، و10 حالات بمدخلات ناقصة أو متناقضة، و10 حالات تتعلق بالصلاحيات أو التصعيد. هذه أعداد مقترحة لتصميم التجربة، وليست ادعاءً بأن حجم العينة كافٍ إحصائياً للنشر في بيئة الإنتاج. حدّد الحجم النهائي وفق معدلات الإخفاق والفروق التي تحتاج إلى رصدها.

حدّد النتيجة المطلوبة قبل تشغيل المرشحين. فقد تستلزم حالة استرداد أموال التحقق الصحيح من الأهلية، واختيار الحساب والمبلغ الصحيحين، وعدم تنفيذ إجراء غير مصرح به، وتقديم شرح واضح. وينبغي أن تنجح حالة التصعيد عندما يحيل الوكيل الطلب بصورة صحيحة، حتى لو لم يحله بنفسه.

شغّل كل مرشح بالتوجيهات والاسترجاع والأدوات والصلاحيات التي تنوي استخدامها فعلياً. افحص السجل النهائي ومسار الإجراءات، ولا تكتفِ بالرسالة الأخيرة. أعد الحالات التي تتذبذب نتائجها، وتتبع زمن الاستجابة بصورة منفصلة، وراجع مواضع الخلاف قبل إعلان التحسن. واحتفظ بمجموعة اختبار معزولة للقرار النهائي.

Promptfoo أداة تقييم لمقارنة التوجيهات والنماذج والتطبيقات باستخدام حالات اختبار وشروط تحقق. تشرح وثائقها آلية التنفيذ، وتوضح مراجعتنا لـPromptfoo موقعها في سير العمل وما يظل من مسؤوليتك.

استخدم فحوصاً حتمية للحقائق التي تستطيع التحقق منها مباشرة، مثل الحساب المختار أو تنفيذ إجراء محظور. أما الصفات التي تحتاج إلى حكم، مثل اكتمال الشرح واستناده إلى أدلة، فضع لها معايير تقييم واضحة وعايرها بمقارنتها بتقييمات بشرية. ويتناول دليل استخدام النماذج اللغوية للتحكيم هذه الطبقة من التقييم وأوجه إخفاقها.

خطوة عملية لبداية الأسبوع: اختر سير عمل واحداً، واكتب معايير قبوله، واجمع حالات حديثة، وقارن النظام الحالي بمرشح واحد في الظروف نفسها. اتخذ قرار النشر في بيئة الإنتاج بناءً على النتائج والإخفاقات التي تهم مستخدميك.

أسئلة شائعة عن جداول نتائج الاختبارات

ما أشهر اختبارات النماذج اللغوية الكبيرة؟

تعرّف أولاً إلى العائلات: SWE-bench وTerminal-Bench لوكلاء البرمجة، وGPQA وHumanity's Last Exam للأسئلة الأكاديمية، وعائلة tau لاستخدام الأدوات أثناء الحوار، واختبارات منفصلة للسياق الطويل والصوت. أبقِ الإصدار والإعدادات مرتبطين بكل نتيجة.

ما أفضل اختبار للنماذج اللغوية في البرمجة؟

استخدم الاختبار الأقرب إلى المهمة. يهتم SWE-bench بحل مشكلات المستودعات، وTerminal-Bench بالعمل في الطرفية، وHumanEval بتوليد الدوال، ويشمل LiveCodeBench مسائل مسابقات مؤرخة. التعديلات التي تجريها على مستودعاتك هي ما يحدد قابلية تطبيق هذا الدليل على عملك.

ما المقصود بمجموعة بيانات اختبار النماذج اللغوية؟

توفر مجموعة البيانات الأسئلة أو المهام. لكن الحصول على نتيجة قابلة للمقارنة يتطلب أيضاً معرفة البروتوكول: التوجيهات، والأدوات، والحدود، والمحاولات، وطريقة احتساب النتيجة. اشتراك نتيجتين في اسم مجموعة البيانات لا يثبت وحده إمكان مقارنتهما.

لإرشادات عملية حول تقييم الذكاء الاصطناعي وتبنّيه، اشترك في النشرة البريدية.