التعلم المعزز وتفضيلات البشر: دليل RLHF وDPO

قد يجعل التعلم المعزز من التغذية الراجعة البشرية (RLHF) النموذج أقدر على تقديم الإجابة التي يفضّلها الناس، من دون أن يجعلها صحيحة على نحو موثوق. في صورته التقليدية، يقارن أشخاص بين إجابتين (2) عن الطلب نفسه، ثم يتعلم نموذج مكافأة هذه التفضيلات، ويُستخدم التعلم المعزز لضبط النموذج المجيب باتجاه درجات أعلى. أما السؤال العملي للشركة الصغيرة فهو: هل يعالج التدريب على التفضيلات مشكلة سلوكية متكررة لم تحلّها التعليمات الأوضح والسياق الأفضل؟

التوصية العملية: ابدأ بتقييم واضح وطلب مصاغ جيدًا. فكّر في الضبط الدقيق بالتفضيلات عندما يستطيع النموذج أداء المهمة، لكنه يكرر اختيار نبرة أو تركيز أو أسلوب استجابة غير مناسب. واستخدم الاسترجاع عندما يكون ما ينقصه هو معلومات الشركة المحدثة.

جرى التحقق من الأبحاث ووثائق واجهات API للخدمات المستضافة في 22 أكتوبر 2026. تُنسب أساليب التدريب التاريخية الواردة أدناه إلى منشوراتها، ولا تثبت الأسلوب الحالي غير المنشور لأي مختبر.

ما هو RLHF؟ كيف تؤثر تقييمات البشر في التعلم المعزز؟

RLHF اختصار لعبارة التعلم المعزز من التغذية الراجعة البشرية. وهو يزوّد التدريب بإشارة إلى ما يريده الناس من الإجابة، تتجاوز مجرد تشابه كلماتها مع نصوص سبق للنموذج الاطلاع عليها.

تخيّل كاتبًا يعمل مع محرر. يقارن المحرر بين المسودات، ويوضح معيار الجودة من خلال اختياراته المتكررة. ثم يتعلم نظام تقييم محاكاة تفضيلات المحرر، ليتمكن الكاتب من التدرب استنادًا إلى الدرجات التي يمنحها هذا النظام. لكن هناك مأزقًا: قد يبتعد إرضاء نظام التقييم تدريجيًا عن إرضاء المحرر نفسه.

في النموذج اللغوي الكبير، أو LLM، تسير العملية التقليدية على النحو الآتي:

1. يقارن البشر بين الإجابات. يطّلع المراجعون على الطلب نفسه، ويرتبون الإجابات المرشحة وفق تعليمات تتناول صفات مثل الفائدة والصحة والسلوك الملائم.
2. يتعلم نموذج المكافأة هذه الترتيبات. وهو نموذج مستقل يتنبأ بالإجابات التي يرجّح أن يفضّلها المراجعون، ويحوّل المقارنات إلى درجة يمكن استخدامها في التدريب.
3. يُحدَّث النموذج المجيب. يولّد مزيدًا من الإجابات، ويتلقى درجات من نموذج المكافأة، ثم تُعدَّل معلماته باتجاه السلوك الذي يحقق درجات أفضل.

هذه هي الآلية التي وصفتها OpenAI في InstructGPT، نسختها من GPT-3 المدرّبة على اتباع التعليمات. ولا يحتاج البشر إلى تقييم كل إجابة تتولد أثناء مرحلة التعلم المعزز يدويًا.

ما الفرق بين SFT وRLHF؟ أمثلة الإجابات مقابل تفضيلاتها

يعلّم الضبط الدقيق الخاضع للإشراف، أو SFT، النموذجَ من أمثلة للإجابة المطلوبة. أما RLHF فيضيف أحكامًا تحدد أي الإجابات أفضل. في أسلوب تدريب InstructGPT، جاء SFT أولًا، وقدّم للنموذج المدرّب مسبقًا أمثلة على اتباع التعليمات. ثم حسّنت ترتيبات البشر والتعلم المعزز ذلك السلوك الأولي.

السياسة هي النموذج الذي يختار ما سيخرجه. وقد حدّثها InstructGPT باستخدام تحسين السياسة القريبة، أو PPO، وهي خوارزمية لتحسين السلوك انطلاقًا من المكافآت. وتضمّن التدريب أيضًا عقوبة على الابتعاد المفرط عن نموذج مرجعي. ويمكن تبسيط دالة الهدف التي تتضمن هذا القيد كالآتي:

هدف التدريب = مكافأة التفضيل المتوقعة ناقص عقوبة الابتعاد المفرط.

هذا تلخيص للفكرة، وليس معادلة التدريب الكاملة الواردة في الورقة. وتكمن أهمية القيد في أن المُقيِّم المتعلم ليس معصومًا: زيادة الضغط لرفع درجته لا تظل تحسّن الإجابة إلى ما لا نهاية. ورقة InstructGPT

بعد انتهاء التدريب، يستطيع النموذج المجيب الناتج معالجة الطلبات من دون تشغيل هذه الحلقة كاملة لكل عميل. وقد يجمع زر إبداء الرأي إشارة لتدريب لاحق، لكن الضغط عليه لا يشكّل بحد ذاته تحديثًا للمعلمات.

مثال عملي لبيانات RLHF: طلب واحد وإجابتان

ينبغي أن يعكس وسم التفضيل قاعدة العمل لديك، لا مجرد كون إحدى الإجابتين ألطف وقعًا. تأمل سيناريو الدعم التوضيحي الآتي. هذه أمثلة مؤلفة للشرح، وليست مخرجات اختبار لنموذج.

يصوغ المساعد ردودًا لفريق الفوترة. ولا يملك صلاحية الوصول إلى الحسابات أو رد الأموال. وتنص السياسة على إحالة بلاغات الخصم المكرر إلى مراجعة الفوترة قبل أن يَعِد أحد برد المبلغ.

الإجابة A، المفضّلة:

أعتذر عن الخصم المكرر. لا أستطيع تأكيد رد المبلغ أو تنفيذه من خلال هذه المحادثة. يُرجى إرسال المراجع الخاصة بالعمليات عبر نموذج الدعم الآمن، حتى يتمكن فريق الفوترة من التحقق منها وترتيب رد المبلغ إذا ثبت تكرار الخصم.

الإجابة B، المرفوضة:

أعتذر عن الخصم المكرر. لقد أعدتُ الدفعة الإضافية، ولا يلزمك القيام بأي شيء آخر. شكرًا لصبرك ريثما عالجنا المشكلة.

يختار المراجع الإجابة A لأنها تلتزم بحدود صلاحيات المساعد وتوضح خطوة تالية قابلة للتنفيذ. أما B فتبعث على الاطمئنان، لكنها تدّعي تنفيذ عملية لا يستطيع المساعد القيام بها.

يحتفظ سجل التدريب بالطلب المشترك، وبالإجابة A بوصفها المفضّلة، والإجابة B بوصفها غير المفضّلة. وفي RLHF التقليدي، تعلّم مقارنات كثيرة من هذا النوع نموذج المكافأة ما الذي ينبغي تقييمه. أما في تحسين التفضيلات المباشر، فتدرّب هذه الأزواج النموذج المجيب بصورة أكثر مباشرة.

العمل الأهم هو إعداد الأمثلة المحيطة بهذا المثال. إذا كانت كل إجابة مفضّلة أطول من بديلتها، فقد خلطت بين الالتزام بالسياسة وطول النص. أدرج إجابة موجزة ملتزمة بالسياسة في مقابل وعد مختلق مطوّل. وأدرج حالات تكون فيها أداة مخوّلة قد ردّت المبلغ فعلًا، بحيث يتغير السلوك المطلوب بحسب الأدلة. وإلا فقد تعلّم النموذج أن «يتحفظ دائمًا»، بينما القاعدة المقصودة هي «ألا يدّعي إلا ما يؤيده السجل».

اكتب معيار تقييم يستطيع المراجع تطبيقه: لا إجراءات مختلقة، ولا وعود بلا سند، وخطوة تالية صحيحة، ونبرة مناسبة. إذا خالفت الإجابتان المعيار، فأصلح الزوج أو استبعده. وإذا اختلف المراجعون، فاحسم غموض السياسة قبل تحويل الخلاف إلى وسم تدريبي.

احتفظ بمجموعة تقييم مستقلة، وعند تقسيم البيانات ضع الصيغ المختلفة لتذكرة الدعم الأصلية نفسها في المجموعة نفسها. المطلوب أن يُظهر النموذج السلوك المرغوب في مواقف غير مألوفة، لا أن يتعرف فحسب على مثال تدريبي أُعيدت صياغته قليلًا.

كيف جعل RLHF نماذج المحادثة أكثر فائدة؟

ساعد RLHF على تحويل القدرات اللغوية الكامنة إلى سلوك يستطيع الناس طلبه مباشرة. فالتنبؤ بنص يبدو معقولًا، وتقديم استجابة مفيدة لطلب ما، هدفان تدريبيان مختلفان. وقد منحت أمثلة التعليمات والتغذية الراجعة عن التفضيلات المطورين وسيلة لمعالجة هذا الفرق.

في دراسة InstructGPT التي نشرتها OpenAI عام 2022، فضّل المقيّمون البشر مخرجات نموذج InstructGPT ذي 1.3 مليار معلمة على مخرجات GPT-3 ذي 175 مليار معلمة، ضمن توزيع الطلبات المستخدم في الدراسة. والمعلمات هي الإعدادات العددية التي يتعلمها النموذج داخليًا. كانت النتيجة دليلًا على أن التدريب على قصد المستخدم قد يكون أهم من الحجم في ذلك التقييم، لا على أن النموذج الأصغر أصبح أكثر قدرة في كل شيء. بحث OpenAI

كما يصف التقرير التقني لنموذج GPT-4 من OpenAI استخدام RLHF بعد التدريب المسبق لتحسين التوافق مع قصد المستخدم. وهو يوثق تدريب نموذج بعينه، ولا يكشف وصفة التدريب الكاملة لكل نموذج متاح اليوم عبر ChatGPT. تقرير OpenAI عن GPT-4

بالنسبة إلى المطور، الدلالة واضحة: قد يمتلك النموذج بالفعل معرفة مفيدة، لكنه يختار نمط استجابة غير مفيد. ويمكن للتدريب تحسين هذا الاختيار، لكنه لا يغني عن إتاحة سجل العميل الصحيح لمساعد الدعم.

DPO وتقييمات الذكاء الاصطناعي والمكافآت القابلة للتحقق

تغيّر هذه الأساليب أجزاء مختلفة من التدريب، لذا قد تكون بدائل أو مكمّلات لبعضها. افصل بين ثلاثة أسئلة: من يصدر الحكم؟ وما الذي يُعد نتيجة جيدة؟ وكيف تُستخدم هذه الإشارة لتحديث النموذج؟

DPO مقابل RLHF: تغيير طريقة تحديث النموذج

يستطيع تحسين التفضيلات المباشر، أو DPO، التعلم من النوع نفسه من الأزواج من دون تدريب نموذج مكافأة مستقل. تحدّث الطريقة الأصلية النموذج لترجيح الإجابات المفضّلة مقارنة بالإجابات المرفوضة وبنموذج مرجعي. وهي تتجاوز الحلقة التقليدية التي تولّد عينات جديدة ثم تقيّمها أثناء الضبط الدقيق بنموذج مكافأة دُرّب بصورة منفصلة. ورقة DPO الأصلية

الميزة العملية هي تقليل المكونات التي يجب تشغيلها وإدارتها. لكن مشكلة البيانات تبقى: لن يكتشف DPO أن الإجابة B اختلقت ردّ المبلغ إذا كان مراجعوك قد اختاروها إجابةً أفضل.

ذكر وصف إطلاق Llama 3 من Meta عام 2024 استخدام SFT وأخذ العينات بالرفض وPPO وDPO معًا. ويعني أخذ العينات بالرفض توليد إجابات مرشحة والاحتفاظ بمجموعة مختارة منها. وهذا الجمع المنشور تنبيه مفيد إلى أن التدريب اللاحق ليس تسلسلًا موحدًا يحل فيه كل اختصار جديد محل سابقه. وصف Meta لتدريب Llama 3

RLAIF مقابل RLHF: تغيير الجهة التي تحكم

يستخدم التعلم المعزز من التغذية الراجعة للذكاء الاصطناعي، أو RLAIF، أحكامًا يولّدها نموذج بوصفها تغذية راجعة. وقد يقلل مقدار الوسم البشري المباشر، مع بقاء مسؤولية التعليمات والمبادئ ومعايير التقييم على عاتق البشر.

وصفت ورقة Constitutional AI التي نشرتها Anthropic عام 2022 مرحلة خاضعة للإشراف تستخدم نقد النموذج وإجابات منقّحة، تليها مرحلة تدرّب فيها مقارنات الذكاء الاصطناعي نموذج تفضيلات للتعلم المعزز. وكان «الدستور» مجموعة مبادئ توجّه العملية. وهذا يتجاوز وضع فقرة عن السياسة في الطلب وقت الاستدلال. بحث Anthropic عن Constitutional AI

ونشر المختبر لاحقًا تغييرات أخرى أيضًا. ففي 8 مايو 2026، وصفت Anthropic التدريب بوثائق متوافقة مع الدستور وأمثلة محادثات وبيئات متنوعة، وناقشت سبب عدم كفاية تدريب المواءمة المتمحور حول المحادثة لتغطية المواقف التي تتصرف فيها النماذج كوكلاء. والدرس للمطور هو تقييم السلوك في البيئة التي سيُستخدم فيها: فالرد المهذب في الدعم ووكيل الفوترة الذي يستخدم الأدوات يفرضان متطلبات مختلفة. تعليم Claude أسباب السلوك المطلوب

RLVR مقابل RLHF: التحقق من النتيجة

يناسب التعلم المعزز بمكافآت قابلة للتحقق، أو RLVR، المهام التي تستطيع فيها أداة تحقق تحديد نجاح المحاولة. يمكن تشغيل حل برمجي على حالات اختبار، ومقارنة إجابة رياضية بنتيجة معروفة. ولا يلزم أن تعتمد المكافأة على تفضيل شخص لصياغة النص.

في الأبحاث المنشورة لفريق DeepSeek، استخدم DeepSeek-R1-Zero مكافآت قائمة على قواعد لتقييم الدقة والتنسيق. أما DeepSeek-R1 فاستخدم عملية أوسع ومتعددة المراحل، جمعت بين مكافآت قائمة على قواعد لمهام الاستدلال، ومكافآت مستندة إلى نماذج للمهام العامة، ومراحل تدريب خاضع للإشراف. وهذان إعدادان مختلفان. ورقة DeepSeek عن R1

حدود هذا النهج هي حدود أداة التحقق. فاجتياز الاختبارات المقدمة لا يثبت أن الشيفرة تلبي متطلبًا لم يُذكر. وفي مثال رد المبلغ، يختلف التحقق من تنفيذ عملية مخوّلة عن تقييم ما إذا كان الرد يبدو مفيدًا. حدّد الدليل الذي ينبغي أن تمثله المكافأة قبل اختيار طريقة التدريب.

الضبط الدقيق والتعلم المعزز: ما المتاح للشركات الصغيرة؟

تستطيع الشركة الصغيرة شراء خدمة مُدارة للتدريب على التفضيلات، من دون بناء المنظومة التقليدية الكاملة لـRLHF. والنتيجة المفيدة هي نموذج يتصرف بصورة أفضل في المهام التي احتفظت بها للتقييم خارج بيانات التدريب. ومجرد تقديم خدمة «ضبط دقيق» لا يعني تلقائيًا أنها تدعم أزواج التفضيلات، أو كل النماذج، أو جميع الحسابات.

Together AI: تدريب DPO مستضاف بأزواج التفضيلات

تتيح Together AI مهام تدريب DPO باستخدام training_method="dpo". وتتضمن صيغة JSONL الموثقة لديها، التي تضع سجل تدريب JSON واحدًا في كل سطر، الحقول input.messages وpreferred_output وnon_preferred_output. ويحتوي كل مخرج على رسالة واحدة من المساعد. وينطبق زوج إجابات الدعم أعلاه مباشرة على هذه الأدوار. وثائق Together AI للضبط بالتفضيلات

توصي الوثائق بالبدء بـSFT عندما تختلف أمثلتك اختلافًا كبيرًا عن توزيع بيانات تدريب النموذج الأساسي. والحد الفاصل عمليًا هو بياناتك: إذا كان لديك جواب معتمد واحد فقط لكل طلب، فابدأ بـSFT. أما الضبط بالتفضيلات فيحتاج إلى بدائل مفضّلة ومرفوضة يكون الفرق بينها ذا دلالة.

Fireworks AI: مهام مُدارة للتدريب على التفضيلات

توثّق Fireworks AI خدمة مُدارة لتدريب DPO باستخدام مجموعات بيانات تفضيلات تُرفع عبر واجهتها أو أداة سطر الأوامر أو واجهة REST API. والمسار الموثق في الواجهة هو Training → New job → Direct Preference، ثم اختيار النموذج ومجموعة البيانات. ويجب أن يدعم النموذج الأساسي المختار DPO. وثائق Fireworks للتدريب على التفضيلات

يحدد الدليل أمثلة تدريب من جولة محادثة واحدة، تكون فيها المخرجات المفضّلة والمرفوضة هي رسائل المساعد الأخيرة. وهذا قيد مهم لوكيل تظهر أخطاؤه على امتداد سلسلة من استدعاءات الأدوات. فقبول صيغة الملف لا يثبت أن إعداد التدريب يمثّل السلوك الذي تريد تحسينه.

OpenAI: تحقّق أولًا من أهلية الحساب ومدة بقاء النموذج

توثّق OpenAI استخدام DPO للنصوص، لكن منصة الضبط الدقيق لديها تُوقَف تدريجيًا. وفق التحقق بتاريخ 22 أكتوبر 2026، أُغلقت المنصة أمام المستخدمين الجدد. ويستطيع العملاء الحاليون المؤهلون إنشاء مهام حتى 6 يناير 2027، ما لم يُوقَف نموذجهم الأساسي قبل ذلك. لذا فهذا مسار للعملاء الحاليين، وليس خيارًا أوليًا يُنصح به لشركة جديدة. وثائق OpenAI حول DPO

تُوقَف النماذج المضبوطة دقيقًا من gpt-4.1-nano-2025-04-14، بحسب الوثائق، في 23 أكتوبر 2026. وتُوقَف نسختا gpt-4.1-2025-04-14 وgpt-4.1-mini-2025-04-14 المؤرختان، والنماذج المضبوطة دقيقًا انطلاقًا منهما، في 14 يناير 2027. وقبل استثمار الجهد في مجموعة بيانات لهذا المسار، تحقّق من أن النموذج الناتج سيبقى متاحًا لمدة النشر التي تستهدفها. جدول OpenAI لإيقاف النماذج والخدمات

ما الذي يظل مشروعًا بحجم مختبر؟

الخوارزميات ليست حكرًا على المختبرات؛ الاختلاف في النطاق وعبء التشغيل. فبناء برنامج واسع للتدريب اللاحق لنموذج متقدم في طليعة المجال يتطلب تولّي جمع التغذية الراجعة، وتدريب نموذج المكافأة، والتوليد والتحسين المتكررين، وإجراء تقييمات تغطي قدرات عديدة. أما مهمة DPO مستضافة فتجري تحديثًا أضيق نطاقًا على نموذج موجود ومؤهل.

كذلك، ليس التعلم المعزز كله بعيد المنال عبر واجهة API. فتوثّق OpenAI الضبط الدقيق بالتعزيز، أو RFT، باستخدام مُقيِّم يمنح درجات لمخرجات o4-mini، مع خضوعه لقيود إتاحة المنصة نفسها. وهذا خيار مُدار للتدريب الموجّه بالمكافآت، وليس دليلًا على إمكان إعادة إنتاج وصفة مختبر الداخلية كاملة. وثائق OpenAI حول RFT

بالنسبة إلى معظم الشركات الصغيرة، ينبغي أن يبدأ الاستثمار بالأمثلة ومعيار التقييم والتقييم نفسه. ولا يصبح تشغيل نموذج مكافأة خاص قرارًا هندسيًا مستقلًا إلا عندما تعجز الأساليب المُدارة عن تلبية المهمة.

ماذا يعني ذلك للمطورين وفرق التشغيل والمشترين؟

المطورون: صنّفوا الإخفاق قبل اختيار طريقة التدريب. إذا كان المساعد يفتقر إلى سياسة رد الأموال، فزوّدوه بها. وإذا كان يطّلع عليها لكنه يكرر اختلاق عمليات رد مكتملة، فحسّنوا التعليمات والأمثلة، ثم قيّموا ما إذا كان التدريب على التفضيلات مفيدًا. ويغطي دليل خطوات الضبط الدقيق للنماذج اللغوية الكبيرة المسار الأوسع، من إعداد البيانات إلى النشر.

فرق التشغيل: تولّوا تحديد معنى الإجابة الأفضل. يجب أن تتفق فرق الفوترة والدعم والمنتج على قواعد التصعيد وحدود الصلاحيات. فلا يستطيع مزوّد الخدمة حسم سياسة داخلية لم تُحسم، مهما زاد من تحسين النموذج.

المشترون: اطلبوا أدلة من مهامكم الفعلية. فعبارة «دُرّب باستخدام RLHF» تصف جزءًا من عملية. اسألوا عن السلوكيات التي جرى تقييمها، والإخفاقات المتبقية، وما إذا كان النظام المختبَر يملك الأدوات والصلاحيات نفسها التي سيملكها في بيئة النشر لديكم. وإذا كانت وسوم التفضيل تأتي من مُقيِّم يعمل بالذكاء الاصطناعي، فراجعوا مواضع اختلافه مع البشر؛ يشرح دليل استخدام النموذج اللغوي حكمًا للتقييم كيفية جعل هذه التقييمات مفيدة.

أين تكمن المبالغة في الوعود حول RLHF؟

ارتفاع درجة التفضيل ليس شهادة على صحة الإجابة أو سلامتها أو كفاءة النموذج. فنموذج المكافأة يحاكي الأحكام التي تدرّب عليها. وقد يفوت المراجعين خطأ يبدو معقولًا، أو يفضّلون لغة تبعث على الاطمئنان.

وجد بحث Anthropic عن التملق أن التفضيلات البشرية قد تكافئ الإجابات الموافقة لآراء المستخدم، حتى حين تقتضي الإجابة الصادقة مخالفته. والمقصود بالتملق هنا الموافقة غير المبررة. وقد يُرضي المراجعَ مساعدُ دعم يؤكد بثقة أن المبلغ قد أُعيد، رغم مخالفته المتطلب التشغيلي. دراسة Anthropic عن التملق

وهناك أيضًا التحايل على المكافأة: أي استغلال نقطة ضعف في نظام التقييم. فقد يتعلم النموذج العلامات السطحية التي يحبذها المُقيِّم، من دون تحقيق النتيجة المقصودة. ويناقش بحث DeepSeek صراحة صعوبة الحصول على إشارات مكافأة موثوقة للمهام المفتوحة. القيود المنشورة في بحث DeepSeek

والاستجابة المناسبة هي قياس ما يهمك بمعزل عن درجة التدريب. ففي مثال الدعم، افحص الإجراءات المختلقة، وصحة التصعيد، وفائدة الخطوات التالية. وارتفاع مقياس التدريب سبب لتقييم نسخة النموذج المحفوظة، لا لنشرها تلقائيًا.

خطوات عملية للأسبوع المقبل

ابدأ عندما يكون لديك إخفاق سلوكي متكرر وقابل للقياس، وأحكام متسقة بشأن الإجابات الأفضل. وانتظر إن لم تستطع بعد تعريف الفرق أو تقييمه. فإذا كان نموذج الشركة الحالي يجتاز تقييمها بالفعل، فلا داعي لضبطه دقيقًا لمجرد أن عرضًا تسويقيًا يذكر RLHF.

1. 1

   اجمع أمثلة الإخفاق المتكرر

   خذ طلبات تمثل سير العمل المستهدف. واحتفظ بالسياسة والسياق المسترجع ونتائج الأدوات التي كان المساعد سيطّلع عليها. واحذف المعلومات الشخصية غير الضرورية.

2. 2

   اختر الأدلة التي تساعد على التحسين

   نقص الحقائق المحدثة يشير إلى الحاجة للاسترجاع. والأمثلة الجيدة قد تدعم SFT. والبدائل ذات الترتيب المتسق قد تدعم DPO. وأداة التحقق الموثوقة من النتائج قد تدعم التدريب الموجّه بالمكافآت. ارجع إلى دليل الاختيار بين RAG والضبط الدقيق عندما يجمع الإخفاق بين نقص المعرفة ومشكلة السلوك.

3. 3

   حدّد خط الأساس وتحقّق من الإتاحة

   قيّم النموذج الحالي أولًا بعد تحسين التعليمات. وقبل إعداد ملف التدريب، تحقّق لدى المزوّد من النموذج المدعوم، وصيغة البيانات، وأهلية الحساب، ومدة إتاحة النموذج للنشر.

4. 4

   قارن الأداء على مهام مستبعدة من التدريب

   أبقِ أمثلة التقييم خارج التدريب. وراجع النموذج الأصلي والنموذج المضبوط في المهام نفسها، بما فيها حالات تتطلب إجراءات مختلفة. لا تعتمد التغيير إلا إذا تحسّن السلوك المقصود من دون تراجعات غير مقبولة.

المخرج المفيد ليوم الاثنين هو مجموعة صغيرة خضعت للمراجعة، تضم طلبات وإجابات مرشحة وأسبابًا صريحة لكل تفضيل. وستكشف لك إن كانت لديك فرصة لتحسين التدريب، أم مشكلة في السياسة والسياق ينبغي حلها أولًا.

أسئلة شائعة عن RLHF والتعلم المعزز

كيف يعمل التعلم المعزز؟

يجرّب المتعلم أفعالًا، ويتلقى مكافآت، ثم يغيّر سلوكه للحصول على مكافآت أفضل مع الوقت. وفي تدريب النماذج اللغوية، تُنتج هذه الأفعال نصًا، ويوفر مُقيِّم أو أداة تحقق تغذية راجعة تُستخدم لتحديث النموذج.

ماذا يعني اختصار RLHF وما الهدف منه؟

يعني RLHF التعلم المعزز من التغذية الراجعة البشرية. وهدفه جعل سلوك النموذج أقرب إلى أحكام البشر، مثل تحديد أي استجابة أكثر فائدة أو أنسب للمهمة.

هل تُدرَّب النماذج اللغوية الكبيرة بالتعلم المعزز؟

تخضع بعض النماذج اللغوية الكبيرة للتعلم المعزز أثناء التدريب اللاحق. وهو جزء من أسلوب تدريب محتمل، إلى جانب التدريب المسبق والضبط الدقيق الخاضع للإشراف. ولا يصف كل مرحلة أو كل نموذج.

ما المقصود بتشكيل المكافأة في التعلم المعزز؟

يضيف تشكيل المكافأة مكافآت تدريبية تساعد على توجيه التعلم، مثل منح مكافأة على تقدم مرحلي مفيد. وقد يغيّر سوء اختيار المكافآت السلوكَ الذي يفضّله النظام في النهاية. انظر بحث Ng وHarada وRussell.

هل يستخدم ChatGPT التعلم المعزز؟

نعم. يصف التقرير التقني لنموذج GPT-4 من OpenAI استخدام RLHF في التدريب اللاحق. وهو يوثق ذلك النموذج، لا وصفة التدريب الكاملة لكل نموذج يُقدَّم الآن عبر ChatGPT. تقرير OpenAI التقني

ما العناصر الأربعة للتعلم المعزز؟

إلى جانب الوكيل والبيئة، يحدد Sutton وBarto سياسةً، ودالة مكافأة، ودالة قيمة، ونموذجًا للبيئة يُضاف اختياريًا. وتحدد هذه العناصر السلوك، والمكافأة الفورية، والمكافأة المستقبلية المتوقعة، والتنبؤات بالنتائج. الشرح في كتابهما

ما أبسط مثال على التعلم المعزز؟

من الأمثلة التوضيحية وكيل يتعلم، في محاكاة، طريقًا عبر متاهة. يجرّب التحركات ويتلقى مكافأة عند بلوغ المخرج. ومع تكرار المحاولات، يتعلم الأفعال التي تساعده على إتمام المهمة.

من يُعدّ مؤسس التعلم المعزز؟

نسبة المجال إلى مخترع واحد وصف مضلل. فقد كُرّم Richard Sutton وAndrew Barto معًا من Association for Computing Machinery تقديرًا لتطوير الأسس المفاهيمية والخوارزمية للمجال. خبر التكريم على موقع جامعتهما

هل التعلم المعزز من تعلم الآلة أم من الذكاء الاصطناعي؟

من كليهما: التعلم المعزز فرع من تعلم الآلة، وتعلم الآلة يقع ضمن الذكاء الاصطناعي. وهو يتعلم من إشارات المكافأة، بدل الاعتماد فقط على أمثلة موسومة للمخرجات المطلوبة.

اشترك في النشرة البريدية للحصول على أدلة عملية لبناء أنظمة الذكاء الاصطناعي وتقييمها.