fine tuning باستخدام LoRA: من الضبط الدقيق إلى التقييم

يصبح الضبط الدقيق باستخدام LoRA، أو fine tuning، خطوة مناسبة عندما تتكرر أخطاء الأسلوب أو التنسيق أو أداء المهمة رغم استخدام تعليمات قوية ومختبرة. ويقتصر التدريب فيه على 2 من المصفوفات الصغيرة لكل مصفوفة أوزان مستهدفة، مع إبقاء الأوزان الأصلية مجمّدة؛ أما QLoRA فيخزّن النموذج الأساسي المجمّد أيضًا بدقة 4 بت. والنتيجة التي تستحق السعي إليها هي تحسّن قابل للقياس في مهمتك، مع خطة تشغيل تحافظ عليه.

جرى التحقق من الوثائق وقيود النشر في 26 أكتوبر 2026. ويستند شرح الآليات إلى ورقة LoRA الأصلية وورقة QLoRA.

إذا كنت تطوّر تطبيقًا، فابدأ من خطأ يتكرر فيه. قد يملك نموذج الدعم السياسة الصحيحة ضمن سياقه، لكنه يختار تصنيف التصعيد الخاطئ مرارًا. وقد يفهم مساعد الكتابة المطلوب، ثم يتجاهل الأسلوب التحريري المعتمد كل مرة. هذه حالات تستحق التجربة. أما النموذج الذي لا يعرف سياسة الاسترداد الحالية، فيحتاج إلى الوصول إليها قبل أن يحتاج إلى التدريب.

كيف يعمل fine tuning باستخدام LoRA؟

يغيّر LoRA سلوك النموذج بتعلّم تصحيح صغير لمصفوفات أوزان محددة. وتظل المصفوفات الأصلية مجمّدة أثناء تدريب LoRA المعتاد. مصفوفة الأوزان هي جدول من القيم العددية المتعلّمة، يحوّل المعلومات داخل النموذج؛ أما المهايئ فهو مجموعة المعلمات الإضافية التي تتعلّم تعديل ذلك التحويل.

تخيّل تحديث مبنى بإضافة وحدة مدخل مصممة لتناسبه: تحافظ على الهيكل وتغيّر طريقة عبور الناس. الوحدة أصغر من المبنى، لكنها تظل معتمدة عليه. وبالمثل، لا يُعدّ مهايئ LoRA نموذجًا لغويًا كاملًا، ولا يحلّ محل نموذجه الأساسي.

يشير الاسم إلى التكييف منخفض الرتبة. فبدلًا من تعلّم تحديث بحجم مصفوفة الأوزان كاملة، يمثّل LoRA هذا التحديث بحاصل ضرب مصفوفتين أصغر، تُسمّيان عادةً A وB. وفي الطبقة الخطية، يمكن كتابة التحويل الفعلي بصيغة W + sBA: الأوزان المجمّدة W مضافًا إليها تحديث المهايئ بعد ضبط مقياسه. تمر المدخلات عبر المسار الأساسي ومسار المهايئ، ثم تُجمع مخرجاتهما. الصياغة الأصلية لـ LoRA.

لهذا يستطيع المهايئ تعلّم تنسيق معتمد دون حفظ نسخة معدّلة مستقلة من كل وزن أساسي. ولهذا أيضًا يجب أن يكون النموذج الأساسي مناسبًا للمهمة من البداية؛ فالتصحيح سيعمل ضمن إمكانات النموذج الذي اخترته.

مثال على عدد المعلمات، وليس وعدًا بحجم ذاكرة GPU

لنفترض طبقة تحتوي على 4,096 × 4,096 وزنًا، أي 16,777,216 معلمة أصلية. عند اختيار الرتبة 8، يكون عدد المعلمات في مصفوفتَي LoRA هو 8 × 4,096 و4,096 × 8. والمجموع 65,536 معلمة قابلة للتدريب، أي نحو 0.39% من عدد معلمات المصفوفة الأصلية.

هذا حساب أجريناه استنادًا إلى أبعاد المصفوفات في الورقة، وليس نتيجة اختبار معياري أو توصية برتبة معينة. وهو يصف مصفوفة واحدة أُضيف إليها مهايئ. تظل الأوزان المجمّدة موجودة، وتحتاج عملية التدريب أيضًا إلى ذاكرة عمل للحسابات الوسيطة وتدرّجات المهايئ وحالة المُحسِّن. وحالة المُحسِّن هي المعلومات التي يحتفظ بها لتحديد تحديث التدريب التالي.

الدرس العملي هو الفصل بين عدد المعلمات التي تحدّثها وحجم الذاكرة الذي تحتاج إليه المهمة كاملة. صغر المهايئ لا يجعل النموذج الذي يعتمد عليه صغيرًا.

تستند هذه الفروق إلى ورقتَي LoRA وQLoRA. ولا يضمن أيّ من هذه الأسماء نتيجة بعينها على بياناتك.

إعدادات LoRA: الرتبة والوحدات المستهدفة ومقياس التحديث

تتحكم الإعدادات في حجم التصحيح وموضعه، ولا تحدد مقدار ذكاء النموذج. الرتبة هي البعد الداخلي للمصفوفتين A وB؛ وزيادتها تضيف معلمات قابلة للتدريب. وتحدد الوحدات المستهدفة أجزاء النموذج التي ستُضاف إليها المهايئات. أما ألفا فيضبط مقياس التحديث، ويمكن أن يساعد الإسقاط العشوائي في تنظيم تدريب المهايئ. يعرّف مرجع إعداد LoRA هذه الخيارات.

ابدأ بوصفة التدريب التي تُصان لنموذجك، ثم غيّر الإعداد عندما تعطيك نتائج التحقق سببًا لذلك. إذا خلط النموذج بين فئتين من طلبات الدعم، فافحص أولًا التصنيفات المتناقضة والحالات الحدّية الناقصة. زيادة الرتبة لن تخبر النموذج أيّ المثالين المتناقضين تعتبره مؤسستك صحيحًا.

وافحص أيضًا ما يُسمح بتدريبه فعلًا. فبعض الإعدادات تدرّب وحدات إضافية، مثل رأس الإخراج، إلى جانب المهايئات. تسمية العملية «LoRA» لا تثبت أن التغيير اقتصر على A وB؛ الإعداد هو ما يحدد ذلك.

ماذا يضيف QLoRA، وما حدوده؟

يعالج QLoRA الذاكرة التي يشغلها النموذج الأساسي المجمّد، إلى جانب عدد المعلمات الجاري تدريبها. يخزّن إعداده الأساسي النموذج بدقة 4 بت، ويدرّب عبره مهايئات LoRA بدقة أعلى. يظل النموذج الأساسي مجمّدًا، لكنه يشارك في الحسابات التي يتعلّم منها المهايئ. ورقة QLoRA.

تجمع الورقة بين NF4، وهو تمثيل عددي مصمم للأوزان ذات التوزيع الطبيعي؛ والتكميم المزدوج، الذي يضغط الثوابت المستخدمة في التكميم؛ والمُحسِّنات المعتمدة على ترحيل صفحات الذاكرة، التي تدير القفزات في استهلاك الذاكرة. لا تحتاج إلى تنفيذ هذه الآليات بنفسك لاستخدام وصفة QLoRA تُصان باستمرار.

يسهل إساءة فهم عبارة «التدريب بدقة 4 بت». فهي لا تعني أن كل عملية حسابية وكل قيمة تنشيط وكل معلمة في المهايئ تستخدم أربع بتات. ولا تعني إمكان تدريب النموذج بحجم الذاكرة نفسه اللازم لتحميل أوزانه المكمّمة فقط. فالأمثلة الطويلة والدفعات الأكبر تستهلك ذاكرة عمل أيضًا.

اختر QLoRA عندما تكون ذاكرة النموذج الأساسي هي العائق، وتدعم منظومة التدريب النموذج الذي تحتاج إليه. وإذا كان LoRA المعتاد يلائم الذاكرة المتاحة أصلًا، فقارن الطريقتين على حالات التحقق لديك بدل افتراض أن التكميم أفضل دائمًا. الضغط يغيّر الإعداد العددي، وأثره في مهمتك ينبغي أن يُحسم بالتقييم.

يشرح دليل تكميم النماذج اللغوية الكبيرة سؤال النشر المنفصل: أيّ تمثيل مضغوط يستطيع محرك الاستدلال لديك تنفيذه؟ فتدريب مهايئ QLoRA لا يجعله متوافقًا مع كل صيغة مكمّمة مستخدمة في التشغيل.

متى يكون الضبط الدقيق أنسب من التعليمات أو RAG؟

استخدم الضبط الدقيق عندما يكون الخطأ المتبقي نمطًا سلوكيًا ثابتًا، ويمكنك توضيح السلوك المطلوب بأمثلة معتمدة. واكتفِ بالتعليمات عندما تحقق التعليمات الواضحة متطلباتك. واستخدم التوليد المعزّز بالاسترجاع، أو RAG، لتزويد النموذج بالوثائق أو حقائق قواعد البيانات ذات الصلة وقت الطلب. ولإطار قرار أوسع، راجع المقارنة بين RAG والضبط الدقيق.

في الأسلوب التحريري المعتمد، جرّب أولًا مواصفات موجزة للأسلوب وأمثلة تمثيلية ضمن التعليمات. فكّر في التدريب حين يستقر السلوك المطلوب وتستمر المخالفات نفسها عبر مدخلات متنوعة. ينبغي أن تعلّم أمثلتك قرارات، مثل البدء بالإجابة أو تجنّب صيغ التفضيل غير المسندة، بدل الاكتفاء بتكرار عبارة محفوظة.

في تنسيق المخرجات، افصل بين سلامة البنية وصحة المعنى. إذا كانت بيئة التشغيل تدعم إخراجًا منظّمًا مقيّدًا، فاختبره قبل اللجوء إلى التدريب لمجرد الحصول على JSON صالح. قد تلتزم الإجابة بالمخطط البنيوي وتختار فئة خاطئة في الوقت نفسه. تزداد جدوى LoRA عندما يكون هذا القرار الدلالي هو المشكلة المتكررة. وأبقِ التحقق داخل التطبيق حتى بعد تحسّن المهايئ.

في المهام محدودة النطاق، حدّد الحدّ الفاصل بين القرارات. فقد تتطلب تذكرة عن رسوم غير مألوفة التحقق من الحساب، بينما تستدعي دفعة مكررة مؤكدة مراجعة الفوترة. درّب النموذج على أزواج معتمدة من المدخلات والمخرجات توضّح هذا الفرق، بما فيها الحالات التي تستلزم طلب توضيح. المكسب هو قرار أفضل يمكن تكراره، وليس ادعاءً عامًا بأن النموذج صار أذكى.

أما المعرفة المتغيّرة، فيظل الاسترجاع المصدر الأوضح لاعتماد الحقائق. لا ينبغي أن يكون مهايئ الأسلوب مرجعًا لتوافر منتج حاليًا. ويمكن الجمع بين الاسترجاع والضبط الدقيق: استرجع أحدث سياسة، ثم درّب النموذج على استخدام الأدلة المقدّمة وإرجاع الإجابة بالشكل المطلوب. قيّم التطبيق المركّب مع استخدام السياق المسترجع نفسه في طرفَي المقارنة.

بالنسبة إلى المطوّرين، يعني ذلك قياس الخطأ المتبقي قبل اختيار منظومة التدريب. وبالنسبة إلى المشغّلين، يعني تحمّل مسؤولية الأمثلة المعتمدة وتحديد الأخطاء المؤثرة. أما المشترون، فعليهم طلب سجل تقييم قبل التدريب وبعده، وتحديد ملفات النموذج القابلة للنشر بدقة؛ فعبارة «نموذج مخصص» لا تكفي دليلًا على التحسّن.

إذا كان نموذج معلّم أكبر يوفّر أمثلة التدريب لنموذج أصغر، فهذا أيضًا مسار لتقطير النماذج. يصف LoRA المعلمات التي يحدّثها النموذج الطالب؛ ويصف التقطير مصدر إشارة التدريب. ويمكن الجمع بينهما، لكن الإجابات المستهدفة المولّدة تظل بحاجة إلى مراجعة.

هل تختار واجهة API مستضافة أم وحدة GPU تديرها بنفسك؟

اختر المسار المستضاف عندما تناسب تطبيقك النماذج المدعومة وطريقة التعامل مع البيانات وخيارات النشر. واختر وحدة GPU تديرها بنفسك عندما تحتاج إلى التحكم في نقطة الحفظ ووصفة التدريب وبيئة التشغيل، وتستطيع إدارة هذه المنظومة. احسم طريقة تقديم النموذج للاستدلال قبل بدء التدريب.

Together AI: تدريب LoRA وتصديره بخيارات صريحة

توفّر Together AI واجهة API مستضافة للضبط الدقيق، ويبدأ دليلها السريع مهمة LoRA صراحةً. يعتمد استدعاء Python، وهو client.fine_tuning.create()، على LoRA افتراضيًا، ويمكن تحديد lora=True صراحةً. يبدأ المسار بتجهيز بيانات المحادثات والتحقق منها ورفعها، ثم التدريب ونشر النتيجة. دليل البدء السريع من Together AI.

القيد الحاسم هنا هو أهلية النموذج للنشر. فدعم التدريب لا يعني توافر التشغيل دون خوادم، ويعتمد الدليل الحالي على استدلال مخصص لتشغيل النماذج المضبوطة. تحقّق من وجود نشر مخصص مدعوم للنموذج الأساسي الذي اخترته قبل الالتزام به.

التصدير قرار مستقل. توثّق Together استخدام checkpoint="adapter" لأوزان المهايئ وحدها، وcheckpoint="merged" لنقطة حفظ تجمع النموذج الأساسي والمهايئ. استخدم المهايئ عندما ستحمّله بيئة التشغيل فوق النموذج الأساسي المطابق؛ واختر النسخة المدمجة عندما تحتاج إلى نموذج مستقل. النشر وأنواع نقاط الحفظ.

Fireworks AI: تحقّق من التدريب والتشغيل بصورة مستقلة

توثّق Fireworks AI استخدام LoRA ضمن مسار الضبط الدقيق الخاضع للإشراف الذي تديره. يتعلّم الضبط الدقيق الخاضع للإشراف، أو SFT، من أمثلة للإجابة المطلوبة. ولتحديد مهمة مهايئ صراحةً، تستخدم واجهة REST API الحقل loraRank؛ بينما تستخدم حزمة Python SDK الحقل lora_rank. وثائق SFT من Fireworks.

انتبه إلى الفرق بين Tunable وSupports Lora. فقد يدعم نموذج أساسي تشغيل مهايئ دُرّب خارجيًا للاستدلال، من دون أن يدعم التدريب على Fireworks نفسها. ويقبل دليل التدريب أيضًا مجموعة evaluation_dataset مستقلة، لتتمكن من تقديم أمثلة التحقق بدل الاعتماد على التقسيم التلقائي.

للتشغيل، توثّق Fireworks خيار الدمج المباشر، الذي يدمج المهايئ وقت النشر، وخيار multi-LoRA، الذي يطبّق المهايئ المحدد على نموذج أساسي مشترك. وينص دليل النشر الحالي على أن مهايئات LoRA المدرّبة تتطلب عمليات نشر مخصصة عند الطلب؛ فالنشر دون خوادم غير مدعوم. ويذكر أيضًا أن إعدادات النشر بصيغتَي FP8 وFP4 لا تدعم إضافات LoRA. لذلك، لا يعني توافر خيار نشر مضغوط أنه متوافق مع المهايئات تلقائيًا. دليل النشر من Fireworks.

الضبط الدقيق باستخدام LoRA: هل تختار PEFT أم Unsloth؟

Hugging Face PEFT مكتبة مفتوحة لأساليب الضبط الدقيق الكفؤ من حيث عدد المعلمات، ومنها LoRA. اخترها عندما تريد التحكم الصريح في النموذج وإعداد التكميم ووحدات المهايئ. ويوثّق دليل التكميم تحميل نموذج أساسي مكمّم وتجهيزه للتدريب، ثم إضافة المهايئ إليه.

يستخدم مسار QLoRA الموثّق BitsAndBytesConfig مع load_in_4bit=True وNF4 والتكميم المزدوج؛ وتجهّز الدالة prepare_model_for_kbit_training() النموذج قبل أن تغلّفه get_peft_model(). ولتغطية الطبقات الخطية على نهج QLoRA، يستخدم الدليل target_modules="all-linear". تعامل مع ذلك بوصفه نمط إعداد مدعومًا، وليس دليلًا على أن كل بنية أو بيئة تشغيل لاحقة تقبل كل مهايئ.

حدود PEFT تقع في بقية منظومة التدريب: فهي لا تختار أمثلتك، ولا تصحح قالب المحادثة، ولا تضع معيار نجاح منتجك.

Unsloth مجموعة أدوات تدريب مفتوحة، تضم أدلة ودفاتر برمجية للضبط الدقيق يجري الحفاظ عليها وتحديثها. يوثّق دليلها LoRA وQLoRA والضبط الدقيق الكامل، بما في ذلك load_in_4bit=True للمسار المكمّم. اخترها عندما يتطابق أحد دفاترها التي يجري تحديثها مع النموذج والعتاد اللذين تنوي استخدامهما، واتخذ ذلك الدفتر وصفة البداية. دليل الضبط الدقيق من Unsloth.

القيد في Unsloth هو توافق وصفة التدريب. فاكتمال التدريب داخل دفتر برمجي لا يثبت أن النموذج المصدَّر يحافظ على السلوك نفسه في بيئة أخرى. حافظ على اتساق مُجزّئ النصوص وقالب المحادثة وإعدادات التوليد، ثم قيّم النسخة التي ستشغّلها. وقالب المحادثة هو التنسيق الذي يميّز أدوار المستخدم والمساعد وسائر الرسائل لدى النموذج.

توفّر Hugging Face TRL المكوّن SFTTrainer، وهو حلقة تدريب خاضع للإشراف تتكامل مع PEFT. يدعم مجموعات بيانات التدريب والتقييم، كما يدعم assistant_only_loss=True مع قوالب المحادثة المتوافقة، للتعلّم من ردود المساعد بدل كل رمز نصي في المحادثة. والقيد هنا أن القالب يجب أن يدعم قناع المساعد اللازم؛ لذا افحص أمثلة التدريب بعد تطبيق القالب عليها. توثيق TRL SFTTrainer.

لتجربة على وحدة GPU تديرها بنفسك، اتبع تسلسلًا واضحًا: اختر النموذج الأساسي ووصفة التدريب المدعومين، وطبّق قالب المحادثة على عينة، وافحص الرموز النصية التي تُحسب عليها خسارة التدريب، وأضف المهايئ، ثم قدّم بيانات التدريب والتحقق واحفظ نقاط الحفظ. ونقطة الحفظ نسخة محفوظة يمكنك تقييمها أو استعادتها. ويتناول دليل كيفية الضبط الدقيق لنموذج لغوي كبير قرارات المشروع الأوسع المحيطة بهذه الخطوات.

كيف تُشغَّل المهايئات وكيف يجري التبديل بينها؟

يجب أن ترافق المهايئَ هويةُ نموذجه الأساسي وإعداداته. في PEFT، تحفظ save_pretrained() أوزان المهايئ وملف adapter_config.json؛ وهذه الملفات لا تحلّ محل الأوزان الأساسية. احتفظ مع المهايئ بالإصدار الدقيق من النموذج الأساسي ومُجزّئ النصوص وقالب المحادثة وإعداد التدريب. صيغة نقاط الحفظ في PEFT.

أبقِ المهايئات منفصلة عندما تحتاج نسخ متعددة من المهمة إلى مشاركة نموذج أساسي، أو عندما يكون التبديل بينها ضروريًا. تحمّل load_adapter() في PEFT مهايئًا آخر باسم محدد، وتختاره set_adapter(). فالتحميل والتفعيل عمليتان مختلفتان. ويتيح مدير السياق disable_adapter() الاستدلال بسلوك النموذج الأساسي. واجهة PEFT البرمجية للنموذج.

هذا الفرق مفيد في التقييم، لكن اختيار المهايئ في تطبيق مشترك يجب أيضًا أن يكون آمنًا عند تزامن الطلبات. لا تبدّل المهايئ النشط لنموذج مشترك عام أثناء معالجة طلبات غير مترابطة، ثم تفترض أن كل طلب سيحصل على السلوك المقصود. استخدم بيئة تشغيل تحدد صراحةً آلية توجيه كل طلب.

vLLM محرك استدلال يدعم LoRA في تطبيقات النماذج المتوافقة. يستخدم خادمه --enable-lora و--lora-modules لتسجيل المهايئات؛ وتختار الطلبات المهايئ عبر الحقل model. تحقّق من دعم النموذج لـ LoRA، وأقصى رتبة للمهايئ، والعدد المسموح به في الإعداد للمهايئات المتزامنة. هذه قيود تشغيل، وليست إعدادات تدريب. وثائق LoRA في vLLM.

توثّق vLLM أيضًا تحميل المهايئات وإلغاء تحميلها أثناء التشغيل، لكنها تحذّر من استخدام هذه الإمكانية في الإنتاج ما لم تكن البيئة معزولة وموثوقة بالكامل. وللنشر المعتاد، يكون تسجيل المهايئات المعروفة عند بدء التشغيل أبسط من الناحية التشغيلية.

ادمج المهايئ عندما تريد نموذجًا مستقلًا ولا تحتاج إلى التبديل بين المهايئات في النسخة الناتجة. تدمج merge_and_unload() في PEFT التحديثَ ضمن النموذج الأساسي، وتعيد نموذجًا بلا وظائف مهايئات PEFT. ولا تدعم بعض إعدادات التكميم الدمج. احتفظ بالمهايئ الأصلي والنموذج الأساسي منفصلين إذا أردت استعادة ذلك المسار لاحقًا. قيود الدمج في PEFT.

تبقى نقطة أخيرة عند نقل المهايئ: المقصود بالنموذج الأساسي المطابق هو الأوزان نفسها بدقة، وليس مجرد اسم مألوف لعائلة نماذج. وتحذّر Fireworks صراحةً من أن نقطة حفظ المزوّد المستخدمة في التدريب قد تختلف عن الأوزان العامة المتاحة. تأكّد من هذا الاعتماد قبل نقل المهايئ خارج المنصة. إرشادات تصدير المهايئ.

كيف تقيّم الضبط الدقيق باستخدام LoRA قبل التدريب وبعده؟

لا تطلق المهايئ المختار إلا إذا حسّن السلوك المستهدف على أمثلة لم تؤثر في اختياره. انخفاض خسارة التدريب يعني أن النموذج صار يلائم أمثلة تدريبه أكثر؛ ولا يصلح ذلك وحده معيارًا للإطلاق.

استخدم بروتوكول التقييم التالي لمثال توجيه طلبات الدعم. إنه إجراء مقترح، وليس تقريرًا عن تجربة تدريب أُجريت.

1. 1

   اكتب قواعد القبول قبل التدريب

   حدّد التصنيفات المسموح بها وحقول الإخراج المطلوبة وسلوك التصعيد. وقرّر أيّ الأخطاء يمنع الإطلاق. وللأسلوب التحريري، اكتب قواعد يمكن ملاحظتها، مثل «قدّم الإجابة قبل الخلفية» و«لا تضف ادعاءات بلا سند». أما توجيه مبهم مثل تحسين الأسلوب فلا يتيح مقارنة موثوقة.

2. 2

   افصل أمثلة التدريب والتحقق والاختبار النهائي

   تُستخدم أمثلة التدريب لتحديث المهايئ، وأمثلة التحقق لاختيار الوصفة ونقطة الحفظ. وتظل مجموعة الاختبار النهائي مغلقة حتى تُحسم هذه الخيارات. ضع التذاكر المرتبطة وإعادات صياغة الوثيقة نفسها والأمثلة شبه المتطابقة ضمن القسم نفسه. وإلا فقد يكافئ الاختبار الألفة مع البيانات بدل القدرة على التعميم.

3. 3

   سجّل أداءً مرجعيًا قويًا

   شغّل النموذج الأساسي غير المضبوط بأفضل تعليمات عملية، ومع أي ضوابط للمخرجات المنظّمة تنوي الإبقاء عليها. وفي تطبيقات الاسترجاع، سجّل الأدلة المسترجعة أيضًا. احفظ إصدار النموذج والتعليمات والقالب وإعدادات التوليد والمخرجات وإصدار أداة التقييم. ينبغي أن يتفوّق المهايئ على بديلك القابل للاستخدام، لا على تعليمات أُضعفت عمدًا.

4. 4

   اختر وفق نتائج التحقق، ثم قارن على الاختبار المغلق

   استخدم نتائج التحقق لاختيار نقطة الحفظ، ثم ثبّت الاختيار. شغّل المهايئ والنموذج المرجعي على مدخلات الاختبار النهائي نفسها وبإعدادات متطابقة. وإذا كان التطبيق المقصود سيستخدم تعليمات أقصر بعد التدريب، فقِس أثر ذلك منفصلًا عن المقارنة المضبوطة للمهايئ، حتى يظل مصدر التحسّن واضحًا.

5. 5

   قيّم النسخة التي ستشغّلها فعليًا

   بعد الدمج أو التكميم أو تغيير محرك الاستدلال، أعد اختبارات القبول على النسخة المنشورة. ضمّن مدخلات طويلة وطلبات ملتبسة وحالات يجب أن تحافظ على سلوك النموذج الأساسي. لا تطلق النسخة إلا إذا استمر التحسّن المستهدف بعد النشر، وظلت نتائج فحوص تراجع الأداء مقبولة.

قيّم سلامة البنية وصحة أداء المهمة والأسلوب كلًّا على حدة. في نموذج الدعم، يظل كائن JSON السليم الذي يتضمن قرار تصعيد خاطئ إجابة خاطئة. وفي نموذج الكتابة، تُعدّ الإجابة الأكثر صقلًا تراجعًا إذا اختلقت ادعاءً عن المنتج.

اعرض الأعداد التي حُسبت على أساسها النسب والنتائج على مستوى كل فئة، ولا تكتفِ بنسبة نجاح إجمالية. يقيس الإحكام مدى صحة الحالات التي تنبّأ النموذج بانتمائها إلى فئة؛ ويقيس الاستدعاء عدد الحالات الحقيقية من تلك الفئة التي نجح في التقاطها. إذا كانت معظم الأمثلة أسئلة فوترة روتينية، فقد يخفي المتوسط العام إخفاقات في فئة تصعيد صغيرة لكنها مؤثرة. أدرج الحالات التي انتقلت من النجاح إلى الفشل، إلى جانب الحالات التي انتقلت من الفشل إلى النجاح.

في مراجعة الأسلوب التي تعتمد على التقدير، أخفِ هوية النموذج الذي أنتج كل إجابة، ونوّع ترتيب العرض. يمكن أن يساعد نموذج مُقيِّم في تنظيم المراجعة، لكن قارِن أحكامه بالأحكام البشرية قبل اعتماد درجته شرطًا للإطلاق. ما يحدد فائدته هو معايير التقييم، لا طلاقة شرحه للحكم.

لا تحوّل الاختبار النهائي إلى مجموعة تحقق ثانية. فبمجرد أن تفحص إخفاقاته وتستخدمها لتعديل وصفة التدريب، تكون هذه الحالات قد أثّرت في التطوير. احتفظ بها لفحوص تراجع الأداء، وخصّص حالات جديدة لم تُمسّ للمقارنة النهائية التالية. لا توجد هنا قاعدة عامة لحجم مجموعة البيانات؛ السؤال هو مدى تمثيل التقييم للقرارات التي سيواجهها تطبيقك.

وأخيرًا، قارن زمن استجابة النظام المنشور واستهلاكه للموارد تحت عبء العمل المتوقع. فتوفير LoRA في عدد المعلمات لا يثبت أن الاستدلال أصبح أسرع. احتفظ بإصدار النموذج الأساسي والمهايئ الذي اجتاز التقييم، وبنسخة يمكنك الرجوع إليها، وراقب فئات الأخطاء نفسها بعد الإطلاق.

ما الذي يُبالَغ فيه عند الحديث عن LoRA؟

«ضبط دقيق منخفض التكلفة» يصف تحسينًا أضيق نطاقًا من «تخصيص منخفض التكلفة». فما زلت تحتاج إلى أمثلة معتمدة وتقييم وتشغيل وصيانة. لا صغر نقطة الحفظ ولا نجاح سجل التدريب يثبت أن التطبيق تحسّن.

تجميد الأوزان لا يعني تجميد السلوك. فالمهايئ يغيّر مخرجات النموذج عمدًا، لذلك تظل القدرة العامة وسلوك الرفض وجودة الإجابة بحاجة إلى فحوص تراجع الأداء. قد تعيد إزالة المهايئ المسار الأساسي؛ لكن تركه نشطًا لا يضمن بقاء الإجابات الأخرى كما هي.

لا ضمان بأن يساوي LoRA الضبط الدقيق الكامل. تعرض الورقة الأصلية نتائج قوية في المهام التي قيّمتها. وهذا دليل يدعم الطريقة، وليس مبرهنة على تكافؤ شامل. إذا ظل المهايئ، بعد تقييم جيد، عاجزًا عن تحقيق المتطلب، فافحص البيانات والنموذج الأساسي والمهمة قبل افتراض أن الحل هو تدريب أكبر.

لا توجد رتبة سحرية أو كمية أمثلة أو تقدير لساعات GPU يصلح للجميع. بنية النموذج وطول التسلسل والوحدات المستهدفة والمهمة الفعلية كلها تغيّر التجربة. ابدأ بوصفة موثّقة، واجعل نتائج التحقق مبررًا للتغيير التالي.

أسئلة شائعة عن الضبط الدقيق باستخدام LoRA

ما المقصود بالضبط الدقيق باستخدام LoRA؟

هو تدريب مصفوفات إضافية منخفضة الرتبة مع إبقاء الأوزان الأساسية الأصلية مجمّدة. يعدّل المهايئ المتعلّم حسابات النموذج الأساسي، ويحتاج إلى ذلك النموذج للاستدلال ما لم تُدمج الأوزان.

هل ثبت أن الضبط الدقيق غير مجدٍ؟

لا تتيح تجربة فاشلة أو نتيجة اختبار معياري إصدار حكم شامل. في تطبيقك، قارن أفضل أداء مرجعي عملي بالتعليمات مع النموذج المدرَّب على حالات محجوزة. وإذا لم يتحسّن السلوك المطلوب، فلا تطلق النموذج.

كم تبلغ تكلفة الضبط الدقيق؟

تعتمد على النموذج والبيانات المعالَجة ووصفة التدريب وترتيبات التشغيل. يقلّل LoRA المعلمات القابلة للتدريب، لكنه لا يلغي تجهيز البيانات أو التقييم أو الاستضافة. اختر مسارًا مدعومًا للتدريب والتشغيل قبل مراجعة أسعاره الحالية المنشورة؛ فلا يوجد سعر موحّد مفيد لكل مهام التدريب.

ما مثال عملي على الضبط الدقيق؟

التدريب على رسائل دعم معتمدة، مقترنة بالفئة الصحيحة وإجراء التصعيد وتنسيق الإجابة. تعلّم هذه الأمثلة نمط قرار متكررًا؛ أما سجلات العميل الحالية فما زال يلزم تقديمها وقت الطلب.

هل ما زال الضبط الدقيق مستخدمًا؟

نعم. توثّق Together AI وFireworks AI وHugging Face PEFT وUnsloth مسارات تدريب حالية. وتعتمد ملاءمته لحالتك على الخطأ الذي يبقى بعد تحسين التعليمات وإضافة الاسترجاع عند الحاجة.

كيف أبدأ بالضبط الدقيق؟

حدّد مقياسًا للمهمة، وسجّل الأداء المرجعي، وجهّز بيانات منفصلة للتدريب والتقييم، واختر نموذجًا ووصفة مدعومين، ثم درّب واختر وفق نتائج التحقق، وقارن على اختبار مغلق قبل النشر. وتحقّق أيضًا من النسخة المنشورة.

ما العلاقة بين PEFT وLoRA؟

يشير PEFT إلى الضبط الدقيق الكفؤ من حيث عدد المعلمات، وهو عائلة من الطرق تدرّب مجموعة محدودة من المعلمات. وHugging Face PEFT أيضًا مكتبة تطبّق هذه الطرق. أما LoRA فهو إحدى الطرق ضمن هذه العائلة.

أيّ النماذج تدعم الضبط الدقيق؟

ارجع إلى القائمة الدقيقة للنماذج المدعومة لدى مزوّدك المستضاف أو منظومة التدريب المفتوحة، مع مراجعة ترخيص النموذج. فدعم التدريب ودعم تشغيل المهايئات وتوافر الأوزان الأساسية أمور يجب التحقق منها كلٌّ على حدة. اسم عائلة النماذج وحده لا يكفي.

ما التعبير الآخر للضبط الدقيق؟

في هذا السياق، يمكن وصفه بتكييف النموذج للمهمة أو مواصلة تدريبه على أمثلة موجّهة. تغيّر هندسة التعليمات ما يُقدَّم للنموذج من توجيهات وقت الاستدلال؛ أما الضبط الدقيق فيغيّر المعلمات المتعلّمة.

ما خطوتك العملية التالية؟

في الأسبوع المقبل، اختر خطأ متكررًا من التطبيق الذي تشغّله بالفعل وحوّله إلى اختبار قبول صريح. اجمع أمثلة معتمدة، وميّز الحالات المرتبطة قبل تقسيم البيانات، وقِس أفضل أداء مرجعي بالتعليمات. إذا أخفق هذا الأساس في سلوك ثابت، فاختر مسار LoRA موثّقًا تستطيع تشغيل مخرجاته. ابدأ التدريب بعد أن تتضح هذه القرارات.

للحصول على أدلة عملية لبناء أنظمة الذكاء الاصطناعي وتقييمها، اشترك في النشرة البريدية.