شرح quantization: كيف تختار بين GGUF وAWQ وGPTQ وFP8؟

اختر أعلى دقة تتسع لها متطلبات عملك وتجتاز اختبارات الجودة التي وضعتها. فصغر ملف التنزيل لا يفيد إلا إذا ظل النموذج يجيب إجابات صحيحة، مع بقاء ذاكرة كافية للمحادثة.

جرى التحقق من التوثيق ومعلومات التوافق بالرجوع إلى صفحات المشاريع المنشورة في 20 أكتوبر 2026. أما أرقام الذاكرة فهي حسابات مبنية على عدد مُعامِلات Qwen2.5-7B-Instruct الموثّق، وليست قياسات لاستهلاك ذاكرة GPU أو نتائج لاختبارات أداء.

شرح quantization: دقة أقل مع بقاء بنية النموذج

يخزّن التكميم القيم العددية التي تعلّمها النموذج باستخدام عدد أقل من البتات. يعتمد النموذج اللغوي الكبير، أو LLM، على مُعامِلات عددية متعلَّمة تُسمّى الأوزان لتوليد النصوص. ويقلّل خفض دقتها كلفة تخزينها ونقلها، لكنه يُدخل خطأً ناتجًا عن التقريب. يشرح دليل التكميم من Hugging Face هذه الموازنة بين استهلاك الذاكرة ودقة النتائج.

تخيّل مخططًا معماريًا سُجّلت أبعاده بدقة عالية. تقريب القياسات يجعل السجل أكثر اختصارًا، لكنه يغيّر بعض الأبعاد قليلًا. ومع ذلك، تبقى غرف المبنى كما هي. وبالمثل، لا يحوّل تكميم الأوزان المعتاد نموذجًا كبيرًا إلى نموذج ذي طبقات أقل أو مُعامِلات متعلَّمة أقل؛ بل يغيّر دقة تمثيل أوزانه.

لكن للتشبيه حدودًا: فالتكميم عملية مدروسة أكثر من مجرد حذف منازل عشرية. يمكن تجميع القيم، وتخصيص عامل مقياس لها، ثم ربطها بمجموعة أصغر من القيم القابلة للتمثيل. ويساعد عامل المقياس بيئة التشغيل على استعادة قيمة تقريبية عند إجراء الحسابات. كما يمكن إبقاء الأجزاء المهمة بدقة أعلى. يتناول شرح IBM للتكميم طرق الربط هذه والخطأ الناتج عنها.

قبل اختيار الملف الذي ستنزّله، ميّز بين ثلاثة أشياء:

• الأوزان: القيم المتعلَّمة المخزّنة مع النموذج.
• قيم التنشيط: القيم الوسيطة التي تتولد أثناء معالجة المدخلات.
• ذاكرة KV المؤقتة: بيانات الانتباه المحفوظة للسياق الذي عولج بالفعل، وهي تشغل ذاكرة إضافية كلما طالت المحادثة.

يقلّل تكميم الأوزان وحدها حجم الفئة الأولى، ولا يقلّل حجم الفئتين الأخريين تلقائيًا. ولهذا قد يُحمَّل النموذج بنجاح ثم تنفد الذاكرة عند معالجة طلب طويل. ويتعامل توثيق Ollama للذاكرة والتخزين المؤقت مع سعة السياق ودقة ذاكرة التخزين المؤقت بوصفهما إعدادين منفصلين.

ما الفرق بين التكميم بعد التدريب والتدريب الواعي بالتكميم؟

إذا كنت تطوّر تطبيقًا وتريد تنزيل نموذج، فعادةً ما يكون التكميم بعد التدريب هو نقطة البداية المناسبة. يحوّل التكميم بعد التدريب، أو PTQ، نسخة نموذج سبق تدريبها إلى نسخة مكمّمة. وتستخدم بعض الطرق بيانات معايرة: مدخلات تمثيلية تساعد على اختيار كيفية تقريب الأوزان. أما التدريب الواعي بالتكميم، أو QAT، فيأخذ آثار الدقة المنخفضة في الحسبان أثناء التدريب أو الضبط الدقيق. وتشرح IBM كلا النهجين.

لا تحتاج إلى تدريب نموذج لاستخدام نسخة مكمّمة منشورة. لكن عليك معرفة النموذج الأصلي الذي اشتُقّت منه، وطريقة التكميم التي أُنتجت بها، وبيئة التشغيل القادرة على تحميلها. ولا يكفي اسم الملف وحده للإجابة عن هذه الأسئلة.

GGUF وAWQ وGPTQ وFP8: أي بيئة تشغيل تناسب كلًا منها؟

تصف هذه الأسماء مستويات مختلفة من النظام، فلا يصح التعامل معها بوصفها بدائل متكافئة. GGUF حاوية ملفات، وAWQ وGPTQ طريقتان للتكميم، وFP8 صيغة عددية. أما نسخة النموذج المحفوظة، أو checkpoint، فتضم الأوزان والمعلومات اللازمة لتحميلها.

توثّق Hugging Face، منصة استضافة النماذج ومطوّرة Transformers، صيغ الملفات وطرق تحميلها. يجمع الجدول التالي بين هذا التوثيق وإرشادات بيئات التشغيل نفسها. وهو دليل عملي للاختيار، ولا يعني أن كل بنية نموذج تعمل في جميع المسارات المذكورة.

امتداد .safetensors لا يحسم مسألة الدقة أيضًا. فهو يحدّد صيغة لتخزين الموترات. اقرأ إعدادات التكميم وبطاقة النموذج لتعرف كيف تُمثَّل هذه الموترات وأي أداة تحميل صُمّمت لها. يميّز توثيق GGUF من Hugging Face بين البيانات الوصفية للحاوية وبيانات الموترات، بينما يعرض دليل AWQ حقول quantization_config ذات الصلة.

ماذا يعني Q4_K_M؟

تعامل مع Q4_K_M بوصفه إعدادًا مسبقًا بدقة مختلطة، لا ضمانًا بأن كل مُعامِل يشغل أربعة بتات بالضبط. يشير Q4 إلى عائلة التكميم ذات الدقة الاسمية البالغة أربعة بتات، وK إلى نظام كتل K-quant، وM إلى الإعداد المتوسط. ويمكن تخصيص دقة أعلى لموترات مختارة بحسب بنية النموذج وقواعد أداة التكميم. وتوضّح شيفرة التكميم في llama.cpp هذه الاختيارات صراحةً.

حتى كتلة Q4_K العادية تحتاج إلى بيانات مساعدة: يسجّل جدول ترميز الموترات في المشروع 4.5 بت لكل وزن عند احتساب معلومات المقياس والقيمة الدنيا. وهذا رقم على مستوى الكتلة، وليس متوسطًا ينطبق على كل نموذج Q4_K_M.

إذا كانت موارد جهازك المحلي محدودة، فإن Q4_K_M خيار معقول للاختبار. وإن كانت نسخة أعلى دقة تتسع في الذاكرة مع السياق الذي تنوي استخدامه، فقارنها أيضًا. لا تتنازل عن جودة الإجابات لمجرد توافر ملف أصغر.

مثال عملي لحساب الذاكرة: Qwen2.5-7B-Instruct

ابدأ بإجمالي المُعامِلات، ثم أضف الذاكرة اللازمة لتشغيلها. يضم Qwen2.5-7B-Instruct، نموذج Qwen المضبوط لاتباع التعليمات والمستخدم هنا مثالًا عمليًا، 7.61 مليار مُعامِل إجمالًا. وتسجّل بطاقة النموذج بصورة منفصلة 6.53 مليار مُعامِل خارج طبقات التضمين؛ واستخدام هذا الرقم الأصغر يستبعد جزءًا من النموذج المخزَّن. بطاقة نموذج Qwen.

الحساب المثالي هو:

حجم الأوزان بالبايت ≈ عدد المُعامِلات × عدد البتات لكل مُعامِل ÷ 8

عند دقة 16 بت، يصبح الحساب 7,610,000,000 × 16 ÷ 8 = 15,220,000,000 bytes. وبتكراره لدرجات الدقة الأخرى نحصل على:

هذه حساباتنا انطلاقًا من عدد المُعامِلات المقرَّب الوارد في بطاقة النموذج، بافتراض أن كل مُعامِل يستخدم عدد البتات المحدَّد. للتحويل إلى GB بالنظام العشري نقسم عدد البايتات على 1,000,000,000، وللتحويل إلى GiB نقسمه على 1,073,741,824. اختلاف الوحدة يغيّر الرقم المعروض، لا مقدار الذاكرة.

يستبعد الجدول عمدًا عوامل مقياس التكميم، والموترات الأعلى دقة، والبيانات الوصفية للملف، وذاكرة التخزين المؤقت، وقيم التنشيط، ومساحات العمل المؤقتة، والذاكرة التي تحجزها بيئة التشغيل. لذلك لن يساوي حجم تنزيل Q4_K_M الرقم المثالي في صف الأربعة بتات. كما أن هذا الصف لا يثبت أن النموذج سيعمل على وحدة GPU افتراضية بسعة 4 GB.

لهذا لا تكفي محادثة قصيرة لاختبار سعة مساعد برمجي يعمل محليًا. الاختبار المفيد يشمل ملفات المصدر والتعليمات وطول الإجابة الذي تتوقع استخدامه. وإذا كنت تشغّل خادمًا، فأضف الطلبات المتزامنة. ويوثّق Ollama صراحةً أثر الطلبات المتوازية وتخصيص السياق في الذاكرة.

راجع دليل ذاكرة KV المؤقتة لحساب ذاكرة السياق بصورة منفصلة. فتكميم الأوزان وتكميم ذاكرة التخزين المؤقت إعدادان مختلفان؛ ويوثّق vLLM أيضًا تكميم ذاكرة KV المؤقتة بوصفه ميزة مستقلة.

اختر الصيغة وفق بيئة التشغيل

حدّد مسار التنفيذ قبل اختيار الدقة. فالتوافق شرط أساسي. وبعد التأكد منه، اختر بناءً على الذاكرة المتاحة وجودة الإجابات وزمن الاستجابة المقاس على مهامك الفعلية.

llama.cpp: ابدأ بملف GGUF متوافق

llama.cpp محرّك استدلال محلي، وهو المسار المباشر لاستخدام GGUF حين تريد التحكم في ملف النموذج وتوزيعه على الأجهزة. يذكر توثيق المشروع دعم التشغيل على CPU، ودعم Apple silicon، والتنفيذ المشترك على CPU وGPU. وهذا يجعله مفيدًا عندما لا تتسع ذاكرة وحدة GPU منفصلة لجميع أوزان النموذج. توثيق مشروع llama.cpp.

لكن نجاح التحميل لا يضمن سرعة مفيدة. فتوزيع العمل بين CPU وGPU يغيّر ظروف التنفيذ، ويظل عليك قياس الأداء على الموجّه والإجابة الفعليين. اختر بنية النموذج أولًا، ثم ملف GGUF متوافقًا، ثم إعداد التكميم.

استعن بـدليل أفضل النماذج اللغوية المحلية على الموقع لتضييق خيارات النموذج الأساسي. فالتكميم لا يمنح نموذجًا غير مناسب القدرة على فهم مهمة يعجز عن أدائها جيدًا حتى بدقة أعلى.

Ollama: استورد النسخة المكمّمة التي تريد تشغيلها

يستطيع Ollama، وهو أداة لتشغيل النماذج محليًا، استيراد ملف GGUF مُعَد مسبقًا، لكن الاستيراد نفسه لا يكمّم الملف. ينص دليل الاستيراد الحالي على تجهيز الملف المكمّم أولًا. وهذه نقطة مهمة إذا كنت تتوقع أن يحوّل أمر الاستيراد نموذجًا أعلى دقة إلى Q4_K_M تلقائيًا. توثيق الاستيراد في Ollama.

بعد تثبيت Ollama وحفظ ملف متوافق ومكمّم مسبقًا باسم model.gguf في المجلد الحالي، تكون خطوات التشغيل الموثّقة كالتالي:

printf 'FROM ./model.gguf\n' > Modelfile
ollama create quant-check
ollama run quant-check

شغّل ollama ps في نافذة طرفية أخرى لفحص توزيع النموذج المحمَّل بين CPU وGPU. هذا فحص لما جرى تحميله، وليس اختبارًا معياريًا للجودة. الأسئلة الشائعة في Ollama.

وتظل متطلبات الذاكرة الخاصة بمهامك هي القيد في Ollama. فسهولة أمر تشغيل النموذج لا تلغي الحاجة إلى تخصيص ذاكرة للسياق والطلبات المتزامنة. توضّح مقارنة Ollama وllama.cpp مستوى التحكم المناسب لك في ملفات النموذج وبيئة التشغيل.

vLLM: طابق نسخة النموذج مع نواة التنفيذ ووحدة GPU

يحتاج vLLM، وهو محرّك للاستدلال وتقديم النماذج، إلى نسخة مكمّمة تتوافق مع مسار تنفيذ مدعوم. ابدأ بنسخة AWQ أو GPTQ أو FP8 التي يدعمها ناشر النموذج، ثم تحقّق من وحدة GPU لديك في جدول توافق العتاد في vLLM. ونواة التنفيذ هي الشيفرة الحسابية منخفضة المستوى التي تتيح تشغيل الصيغة بكفاءة على ذلك العتاد.

لأعمال التكميم الجديدة باستخدام AWQ، يوجّهك التوثيق الحالي إلى LLM Compressor. أما AutoAWQ فأصبح متقادمًا؛ وهذا لا يعني اختفاء AWQ بوصفه طريقة تكميم وعائلة من نسخ النماذج. وبالنسبة إلى GPTQ في Transformers، فإن خلفية التنفيذ التي تخضع للصيانة هي GPTQModel، وقد يتوقف التوافق على إعدادات نسخة النموذج. إرشادات AWQ في vLLM، إرشادات GPTQ من Hugging Face.

أما FP8 فيحتاج إلى تمييز إضافي. تعني W8A8 أوزانًا وقيم تنشيط بدقة ثمانية بتات، بينما تعني W8A16 أوزانًا بدقة ثمانية بتات وقيم تنشيط بدقة ستة عشر بتًا. يوثّق vLLM دعم الحسابات المباشرة بصيغة FP8 W8A8 على NVIDIA Ada وHopper وBlackwell، بينما يمكن لـTuring وAmpere استخدام مسار W8A16 الذي يطبّق الدقة المنخفضة على الأوزان وحدها عبر Marlin. لذلك لا تكفي عبارة «FP8 مدعوم» لمعرفة مسار الحسابات الذي ستحصل عليه. توثيق FP8 في vLLM.

لا تجعل GGUF خيارك الافتراضي للنشر باستخدام vLLM لمجرد أنه نجح محليًا. يوجّه التوثيق الحالي استخدام GGUF عبر vllm-gguf-plugin، ولا يزال يصف هذا المسار بأنه تجريبي ويحتاج إلى مزيد من تحسين الأداء، مع احتمال عدم التوافق مع بعض الميزات. هذا قيد عند الانتقال بين البيئات، وليس دليلًا على ضعف GGUF في ذاته. توثيق GGUF في vLLM.

واجهة API مستضافة: اختر ضمن ما تتيحه نقطة النهاية

إذا كانت واجهة API المستضافة لا تتيح إعدادًا للدقة، فليس لديك قرار محلي تتخذه بشأن التكميم. اقرأ مواصفات نقطة النهاية. إن كانت تتيح نسخًا مسماة بدرجات دقة مختلفة، فقيّم النسخة التي تختارها. وإن لم تكن كذلك، فقيّم مخرجات الخدمة وزمن استجابتها دون تخمين طريقة التمثيل العددي داخلها.

تطابق اسم النموذج لدى مزوّدين مختلفين لا يكفي لاستنتاج تطابق التكميم أو بيئة التشغيل أو النتائج. اطلب توثيقًا لنسخة النموذج أو ضمانًا للدقة فقط عندما يحتاج تطبيقك إلى ذلك. أما رفع أوزانك الخاصة وتقديمها للمستخدمين فهو قرار نشر منفصل يعيدك إلى شروط توافق بيئة التشغيل والعتاد.

التكميم بين توفير الذاكرة والسرعة وجودة النتائج

يأتي توفير الذاكرة من صغر التمثيل العددي، أما السرعة والجودة فتحتاج كل منهما إلى تقييم مستقل. قد يقلّل الاحتفاظ ببيانات أقل في الذاكرة حجم العمل اللازم لنقل الأوزان، لكن بيئة التشغيل قد تحتاج أيضًا إلى فكّ حزم هذه القيم أو تحويلها قبل الحساب بها. يشرح توثيق GPTQ من Hugging Face كيف تستطيع نواة تنفيذ مدمجة استعادة الأوزان منخفضة البتات لإجراء الحسابات، دون توسيع النموذج كاملًا في ذاكرة GPU العامة.

وهذا يوضّح الفائدة المحتملة وحدودها معًا. يمكن لنواة تنفيذ مدعومة أن تستفيد من الأوزان المضغوطة، بينما قد يبدّد مسار تنفيذ غير مناسب هذه الميزة. قِس زمن ظهور أول رمز، وسرعة التوليد، ومعدل المعالجة عند مستوى التزامن المستهدف، بدلًا من اعتبار حجم الملف معيارًا للسرعة.

والجودة بدورها مرتبطة بالمهمة. في مساعد البرمجة، قارن قدرة التعديل المقترح على اجتياز الاختبارات ذات الصلة. وفي استخراج البيانات من المستندات، قارن الحقول المطلوبة وصحة المخرجات المنظَّمة. وفي مساعد متعدد اللغات، اختبر اللغات التي ستدعمها. طلاقة الإجابة وحدها لا تكفي لإثبات أن التكميم حافظ على أداء النموذج في مهمتك.

المقارنة المفيدة تكون بين نسخة النموذج الأصلية نفسها بدقة أعلى ونسختها بالتكميم المرشّح، مع استخدام الموجّهات وقالب المحادثة وإعدادات التوليد نفسها. إذا قارنت نماذج مختلفة في الوقت ذاته، فلن تتمكن من عزل أثر التكميم.

متى تُبقي الدقة الأعلى، وأي ادعاءات التكميم مبالغ فيها؟

احتفظ بالدقة الأعلى عندما تتسع لها الذاكرة بالفعل ولا يحقق خيار التكميم فائدة تشغيلية مقاسة. فالضغط الإضافي ينتج نسخة أخرى من النموذج وسلوكًا آخر يحتاج إلى التحقق. لذلك ينبغي أن يحل مشكلة تواجهها فعلًا.

لا تعتمد نسخة أقل دقة إذا أخفقت في اختبارات مهمة لمهامك، أو كان دعم مسار تشغيلها ضعيفًا، أو ظلت متطلبات السياق الطويل تتجاوز الذاكرة المتاحة. وفي الحالة الأخيرة، راجع طول السياق وعدد الطلبات المتزامنة قبل الاستمرار في تقليص الأوزان.

ولا تتعامل مع نسخة مكمّمة للاستدلال بوصفها نسخة تدريب صالحة لكل الأغراض. يوثّق bitsandbytes دعم التدريب منخفض البتات لـمُعامِلات إضافية، مثل أوزان المهايئات. وهذا مسار محدد للضبط الدقيق، ولا يعني أن كل نسخة مكمّمة تنزّلها تدعم التدريب المعتاد لجميع الأوزان. توثيق bitsandbytes من Hugging Face.

أما الادعاءات المبالغ فيها فأبرزها:

• «أربعة بتات تعني أن التطبيق كله يستهلك ربع الذاكرة». هذه نسبة مثالية لعدد بتات الأوزان مقارنة بستة عشر بتًا. ولذاكرة التشغيل مكوّنات أخرى.
• «ثمانية بتات تعني صيغة واحدة». FP8 وINT8 وQ8_0 تمثيلات ومسارات تنفيذ مختلفة.
• «عدد بتات أقل يعني سرعة أعلى دائمًا». نسخة النموذج ونواة التنفيذ والعتاد وطبيعة المهام هي التي تحدّد ما إذا كان تقليل الذاكرة سيحسّن زمن الاستجابة أو معدل المعالجة.
• «النموذج الأكبر المكمّم يتفوّق دائمًا على نموذج أصغر بدقة أعلى». لا يكفي عدد المُعامِلات وعدد البتات وحدهما للحكم على جودة أداء المهمة. قيّم الخيارين إذا كانت الذاكرة تتسع لكل منهما.

لخيارات مخصّصة للبرمجة، راجع دليل أفضل نماذج الذكاء الاصطناعي المحلية للبرمجة، ثم قارن نسخ التكميم المختلفة للنموذج المختار على المهام التي تتوقع منه أداءها.

تكميم النماذج اللغوية: خطوتك العملية التالية

ابدأ بنسخة نموذج واحدة مدعومة، وتقييم صغير يمكن تكراره. أبقِ النموذج الأصلي ثابتًا إلى أن تفهم أثر تغيير الدقة.

أسئلة شائعة

للحصول على أدلة عملية لتشغيل أنظمة الذكاء الاصطناعي ونشرها، اشترك في النشرة البريدية.