ما هو التوكن؟ دليل لفهم وحدات النص في الذكاء الاصطناعي

ما هو التوكن في الذكاء الاصطناعي؟ هو جزء صغير من النص يقرؤه نموذج اللغة أو يولّده، وقد يكون كلمة أو جزءًا منها أو علامة ترقيم. وبحسب القاعدة التقريبية التي توردها OpenAI للنصوص الإنجليزية، يعادل التوكن نحو ثلاثة أرباع كلمة، أي 75 كلمة لكل 100 توكن. وتكمن أهميته في أنه يساعد على تحديد تكلفة الاستخدام وحجم النص الذي يستطيع النموذج التعامل معه. المصدر: دليل OpenAI للتوكنات.

ما هو التوكن وكيف يتعامل معه نموذج اللغة؟

التوكن وحدة نصية، وليس رسالة كاملة أو مهمة منجزة. أما نموذج اللغة الكبير، أو LLM، فهو نوع من نماذج الذكاء الاصطناعي يولّد اللغة. ويجهّز النص له برنامج لتقسيمه إلى هذه الوحدات، يُعرف باسم أداة تجزئة النص إلى توكنات.

تخيّل الجملة لوحة فسيفساء: تراها أنت كاملة، بينما يتعامل النموذج مع قطعها منفردة. وتختلف أحجام القطع؛ فقد تكفي قطعة واحدة لكلمة مألوفة، بينما تحتاج كلمة أخرى إلى عدة قطع. ولا يشترط أن تتطابق حدود هذه القطع مع المقاطع الصوتية أو تعريفات الكلمات في القاموس.

وتمنح أداة التجزئة كل قطعة معرّفًا رقميًا. يعالج النموذج هذه المعرّفات ويولّد مزيدًا من التوكنات، ثم تُحوَّل إلى نص مقروء. وتعرض وثائق أداة التجزئة لدى OpenAI القطع ومعرّفاتها معًا.

والنتيجة العملية لمن يدير سير العمل واضحة: عدد الرسائل لا يقيس حجم العمل بدقة. فقد يتضمن توجيه قصير مرفق بمستند نصًا أكثر بكثير من سؤال طويل يُرسل وحده.

كيف يتم حساب التوكن؟

يُحسب عدد التوكنات بتطبيق أداة تجزئة محددة على النص نفسه بدقة. وضرب عدد الكلمات في معامل تقريبي يعطيك تقديرًا، أما تشغيل أداة المزوّد فيعطيك العدد وفق قواعد تلك الأداة.

مثال محسوب بأداة OpenAI نفسها

تقسم أداة tiktoken مفتوحة المصدر من OpenAI النص tiktoken is great! إلى 6 توكنات عند استخدام الترميز cl100k_base، وهو اسم مجموعة القواعد التي تحوّل النص إلى توكنات:

t · ik · token · is · great · !

أُعيد التحقق من هذا العدد باستخدام أداة OpenAI في 15 أكتوبر 2026. وترد الجملة وطريقة تقسيمها أيضًا في شرح OpenAI لأداة التجزئة. وهذا عدد توكنات النص وحده، وليس إجمالي توكنات طلب محادثة.

لاحظ المسافة في بداية كل من is و great. فقد تُضم المسافة إلى الكلمة التي تليها، بينما جاءت علامة التعجب منفصلة هنا. وحتى اسم الأداة نفسها قُسّم إلى أجزاء. لذلك لا يمكن الاعتماد على عدّ المسافات بين الكلمات لحساب التوكنات.

وقد ذُكر الترميز في المثال عن قصد: فتغيير أداة تجزئة النموذج قد يغيّر طريقة التقسيم. ولا يكون للعدد معنى دقيق إلا مع معرفة النص والأداة اللذين نتج عنهما.

حساب توكنات ChatGPT: استخدم أدوات المزوّد

تتيح لك أداة Tokenizer المرئية من OpenAI لصق النص ورؤية أجزائه. اختر من إعدادات الترميز أو النموذج المتاحة ما يطابق مهمتك؛ فالمثال المعروض بترميز آخر لا يضمن لك العدد الذي ستُحاسب عليه.

ولدى المزوّدين الآخرين أدواتهم الخاصة لحساب التوكنات:

• Anthropic Claude: تحسب نقطة نهاية حساب التوكنات مدخلات الرسائل المدعومة للنموذج المختار. وتوضح وثائقها خصائص الطلبات التي لا تستطيع احتسابها.
• Google Gemini: تحسب أداة count_tokens المدخلات قبل التوليد، بينما تبيّن معلومات الاستخدام الواردة في الاستجابة ما استُهلك فعليًا.

تعتمد هذه الأدوات في الحساب على قواعد كل مزوّد. وإذا كانت الأتمتة تستخدم واجهة برمجة تطبيقات، أو API، لربط التطبيق بنموذج الذكاء الاصطناعي، فاطلب من مطوّرها حساب التوكنات باستخدام النموذج الفعلي وصيغة الطلب الفعلية.

كم كلمة يعادل التوكن؟

في النصوص الإنجليزية، تورد OpenAI التقديرات الآتية: يعادل التوكن نحو 4 أحرف أو ثلاثة أرباع كلمة، وتعادل 100 توكن نحو 75 كلمة. وهذه تقديرات المزوّد وليست نسب تحويل ثابتة. ويوضح مقال المساعدة لدى OpenAI صراحةً أن اللغة وبنية النص تغيّران هذه العلاقة.

استخدم هذه القاعدة لتقدير ما إذا كانت المسودة صغيرة أو كبيرة. أما في حملة متعددة اللغات، أو كتالوج منتجات، أو مستند يحتوي على شيفرة برمجية، فاحسب توكنات المادة نفسها قبل الالتزام بسعة أو ميزانية محددة.

توكنات الإدخال والإخراج: ما ترسله وما يولّده النموذج

توكنات الإدخال هي ما يتلقاه النموذج، وتوكنات الإخراج هي ما يولّده. وقد تشمل المدخلات أكثر بكثير من آخر جملة كتبتها.

تخيّل سير عمل لخدمة العملاء. التوجيه الذي تراه يطلب إعداد مسودة رد، لكن التطبيق قد يرسل معه تعليماته الثابتة ورسائل العميل السابقة وسياسة الإرجاع ذات الصلة. كل هذه المواد المرسلة تُحسب ضمن المدخلات، أما مسودة الرد فتُحسب ضمن المخرجات.

تغطي وثائق الحساب لدى Anthropic المدخلات المنظّمة، مثل التعليمات والرسائل والأدوات. وتوضح أمثلة Google للمحادثات متعددة الجولات لماذا قد تسهم الجولات السابقة في استهلاك الجولات اللاحقة.

بالنسبة إلى المسوّق، يعني ذلك أن إرفاق أرشيف العلامة التجارية كاملًا مع كل طلب صغير لكتابة نص يستحق المراجعة. وبالنسبة إلى المؤسس، يعني أن يطلب من المطوّر قياس الطلب كاملًا بدلًا من تقدير حجمه بناءً على فقاعة المحادثة الظاهرة وحدها.

وهناك تمييز آخر في جانب المخرجات. توضح وثائق نماذج الاستدلال لدى OpenAI أن توكنات الاستدلال الداخلي تُحسب ضمن استهلاك المخرجات، رغم أنها لا تظهر في نص الإجابة. ولذلك قد يكون عدد توكنات الإخراج لإجابة قصيرة أكبر مما توحي به كلماتها الظاهرة.

لماذا تكون توكنات الإخراج أغلى غالبًا؟

تختلف المتطلبات الحاسوبية لقراءة نص توجيهي موجود عن متطلبات توليد تتمة له. فالمدخلات كاملة متاحة منذ البداية، ولذلك يمكن معالجة جزء كبير منها بالتوازي. أما توليد المخرجات بالطريقة المعتادة فيجري بالتتابع، إذ تعتمد التوكنات اللاحقة على السابقة. وتشرح NVIDIA هذا الفرق في دليلها التقني لمعالجة المدخلات والتوليد.

يساعد ذلك على تفسير اختلاف أسعار الإدخال والإخراج، لكنه لا يثبت وجود نسبة سعرية موحّدة بينهما؛ فلكل مزوّد أسعاره، كما تختلف تصميمات النماذج وتقنيات تشغيلها لخدمة الطلبات.

عمليًا، يختلف مزيج الاستهلاك في سير عمل يقرأ مستندات ويعيد تسميات قصيرة عن سير عمل يكتب تقارير طويلة. وللمقارنة بينهما، استخدم إجمالي المدخلات وإجمالي المخرجات كلًا على حدة.

مثال حسابي للاستهلاك الشهري: تعرض Anthropic حاليًا سعر Claude Sonnet 5.5 عند $2 لكل مليون توكن إدخال و**$10 لكل مليون توكن إخراج** وفق الأسعار القياسية لواجهة API. إذا بلغ إجمالي الاستهلاك خلال شهر 1 مليون توكن إدخال غير مخزّن مؤقتًا، إضافة إلى 1 مليون توكن إخراج، فإن الحساب يكون $2 + $10 = $12 رسومًا لتوكنات النموذج. يفترض هذا المجموع التوضيحي المعالجة العالمية القياسية، من دون تخزين مؤقت أو خصومات المعالجة على دفعات، ولا يشمل الأدوات المدفوعة والضرائب. أسعار المزوّد، جرى التحقق منها في 15 أكتوبر 2026.

هذا مجموع جزئي لرسوم الاستخدام، وليس سعر اشتراك أو توقعًا لحجم استهلاكك الشهري. ويتراكم عدد التوكنات الذي تستهلكه الأتمتة عبر طلبات API التي ترسلها، كما تضيف التعديلات وإعادة المحاولة عملًا آخر.

وقد تخضع المدخلات المخزّنة مؤقتًا لقواعد فوترة مختلفة، إذ يعيد المزوّد استخدام مواد من النص التوجيهي سبق أن عالجها. نشرح هذه الآلية في دليل KV-cache والتخزين المؤقت للنصوص التوجيهية. وللمفاضلة بين النماذج، ارجع إلى مقارنة أرخص واجهات API للذكاء الاصطناعي؛ فالغرض من المثال هنا هو شرح وحدة القياس.

حدود توكنات الذكاء الاصطناعي: ليست كلها من النوع نفسه

اعرف أي حد وصلت إليه قبل تغيير خطتك. فالطلب الكبير جدًا، والطلبات المتلاحقة بسرعة مفرطة، ونفاد رصيد الاستخدام المشمول في الاشتراك، مشكلات تحتاج إلى حلول مختلفة.

يتعلق حد السياق بحجم المادة التي يستطيع النموذج التعامل معها في الطلب الواحد. أما الحد الأقصى للإخراج فيتعلق بحجم ما يستطيع توليده. اترك مساحة للإجابة إلى جانب المادة التي ترسلها. وللتفصيل، راجع دليلنا عن حجم السياق وهندسة السياق.

يقيّد حد معدل استخدام API سرعة إرسال الطلبات أو التوكنات، بينما يتعلق حد الإنفاق بالرسوم. ولا يحدد أي منهما حجم المادة التي يتسع لها طلب بعينه. وتفرّق OpenAI بين هذه الحدود في دليلها للتوكنات.

أما رصيد الاستخدام المشمول في خطة المحادثة فيحكمه نظام المنتج نفسه. وتوضح Anthropic أن استهلاك Claude يتغير بحسب طول المحادثة وتعقيدها، والنموذج المختار، والميزات، ومستوى جهد الاستدلال. كما يبيّن دليلها لحدود الاستخدام وطول المحادثة أن رصيد الاستخدام وحدود طول المحادثة أمران منفصلان.

والنتيجة العملية لمن يدير سير العمل: شراء المزيد من الاستخدام لا يضمن أن يصبح المستند الكبير قابلًا للإدراج في الطلب. وقد يقلل بدء محادثة جديدة حجم المادة المنقولة من الجولات السابقة، لكنه لا يلغي ما استُهلك بالفعل.

كيف تشتري توكنات الذكاء الاصطناعي؟

عادةً ما تدفع مقابل الوصول إلى الخدمة أو مقابل الاستهلاك الفعلي عبر المنتج الذي تستخدمه. وقبل إضافة المال، تحقق مما إذا كان العرض اشتراكًا، أو فوترة لاستخدام API، أو رصيد وحدات خاصًا بالتطبيق.

توضح OpenAI، مثلًا، أن اشتراكات ChatGPT واستخدام API لهما فوترة منفصلة. فالدفع مقابل منتج المحادثة لا يلغي رسوم توكنات API. وقد تجمع منتجات أخرى الاستخدام ضمن باقات مختلفة؛ لذا اقرأ شروط المنتج الذي يفرض عليك الرسوم.

ما الذي يُبالَغ فيه عند الحديث عن أعداد التوكنات؟

العدد الأكبر من التوكنات ليس مقياسًا لجودة الإجابة. فالسعة تخبرك بشيء عن حجم ما يمكن إدراجه، لكنها لا تثبت أن الإجابة صحيحة أو مفيدة أو تستحق تكلفتها.

وبالمثل، لا يكفي انخفاض سعر التوكن للحكم على النموذج الأرخص لمهمتك. فقد تقسّم أدوات التجزئة المادة نفسها بطرق مختلفة، وقد ينتج عن سير العمل قدر مختلف من المخرجات والاستدلال. قارن تكلفة الوصول إلى نتيجة مقبولة مكتملة.

ولا تجعل تقليل التوكنات مسابقة لكتابة أقصر نص توجيهي ممكن. من المنطقي حذف المرفقات غير المرتبطة بالمهمة، لكن حذف الاستثناء الوارد في السياسة الذي يجعل الرد على العميل دقيقًا هو توفير زائف. احتفظ بالمعلومات التي تغيّر الإجابة، واحذف ما لا يخدم المهمة.

ما الذي يمكنك تغييره في عملك الأسبوع المقبل؟

ابدأ الآن إذا كنت مسؤولًا عن سير عمل مؤتمت أو تصطدم بالحدود باستمرار. أما إذا كنت تستخدم تطبيق محادثة من حين لآخر وتبقى ضمن رصيد الاستخدام المتاح، فلا تحتاج إلى حساب توكنات كل جملة.

1. 1

   لمسؤولي التشغيل: حدّد ما الذي يُقاس

   اقرأ شاشة الاستخدام ورسالة الحد. وسجّل ما إذا كان القيد يتعلق بطول الطلب، أو معدل الطلبات، أو الإنفاق، أو رصيد الاستخدام في الخطة. ثم اختر الحل الذي يعالج ذلك القيد.

2. 2

   للمسوّقين: احسب توكنات مهمة تمثل عملك المعتاد

   خذ موجز عمل حقيقيًا والمواد الداعمة التي ترسلها عادةً. افحصها بأداة الحساب التي يوفرها المزوّد، ثم اطلب صيغة المخرجات التي تحتاج إليها المهمة. واحتفظ بالتعليمات الأساسية المتعلقة بالعلامة التجارية والحقائق.

3. 3

   للمؤسسين والمشترين: اطلب تفاصيل الاستهلاك

   اطلب من المطوّر أو المورّد تفصيلًا للمدخلات والمخرجات والاستخدام المخزّن مؤقتًا وأي رسوم أدوات منفصلة، لمهمة مكتملة تمثل عملك المعتاد. واستخدم هذا التفصيل لتقدير استهلاكك قبل ترقية الخطة أو تبديل النموذج.

أسئلة شائعة عن توكنات الذكاء الاصطناعي

ما هو التوكن في الذكاء الاصطناعي؟

التوكن جزء من النص يعالجه نموذج اللغة. وقد يكون جزءًا من كلمة، أو كلمة كاملة، أو علامة ترقيم؛ فلا يعني بالضرورة كلمة كاملة.

ما المقصود بتجزئة النص إلى توكنات في الذكاء الاصطناعي؟

هي عملية تقسيم المدخلات إلى الأجزاء التي يستخدمها النموذج وتمثيلها ضمن مفرداته. وتحدد قواعد أداة التجزئة طريقة هذا التقسيم.

ما أكبر 4 شركات في الذكاء الاصطناعي؟

يتعلق هذا التعبير بترتيب الشركات، وليس بمعيار للتوكنات. ولحساب التوكنات والفوترة، حدّد المزوّد والنموذج الدقيق الذي تعتمد عليه أداتك؛ فقائمة الشركات البارزة لن تحدد استهلاكها من التوكنات.

كم تبلغ تكلفة 1 مليون توكن في ChatGPT؟

لا يوجد مبلغ موحّد بالدولار يعادل هذا العدد في ChatGPT. ففوترة منتج ChatGPT منفصلة عن فوترة واجهة API لدى OpenAI. ولحساب تكلفة API، حدّد النموذج وميّز بين الإدخال والإخراج؛ أما لخطة المحادثة، فتحقق من قواعد استخدامها.

كم تساوي قيمة التوكن في الذكاء الاصطناعي؟

ليست له قيمة نقدية ثابتة. فتكلفة استخدامه تعتمد على المزوّد والنموذج وفئة الفوترة. والتوكن وحدة معالجة، وليس عملة قابلة للتحويل بين الأطراف.

من يدفع ثمن توكنات الذكاء الاصطناعي؟

في سير عمل يعتمد على API بفوترة مباشرة، يدفع الحساب الذي ينفّذ الطلبات للمزوّد. أما في تطبيق جاهز، فتحدد اتفاقية التطبيق ما إذا كنت تدفع اشتراكًا، أو رسوم استخدام، أو كليهما. اسأل عن الرسوم التي يشملها السعر المعروض عليك.

كم تعادل 1000 توكن في الذكاء الاصطناعي؟

من حيث التكلفة، يعتمد الأمر على النموذج وما إذا كانت التوكنات للإدخال أو الإخراج أو مخزّنة مؤقتًا. ومن حيث حجم النص، يختلف بحسب أداة التجزئة واللغة. استخدم أداة المزوّد بدلًا من التعامل مع هذا العدد بوصفه رصيدًا ثابتًا من الكلمات.

كيف تعمل التوكنات في ChatGPT؟

يُقسَّم النص إلى توكنات لمعالجته وتوليده. وليس بالضرورة أن يمثل النص الذي تكتبه والنص الذي تتلقاه كامل الاستهلاك؛ فقد يسهم فيه أيضًا السياق المرسل، والاستدلال الداخلي في نماذج الاستدلال التي تدعمه.

أي خدمة ذكاء اصطناعي توفر أكبر عدد من التوكنات؟

حدّد أولًا ما إذا كنت تقصد أكبر نافذة سياق، أو أطول مخرجات ممكنة، أو أكبر رصيد استخدام مشمول. فهذه مقاييس مختلفة. وعلى هذا الأساس، قارن الوثائق الحالية للنماذج أو الخطط المعنية.

هل يمكن استخدام الذكاء الاصطناعي مجانًا؟

نعم. على سبيل المثال، يقدم Claude خطة مجانية لها حدود. والوصول المجاني لا يعني استخدامًا غير محدود أو نافذة سياق بلا حدود.

للحصول على شروحات عملية لأدوات الذكاء الاصطناعي والقرارات المرتبطة بها، اشترك في النشرة البريدية.