اختبار A/B أم AI Bandit؟ بيانات التحويل وخطة 30 يوماً

أوقفتُ تجهيز اختبار A/B التالي على صفحة الهبوط الأعلى زيارات لدي، وأسندت توزيع الزيارات بدلاً منه إلى خوارزمية AI bandit متعددة الأذرع. بعد 30 يوماً، ارتفعت التسجيلات وحجبت الخوارزمية الزيارات تلقائياً عن النسخة الخاسرة، لكنني لم أستطع تقديم رقم إسناد ذي دلالة إحصائية؛ فهذا ليس ما تنتجه خوارزميات bandit أصلاً. هذه المقايضة هي جوهر القصة كلها.

النتيجة بالأرقام — والتحفّظ المهم

الصفحة المعنية صفحة عرض طويلة، تحوّل الزيارات الباردة من الإعلانات المدفوعة والزوار القادمين عضوياً وهم أكثر استعداداً إلى تسجيلات تجريبية. بلغ معدل التحويل الأساسي للتسجيل خلال 30 يوماً سبقت تشغيل الخوارزمية 3.41%. وبعد تسليم توزيع الزيارات إلى الخوارزمية، وعلى الصفحة والعرض ومزيج الزيارات نفسها، بلغ المعدل خلال 30 يوماً 4.62%. أي ارتفاع نسبي قدره 35.5% في حدث التحويل الأساسي.

لكن قبل أن يلتقط أحدهم صورة لهذا الرقم، ثمة تحفّظ أساسي: هذا ارتفاع في المحصلة التراكمية، لا أثر سببي محدد. تعيد خوارزمية bandit متعددة الأذرع توجيه الزيارات نحو النسخة المتفوقة في تلك اللحظة. ولا تحافظ على توزيع نظيف بنسبة 50/50 مدة تكفي لاستخراج فاصل ثقة لنسخة بعينها. لا توجد قيمة p، ولا نتيجة من نوع «تفوقت النسخة B على النسخة A بدرجة ثقة 95%». ما يمكن قوله فقط هو: «تحوّل عدد أكبر من إجمالي الزوار مقارنة بفترة الضبط السابقة». الادعاءان مختلفان، وأي مجلس إدارة يدرك الفرق سيسأل أيهما تقصد.

ولإكمال الصورة من جهة التكلفة: مرّرت خلال 30 يوماً ~84,000 مشاهدة للصفحة عبر الخوارزمية. بلغت تكلفة الأدوات $299 مقابل شهر واحد من Webflow Optimize ضمن باقة 100K مشاهدة، إضافة إلى تجربة أولية مع Coframe (السعر عبر التواصل مع المبيعات، وسأعود إلى ذلك لاحقاً). في المحصلة، كانت تكلفة المنصات أقل من $500 مقابل تحسن فعلي في صفحة تجلب حجماً مهماً من التسجيلات التجريبية. الحساب مجدٍ، لكن التحفّظ المتعلق بالإسناد يبقى قائماً.

لماذا أوقفت خطة اختبار A/B؟

تقع الصفحة عند نهاية مسارين للزيارات: إعلانات Meta المدفوعة ضمن تناوب AdCreative.ai وPencil Pro والنسخة المرجعية البشرية الذي كتبت عنه سابقاً، إلى جانب الزيارات العضوية والإحالات من محركات AI الناتجة عن دليل GEO العملي لمدة 14 يوماً. الإجمالي: نحو 2,800 جلسة يومياً، بمزيج مدفوع/عضوي قدره 30/70 يتغير من أسبوع إلى آخر.

هذا النوع من الزيارات غير مناسب تماماً لاختبار A/B نظيف. لرصد ارتفاع نسبي قدره 10% بقوة إحصائية تبلغ 80% انطلاقاً من معدل تحويل أساسي قدره 3.4%، كنت أحتاج إلى نحو 50,000 زائر لكل ذراع؛ أي قرابة 35 يوماً لاختبار بذراعين إذا ثبتُّ التوزيع عند 50/50. وهذا يعني خمسة أسابيع أمنح فيها نسخة أعرف أنها خاسرة 50% من الزيارات المدفوعة، فقط انتظاراً للدلالة الإحصائية. ومع تكلفة عميل محتمل تبلغ $24 في الجانب المدفوع، كانت كل نقطة مئوية من تراجع أداء النسخة الخاسرة مالاً حقيقياً يُهدر عن قصد.

هذه هي مشكلة الندم. اختبار A/B استكشاف خالص: تثبّت توزيع الزيارات لأنك تريد قوة إحصائية، وتدفع الثمن بعرض تجربة سيئة على نصف الزوار طوال مدة الاختبار. أما خوارزمية bandit فتستبدل هذا الاستدلال النظيف بنتائج تراكمية؛ تستثمر في النسخة المتقدمة مع استمرارها في استكشاف النسخ الأخرى. وتُظهر المقارنات التجريبية أنها تخفض الندم التراكمي بنسبة 30–60% مقارنة باختبار A/B متساوي التوزيع في المسائل المستقرة.

كانت قاعدة قراري منذ البداية:

• أستخدم خوارزمية bandit عندما تكون الزيارات قليلة نسبة إلى حجم الأثر الذي أريد اكتشافه، ويكون عرض النسخة الخاسرة مكلفاً، وتعمل الصفحة باستمرار بلا نافذة زمنية ثابتة للحملة، وتهمني التحويلات التراكمية لهذا الربع أكثر من رقم سببي يمكن الدفاع عنه.
• وأستخدم اختبار A/B عندما أحتاج إلى إثبات الارتفاع أمام من يمسك بقائمة الأرباح والخسائر، أو عندما يكون التغيير كبيراً ونادراً (السعر أو القسم الرئيسي أو التموضع)، أو عندما تكون النسخ مختلفة إلى حد يمنعها من التعلم معاً.

استوفت هذه الصفحة كل شروط استخدام خوارزمية bandit. لذلك ألغيت اختبار A/B المنتظر وشغّلت الخوارزمية.

حزمة الأدوات — كل أداة وكل تكلفة

قيّمت أربع أدوات تقدم تحسيناً مستمراً مدفوعاً بالذكاء الاصطناعي بدلاً من سير العمل التقليدي لاختبارات A/B. نشرت اثنتين منها في بيئة الإنتاج، ودرست الاثنتين الأخريين بجدية ثم استبعدتهما من هذه التجربة. إليك التقييم الصريح.

Coframe. أداة تحسين تستخدم نسخة معدّلة من خوارزمية bandit متعددة الأذرع؛ تنشئ نسخاً من النصوص والمرئيات وحتى شيفرة المكونات، ثم توزّع الزيارات بينها عبر الخوارزمية. يتم تثبيتها بوسم script. جمعت الشركة نحو $9M. أما السعر فيتطلب التواصل مع المبيعات، إذ لا توجد صفحة أسعار عامة. وهذه إشارة تخطيطية بحد ذاتها: ميزانية يصعب التنبؤ بها، ودورة مبيعات تسبق تشغيل أي شيء، وتوجه مؤسسي لا يلائم المشغّل الفردي كثيراً. شغّلت تجربة أولية عليها؛ وكانت جودة النسخ التوليدية الأفضل بين الأدوات الأربع، بينما كان احتكاك الشراء الأسوأ.

Webflow Optimize. مبنية على محرك Intellimize الذي استحوذت عليه Webflow. تبلغ تكلفة الباقة القياسية $299/month مقابل 100K مشاهدة للصفحة، وتتوافر فئات 25K و50K و100K و250K و500K. تدعم حتى 5 اختبارات متزامنة. ولا تعمل إلا على الصفحات المستضافة عبر Webflow؛ وهذا مناسب لي، لكنه مانع حاسم إن كان موقعك يعمل على أي منصة أخرى. وهذه هي الأداة التي نفذت عليها تجربة الإنتاج طوال 30 يوماً، لأن الصفحة موجودة أصلاً على Webflow ولأنني كنت قد دفعت بالفعل تكلفة باقة Webflow.

Optimizely Opal. منظومة تجارب تقودها الوكلاء ومبنية فوق منصة Optimizely الحالية. وفق الأرقام المنشورة من Optimizely نفسها، يشغّل مستخدمو Opal تجارب أكثر بنسبة 78.7% وحملات تخصيص أكثر بنسبة 24.1%، ويرون ارتفاعاً بنسبة 9.3% في معدل الفوز. هذه أرقام يعلنها المورّد وفق منهجيته؛ أوردها كي تخصم منها بالقدر المناسب. التسعير مؤسسي. الأداة منطقية لفريق لديه عقد Optimizely قائم، لكنها لم تكن منطقية لصفحة هبوط واحدة.

VWO Copilot. حزمة تجمع Testing وInsights وPersonalize وتضع فوقها طبقة AI. إنها المنصة الأرسخ، وتحت ميزات AI فيها نموذج ذهني أقرب إلى اختبار A/B التقليدي. سأختارها إذا أردت سير عمل A/B واضحاً بمساعدة AI، لا سير عمل يبدأ بخوارزمية bandit ويجعل اختبار A/B خياراً إضافياً.

في هذه التجربة: شغّلت Webflow Optimize في الإنتاج طوال 30 يوماً، واستخدمت Coframe بالتوازي في تجربة أولية على صفحة ثانوية لمقارنة جودة النسخ.

خطة 30 يوماً، خطوة بخطوة

الأيام 0–3: اضبط القياس وثبّت نقطة البداية. استخدمت حدث تحويل واحداً: التسجيل التجريبي بعد تأكيده من الخادم، لا مجرد نقرة على زر. أي حدث يُحتسب من جهة العميل سيضخم نتائج كل النسخ بالتساوي، فتظن أنك تتقدم بينما أنت لا تفعل سوى تمرير الضوضاء على أنها بيانات. جمّدت نسخة الضبط، أي الصفحة القائمة بوصفها النسخة A، من دون أي تعديل، وخصصت لها حداً أدنى مضموناً قدره 20% طوال التجربة حتى أحتفظ بمجموعة مرجعية أقارن بها لاحقاً. لولا هذا الحد، لكانت الخوارزمية قد حجبت الزيارات عن نسخة الضبط فور ظهور متصدر، ولما بقي لدي ما أقارن به.

الأيام 4–10: أنشئ النسخ واترك الخوارزمية تتعلم. بدأت بأربع نسخ تختلف في عنوان القسم الرئيسي ونص زر الدعوة الأساسي إلى الإجراء، إلى جانب ترتيب قسم الدليل الاجتماعي. الأسبوع الأول هو مرحلة الاستكشاف لدى الخوارزمية. بدا التوزيع شبه متساوٍ: 22% و19% و21% و18% و20% بين نسخة الضبط والنسخ الأربع في اليوم 7. في هذه المرحلة يفزع معظم المشغّلين ويحاولون «المساعدة». لا تفعل. تعديل النسخ في منتصف التعلم يعيد ضبط القيم القبلية ويهدر الأسبوع.

الأيام 11–21: راقب منحنى إعادة التوزيع. قرابة اليوم 12 بدأت كفة الخوارزمية تميل بوضوح. وبحلول اليوم 18، كانت النسخة المتصدرة تستقبل 41% من الزيارات، بينما حافظت نسخة الضبط على حدها الأدنى البالغ 20%، وحصلت نسختان متوسطتا الأداء على ~15% لكل منهما، وقُلصت حصة أسوأ نسخة إلى أقل من 10%. هنا تؤدي الخوارزمية عملها: كل زائر يُرسل إلى النسخة الخاسرة يمثل ندماً، والخوارزمية تقلله لحظة بلحظة.

الأيام 22–30: ثبّت الاتجاه واتخذ القرار. ثبّتُّ اتجاه النسخة الفائزة، لا النسخة حرفياً: قسم رئيسي أقصر، ودعوة إلى الإجراء تقودها المنفعة، ودليل اجتماعي يظهر قبل التمرير. ثم صدّرت النسخ. والسؤال في اليوم 30 هو: هل أنقل النسخة الفائزة إلى اختبار A/B نظيف أمام نسخة الضبط لاستعادة رقم سببي يصلح لمجلس الإدارة، أم أواصل تشغيل الخوارزمية على جولة النسخ التالية؟

طبّقت طوال التجربة ضوابط واضحة: حد أدنى للزيارات قدره 20% لنسخة الضبط، ومفتاح إيقاف إذا أظهر الحد الأدنى لفاصل الثقة لأي نسخة تراجعاً نسبياً قدره 50% أمام نسخة الضبط لأكثر من 48 ساعة، وفحصاً أسبوعياً لتحول مزيج الزيارات؛ فإذا تغيرت نسبة المدفوع/العضوي بأكثر من 10 نقاط من أسبوع إلى آخر، أجمّد الخوارزمية حتى يستقر المزيج. الزيارات غير المستقرة هي القاتل الصامت.

مشكلة الإسناد — لبّ التجربة بصراحة

هذا هو القسم الذي تتجاهله مقالات القوائم السريعة، وهو السبب الوحيد لوجود هذا المقال.

لا تستطيع خوارزمية bandit متعددة الأذرع، بحكم تصميمها، أن تمنحك دلالة إحصائية لنسخة واحدة. تفترض الأدوات الإحصائية في اختبار A/B، من قيم p وفواصل الثقة وحسابات القوة، قاعدة ثابتة لتوزيع الزيارات. لكن القيمة الأساسية للخوارزمية هي أن قاعدة التوزيع ليست ثابتة؛ فهي تتكيف مع إشارات البيانات المبكرة. ما إن يعتمد التوزيع على النتائج حتى ينهار الاستدلال التقليدي، وتصبح العينات في كل ذراع منحازة. يظل بوسعك قياس التحويلات التراكمية على مستوى إجمالي الزوار، لكن لا يمكنك إطلاق ادعاء سببي نظيف عند مقارنة النسخة B بالنسخة A.

هذا ليس خللاً، بل هو التصميم نفسه. تعمل خوارزمية bandit على تحسين هدف مختلف: تقليل الندم التراكمي وتعظيم التحويلات التراكمية. وتُظهر المقارنات التجريبية باستمرار أن هذه الخوارزميات تخفض الندم بنسبة 30–60% مقارنة باختبار A/B متساوي التوزيع في المسائل المستقرة. المقياس هنا هو «ندم أقل»، لا «ارتفاع سببي مثبت للنسخة B».

وهذا يفرض انضباطاً دقيقاً في صياغة النتائج:

• يمكن الدفاع عنه: «بعد نشر خوارزمية bandit، حققت الصفحة معدل تحويل قدره 4.62% عبر 84,000 زائر خلال 30 يوماً، مقابل 3.41% للصفحة نفسها خلال 30 يوماً سابقة».
• لا يمكن الدفاع عنه: «تسببت النسخة B في رفع معدل التحويل بنسبة 35%».

العبارة الأولى تصف محصلة تراكمية، أما الثانية فهي ادعاء سببي لا تستطيع خوارزمية bandit إثباته.

أما الحل الجزئي الذي استخدمته فكان الاحتفاظ بنسبة 20% لنسخة الضبط. وبما أنني ضمنت للصفحة الأصلية توزيعاً قدره 20% طوال 30 يوماً، أصبحت لدي مجموعة مقارنة صغيرة لكنها نظيفة. حققت مجموعة الضبط معدل تحويل قدره 3.38% خلال التجربة، وهو شبه مطابق للمعدل الأساسي في فترة الـ30 يوماً السابقة، بينما حققت مجموعة النسخ الأخرى 4.93%. يمنحني ذلك مؤشراً اتجاهياً: الارتفاع حقيقي، وليس أثراً موسمياً. لكنه لا يزال نتيجة مختلفة عن اختبار A/B نظيف، لأن مجموعة النسخ الأخرى مزيج متغير من النسخ. ومع ذلك، يكفي لأن أقول لمجلس الإدارة: «تفوقت التجربة على مجموعتها المرجعية الداخلية؛ إليكم الفارق، وما ندّعيه تحديداً وما لا ندّعيه».

إذا كنت تحتاج إلى رقم سببي يمكن الدفاع عنه، فاستخدم خوارزمية bandit لاكتشاف الاتجاه المرشح، ثم انقل النسخة المتصدرة إلى اختبار A/B بنسبة 50/50 أمام نسخة الضبط. هذا هو سير العمل الذي يحترم ميزانية الندم لدى المشغّل ومعيار الإثبات لدى المحلل معاً.

أين لم تنجح الخوارزمية؟

جرّبت الخطة نفسها على صفحتين حققت فيهما خوارزمية bandit نتيجة أسوأ من اختبار A/B عادي. الأولى صفحة أسعار منخفضة الزيارات، بأقل من 400 جلسة يومياً. احتاجت الخوارزمية إلى وقت طويل جداً للخروج من مرحلة الاستكشاف، وكانت المؤشرات الاتجاهية مشوشة. منحني اختبار A/B بسيط بنسبة 50/50 على مدى ستة أسابيع إجابة أوضح وبعبء تشغيلي أقل. أما الثانية فكانت مسار دفع يتأخر فيه حدث التحويل عن عرض النسخة مدة 3–5 أيام. تفترض خوارزميات bandit وصول تغذية راجعة سريعة نسبياً؛ ومع طول الفاصل بين العرض والنتيجة، تعيد الخوارزمية توزيع الزيارات اعتماداً على بيانات قديمة وتطارد أوهاماً.

رفضت أيضاً نسخاً توليدية: نحو 40% مما أنتجته Coframe، ونسبة أقل مما أنتجته Webflow Optimize. كانت العلامات مألوفة: شرطات طويلة في مواضع لا تناسبها، وأفعال رنانة جاهزة، وإيقاع قوائم متوازية يوحي بأن نموذجاً يحاول تقليد لغة المسوقين. استبعدت كل نسخة وقعت في المنطقة الغريبة لصوت العلامة التجارية قبل أن تراها الزيارات. معدل الرفض هذا هو التكلفة التي لا تذكرها صفحات الأسعار.

وكاد فخ الزيارات غير المستقرة يوقع بي في الأسبوع الثالث. ارتفعت حصة الزيارات المدفوعة من 30% إلى 47% خلال أربعة أيام مع توسع حملة Meta. كانت النسخة المتصدرة قد تفوقت على مزيج زيارات يختلف عما بدأ يصل الآن، وبدأ معدل تحويلها يضعف. جمّدت الخوارزمية لمدة 48 ساعة، وانتظرت استقرار المزيج، ثم أعدت التشغيل باستكشاف جديد. لو تركتها تعمل، لتعلمت الاستنتاج الخطأ من جمهور مختلف مؤقتاً.

القاعدة العملية القابلة للتكرار

بعد تعميم قاعدة القرار وتجريدها من تفاصيل صفحتي، تصبح كالتالي:

شغّل خوارزمية bandit عندما تكون الزيارات قليلة نسبة إلى الارتفاع الذي تحتاج إلى اكتشافه، وعندما تكون كلفة عرض نسخة خاسرة على نصف الزوار ذات شأن، وعندما تعمل الصفحة باستمرار من دون نافذة زمنية للحملة، وعندما تكون التحويلات التراكمية لهذا الربع أهم من رقم سببي يمكن الدفاع عنه لنسخة واحدة. وشغّل اختبار A/B عندما تحتاج إلى إثبات رقم الارتفاع أمام من يمسك بقائمة الأرباح والخسائر، أو عندما يكون التغيير كبيراً ونادراً بما يكفي لتحتاج إلى قراءة نظيفة قبل اعتماده، أو عندما تنوي توسيع النسخة الفائزة إلى واجهات أخرى وتحتاج إلى معرفة أنها نجحت فعلاً.

سينتهي المطاف بمعظم المشغّلين إلى استخدام الاثنين. تُستخدم خوارزمية bandit على واجهات التحويل الدائمة، مثل الصفحة الرئيسية وصفحة العرض الأساسية ومسار التسجيل. ويُستخدم اختبار A/B للرهانات الاتجاهية، مثل التسعير والتموضع وإعادة كتابة القسم الرئيسي. الخطأ هو التعامل معهما كمنهجيتين متنافستين؛ فكل منهما يحسّن هدفاً مختلفاً. أما خطأ المقالات السريعة فهو تصوير خوارزمية bandit كترقية مجانية بلا مقايضة إحصائية. ليست كذلك. الثمن هو قيمة p، وعليك دفعه بوعي أو عدم استخدام الخوارزمية أصلاً.

تبلغ كلفة التشغيل المستمر بالمقياس الذي وصفته $299/month لأداة Webflow Optimize ضمن فئة 100K مشاهدة للصفحة، وترتفع مع نمو الزيارات. وأضف إلى الميزانية نصف يوم من وقت المشغّل أسبوعياً لمراجعة التوزيعات، وإيقاف النسخ السيئة، ومراقبة الانحراف الناتج عن عدم الاستقرار. هذا هو الرقم الحقيقي. وإذا كنت تبني سير العمل هذا داخل وكالة أو فريق نمو داخلي وتريد مساعدة في ربط إسناد التحويل بنظام CRM ومستودع البيانات بصورة سليمة، فذاك نقاش آخر؛ أما نشر خوارزمية bandit نفسه فيحتاج إلى مشغّل واحد، وبعد ظهر واحد، ووسم script.

دعوة واحدة إلى الإجراء، لأن المقال طويل وتستحق خطوة تالية واضحة: قائمة تدقيق سير عمل الأعمال بالذكاء الاصطناعي هي ما أستخدمه لتحديد الواجهات الملائمة لخوارزمية bandit وتلك التي تحتاج إلى اختبار A/B نظيف. طبّقها على مسار التحويل قبل اختيار الأداة. اختيار الأداة أولاً هو ما يجعل فرق النمو تدفع مقابل إمكانات لا تملك الزيارات الكافية لاستعمالها.