🥋 ❓ 🙄 دليل اختبار A / B عظيم 🚮 🚶 ➰

هناك الكثير من المعلومات على الإنترنت حول اختبار A / B ، ولكن لا يزال الكثيرون يقومون بذلك بشكل غير صحيح. من السهل جدًا ارتكاب خطأ ، لذلك تتطلب هذه الدراسات إعدادًا أوليًا جادًا. تتناول هذه المقالة الجوانب الرئيسية لاختبار A / B التي يجب أخذها في الاعتبار لتحليل صفحة الويب بشكل فعال.

ما هو اختبار أ / ب؟

يقسم اختبار A / B (الاختبار المقسَّم) عدد الزيارات بنسبة 50/50 بين الإصدارات المختلفة للصفحة. في الأساس ، تعد هذه الطريقة اسمًا جديدًا لتقنية قديمة تُعرف باسم "تجربة محكومة".

لاختبار فعالية الأدوية الجديدة ، يقوم الخبراء بإجراء اختبارات الانقسام. في الواقع ، يمكن أن تسمى معظم تجارب البحث اختبار أ / ب. وهي تشمل الفرضية ، والهدف الرئيسي للدراسة ، واختلافها والنتيجة ، المقدمة في شكل بيانات إحصائية.

هذا كل شئ. مثال على ذلك هو اختبار A / B البسيط ، حيث يتم تقسيم حركة 50/50 بين الصفحة الرئيسية وتنوعها:

في حالة تحسين التحويل ، يتمثل الاختلاف الرئيسي في تنوع حركة الإنترنت. من السهل التحكم في المتغيرات الخارجية في المختبر. على الإنترنت ، يمكنك تقليل تأثيرها ، ولكن إنشاء اختبار يتم التحكم فيه بالكامل يكون أكثر صعوبة.
بالإضافة إلى ذلك ، يتطلب اختبار الأدوية الجديدة درجة معينة من الدقة. إن حياة الناس في خطر. من وجهة نظر فنية ، هذا يعني أن الاختبار يمكن أن يستمر لفترة أطول ، حيث يجب على الباحثين فعل كل شيء ممكن لتجنب النوع الأول من الخطأ (إيجابي كاذب).

ومع ذلك ، يتم إجراء اختبار A / B لموارد الويب لتحقيق أهداف العمل. وهو ضروري لتحليل المخاطر والمكافآت والاستكشاف والتطوير والعلوم والأعمال. لذلك ، يتم النظر في النتائج من وجهة نظر مختلفة ، ويتم اتخاذ القرارات بشكل مختلف عن تلك التي اتخذها الباحثون في المختبرات.

بالطبع ، يمكنك إنشاء أكثر من صفحتين من الأشكال. تسمى الدراسة التي تحتوي على عدة عناصر اختبار A / B / n. إذا كان هناك ما يكفي من حركة المرور ، يمكنك اختبار العديد من الخيارات كما تريد. فيما يلي مثال على اختبار A / B / C / D مع حركة المرور المخصصة لكل شكل:

يعتبر اختبار A / B / n رائعًا لتنفيذ تنويعات متعددة من أجل اختبار فرضية واحدة. ومع ذلك ، سيتطلب المزيد من حركة المرور لأنه يجب تقسيمها إلى المزيد من الصفحات.

على الرغم من شعبيته ، يعد اختبار A / B نوعًا واحدًا فقط من البحث عبر الإنترنت. يمكنك أيضًا إجراء اختبارات متعددة المتغيرات أو استخدام طريقة ماكينات الألعاب المتعددة.

اختبار A / B ، واختبارات متعددة المتغيرات وطريقة ماكينات الألعاب المتعددة: ما الفرق؟
اختبار A / B / n هو تجربة مسيطر عليها تقارن معدلات التحويل للصفحة الأصلية وأشكالها أو أكثر.

يتم إجراء اختبارات متعددة المتغيرات على عدة إصدارات من الصفحة لتحديد السمات الأكثر أهمية. كما هو الحال مع اختبار A / B / n ، تتم مقارنة الأصل مع الاختلافات. ومع ذلك ، يستخدم كل تصميم عناصر تصميم مختلفة. على سبيل المثال:

كل عنصر له حالة استخدام محددة ويؤثر على أداء الصفحة. يمكنك تحقيق أقصى استفادة من الموقع بالطرق التالية:

قم بإجراء اختبار أ / ب لتحديد أفضل خيارات تخطيط الصفحة.
قم بإجراء اختبارات متعددة المتغيرات لتحسين التخطيطات والتأكد من أن جميع عناصر الصفحة تتفاعل بشكل جيد مع بعضها البعض.

ستحتاج إلى جذب عدد كبير من المستخدمين إلى الصفحة المختبرة قبل التفكير في إمكانية الاختبار متعدد المتغيرات. ومع ذلك ، هناك عدد كافٍ من الزيارات ، يجب استخدام كلا النوعين من البحث لتحسين الموقع.
تفضل معظم الوكالات اختبار أ / ب ، حيث يختبر عملاؤها عادةً تغييرات مهمة (من المحتمل أن تؤثر على الصفحة أكثر). بالإضافة إلى ذلك ، يسهل تنفيذها.

طريقة ماكينات الألعاب المتعددة هي A / B / n - الاختبارات التي يتم تحديثها في الوقت الفعلي بناءً على فعالية كل شكل.

في الواقع ، تبدأ خوارزمية ماكينات الألعاب المتعددة بإرسال حركة المرور إلى صفحتين (أو أكثر): النسخة الأصلية ونسختها (إصداراتها). ثم يتم تحديثه بناءً على الاختلافات الأكثر فاعلية. في النهاية ، تحدد الخوارزمية أفضل خيار ممكن:

إحدى مزايا طريقة ماكينات الألعاب المتعددة هي أنها تخفف من خسائر التحويل التي تواجهها عند اختبار السيناريو الأسوأ المحتمل. يوضح هذا الرسم البياني من Google كل شيء جيدًا:

لكل من طريقة ماكينات الألعاب المتعددة واختبارات A / B / n نقاط القوة. الأول مثالي لـ:

العناوين والحملات قصيرة المدى ؛
التحجيم التلقائي
الاستهداف
التحسين والإسناد المتزامن.

بغض النظر عن نوع الاختبار الذي تستخدمه ، من المهم محاولة زيادة فرص نجاحك. وبعبارة أخرى ، كلما اختبرت في كثير من الأحيان ، زادت سرعة التحويل.

كيفية تحسين نتائج اختبار أ / ب

لا تنتبه إلى مقالات مثل "99 شيئًا يمكن اختبارها باستخدام اختبار أ / ب". هذا مضيعة للوقت وحركة المرور. فقط العملية نفسها ستساعدك على زيادة الإيرادات.

كما أفاد حوالي 74٪ من المُحسّنين الذين لديهم نهج منظم للتحويل عن تحسن المبيعات. البقية يصلون إلى هناك ، وهو ما يسميه محلل الويب كريج سوليفان "حوض الإحباط". (ما لم تفسد نتائجهم بإيجابيات خاطئة ، والتي سنناقشها لاحقًا).

للحصول على أقصى فعالية ، يجب أن تبدو بنية الاختبار كما يلي:

دراسة؛
تحديد الأولويات
التجريب ؛
التحليل والتدريب والتكرار.

دراسة

لتحسين موقعك ، تحتاج إلى فهم ما يفعله المستخدمون وسبب ذلك.
ومع ذلك ، قبل التفكير في الاختبار ، قم بتعزيز استراتيجيتك في جذب المستخدمين والبناء عليها. لذلك تحتاج إلى:

حدد أهداف عملك.
حدد أهداف موقع الويب الخاص بك.
تحديد مؤشرات الأداء الرئيسية الخاصة بك ؛
حدد مقاييسك المستهدفة.

بمجرد أن تفهم ما تريد تحقيقه ، يمكنك البدء في جمع البيانات اللازمة. لهذا ، نوصي باستخدام ResearchXL Framework.
فيما يلي قائمة قصيرة بالعمليات التي يستخدمها CXL:

تحليل ارشادي
التحليل الفني ؛
تحليل بيانات أنظمة تحليل الويب ؛
تحليل حركة الماوس
استطلاعات الجودة ؛
اختبار المستخدم.

يعتبر التحليل الإرشادي من أفضل ممارسات اختبار A / B. حتى مع سنوات عديدة من الخبرة ، من الصعب فهم عناصر الصفحة التي تزيد من فعاليتها. ومع ذلك ، يمكن تحديد مجالات الفرص. يعتقد كريغ سوليفان ، خبير تجربة المستخدم:

"في تجربتي ، هذه الأنماط تبسط العمل ، لكنها ليست حقائق شائعة. إنهم يوجهونني ويبلغونني ، لكنهم لا يقدمون أي ضمانات ".

لا تعتمد على الأنماط. من المفيد أيضًا أن يكون لديك إطار عمل. عند إجراء تحليل إرشادي ، يجدر تقييم كل صفحة وفقًا للمعايير التالية:

ملاءمة؛
وضوح؛
القيمة؛
احتكاك؛
التجريد.

غالبًا ما يتم تجاهل التحليل الفني. ومع ذلك ، تؤدي الأخطاء (إن وجدت) إلى إنهاء التحويل. قد يبدو لك أن موقعك يعمل بشكل جيد من حيث تجربة المستخدم ووظائفه. ولكن هل يعمل بشكل متساوٍ مع كل متصفح وجهاز؟ على الاغلب لا.

التحليل الفني فعال للغاية وليس كثيف العمالة. لذلك ، يجب عليك:

إجراء اختبار عبر المستعرض وعبر الأنظمة الأساسية.
تحليل سرعة الموقع.

بعد ذلك يأتي تحليل البيانات من أنظمة تحليل الويب. بادئ ذي بدء ، تأكد من أن كل شيء يعمل. سوف تفاجأ بعدد من إعدادات نظام تحليلات الويب التي تم تعيينها بشكل غير صحيح.

يتضمن تحليل حركة الماوس الخرائط الحرارية وخرائط التمرير وتحليلات الشكل وتكرار جلسة المستخدم. لا تبتعد عن التصور الملون لبطاقات النقر. تأكد من أن التحليل يساعدك في الحصول على المعلومات التي تحتاجها لتحقيق أهدافك.
يسمح لك البحث النوعي بفهم أسباب المشاكل. يعتقد الكثير من الناس أنه أبسط من الكم. في الواقع ، يجب أن يكون البحث النوعي دقيقًا بقدر توفير معلومات مفيدة بنفس القدر.

للقيام بذلك ، من الضروري القيام بما يلي:

الاستطلاعات على الموقع ؛
استطلاعات العملاء؛
مقابلات مع العملاء ومجموعات التركيز.

أخيرًا ، يمكن استخدام اختبار المستخدم. الفكرة بسيطة: شاهد كيف يستخدم الأشخاص الحقيقيون موقعك على الويب ويتفاعلون معه أثناء التعليق على أفعالهم. انتبه لما يتحدثون عنه وما يختبرونه.

بعد دراسة تحويل شاملة ، سيكون لديك الكثير من البيانات. الخطوة التالية هي تحديد أولويات الاختبار.

كيفية تحديد أولويات الفرضيات في اختبار أ / ب

هناك العديد من الأطر لتحديد أولويات اختبارات A / B الخاصة بك. علاوة على ذلك ، يمكنك القيام بذلك بناءً على طرقك الخاصة. يعطي Craig Sullivan الأولوية على النحو التالي:

عند الانتهاء من جميع المراحل الست الموضحة أعلاه ، ستجد مشاكل - خطيرة وثانوية. قم بتوزيع كل اكتشاف في واحدة من خمس فئات:

الاختبار: سيتم إرسال كل ما يلزم اختباره إلى هذه الفئة.
الأدوات: تشمل هذه الفئة إصلاح أو معالجة أو تحسين معالجة العلامات / الأحداث في التحليلات.
الفرضية: تحدد هذه الفئة الصفحات أو الأدوات أو العمليات التي لا تعمل بشكل جيد للغاية وتتطلب معالجة الأخطاء.
فقط قم بذلك. استخدم هذه الفئة للمهام التي تحتاج إلى القيام بها.
دراسة: إذا كانت المهمة تندرج في هذه الفئة ، فسيتعين عليك التعمق قليلاً في حلها.

قيم كل مشكلة من 1 إلى 5 نجوم (1 = ثانوي ، 5 = حرج). عند التقييم ، يكون المعياران التاليان أكثر أهمية:

سهولة التنفيذ (الوقت / التعقيد / الخطر). في بعض الأحيان تخبرك البيانات بإنشاء وظيفة تستغرق شهورًا لتطويرها. لا تبدأ العمل معها.
فرصة. قم بتقييم الأسئلة بشكل شخصي اعتمادًا على حجم التأثير أو التغيير الذي يمكن أن يسببه.

إنشاء جدول بيانات بكل بياناتك. ستحصل على مخطط اختبار مقسم مع تحديد الأولويات.

لقد أنشأنا نموذج تحديد الأولويات الخاص بنا لجعل العملية بأكملها موضوعية قدر الإمكان. وهو يعني الإدخال الإلزامي للبيانات في الجدول. يسمى النموذج PXL ويبدو كالتالي:

قم بتنزيل نسخة من قالب جدول البيانات هذا هنا. فقط انقر فوق ملف> إنشاء نسخة للحصول على كل ما تحتاجه.

بدلاً من توقع فعالية التغيير ، يسألك الإطار سلسلة من الأسئلة حوله:

هل هناك تغيير مهم؟ سوف يلاحظ تحديث كبير المزيد من الناس. لذلك ، سيكون للتغيير تأثير أكبر على الصفحة.
هل من الممكن ملاحظة تغير في 5 ثوان؟ اعرض مجموعة الأشخاص على الصفحة ، ثم اختلافها (أشكالها). هل سيلاحظون الاختلافات في 5 ثوان؟ إذا لم يكن الأمر كذلك ، فمن غير المرجح أن يكون للتغيير تأثير كبير.
هل يضيف التغيير أو يزيل أي شيء؟ عادةً ما تؤثر التغييرات الرئيسية ، مثل الحد من عوامل التشتيت أو إضافة معلومات أساسية ، إلى حد كبير على الصفحة.
هل يعمل الاختبار على صفحات ذات حركة مرور عالية؟ إن تحسين صفحة بها عدد كبير من الزيارات يعطي عائدًا كبيرًا.

تتطلب العديد من متغيرات الاختبار المحتملة بيانات لتحديد أولويات الفرضيات الخاصة بك. ستساعدك المناقشات الأسبوعية التي تطرح الأسئلة الأربعة التالية في تحديد أولويات الاختبار بناءً على البيانات بدلاً من الآراء:

هل سيتم حل المشكلة المكتشفة أثناء اختبار المستخدم؟
هل تتم معالجة المشكلات المكتشفة من خلال التغذية المرتدة (الاستطلاعات ، الاستطلاعات ، المقابلات)؟
هل الفرضية مدعومة بتتبع الماوس أو خرائط الحرارة أو تتبع العين؟
هل تم حل المشكلات المكتشفة من خلال التحليلات الرقمية؟

تقييم PXL

نستخدم مقياسًا ثنائيًا: يجب عليك اختيار تصنيف واحد من اثنين. وبالتالي ، بالنسبة لمعظم المتغيرات (ما لم يُذكر خلاف ذلك) ، فإنك تختار إما 0 أو 1.
ومع ذلك ، نريد أيضًا فرز المتغيرات حسب الأهمية. للقيام بذلك ، نحن نصف على وجه التحديد عناصر الصفحة التي تتغير.

التخصيص

لقد أنشأنا هذا النموذج ، معتقدين أنه يمكنك ويجب عليك إعداد المتغيرات اعتمادًا على أهداف عملك.

على سبيل المثال ، إذا كنت تعمل مع فريق العلامة التجارية أو تجربة المستخدم ويجب أن تكون الفرضيات متسقة مع توصيات العلامة التجارية ، فأضفها كمتغير.
قد تكون تعمل في شركة ناشئة يتم تشغيل محرك مبيعاتها بواسطة تحسين محركات البحث. ربما يعتمد تمويلك على تدفق العملاء. أضف فئة مثل "SEO لا تتدخل" لتغيير بعض العناوين أو النصوص.

تعمل جميع المنظمات بشكل مختلف. سيساعد إعداد النموذج على مراعاة جميع الفروق الدقيقة وإنشاء البرنامج الأمثل لتحسين الموقع.

أيا كان الإطار الذي تستخدمه ، أوضحه لكل عضو في الفريق ، وكذلك لمساهمين الشركة.

كم من الوقت تستغرق اختبارات A / B؟

القاعدة الأولى: لا توقف الاختبار لمجرد أنه يصبح ذا دلالة إحصائية. ربما يكون هذا هو الخطأ الأكثر شيوعًا الذي يرتكبه محسنو المبتدئون.

إذا توقفت عن الاختبار في وقت قريب جدًا ، فستجد أن معظم التغييرات لا تؤدي إلى زيادة في الدخل (وهو الهدف الرئيسي).
انتبه إلى هذه الإحصائيات التي تم الحصول عليها بعد 1000 اختبار A / A (تم إجراؤها لصفحتين متطابقتين):

وصلت 771 تجربة من أصل 1000 إلى أهمية 90٪.
وصلت 531 تجربة من أصل 1000 إلى أهمية 95٪.

تزيد اختبارات التوقف قبل الأوان من خطر الإيجابيات الزائفة.
تحديد حجم العينة وإجراء الاختبار لعدة أسابيع على الأقل دورتين عمل متتالية.

كيفية تحديد حجم العينة؟ هناك العديد من الأدوات الرائعة. إليك كيفية حساب حجم العينة باستخدام أداة Evan Miller:

في هذا المثال ، أشرنا إلى أن معدل التحويل هو 3٪ ونريد زيادة هذا المعدل بنسبة 10٪ على الأقل. تنص هذه الأداة على أن 51،486 شخصًا يجب أن يقوموا بزيارة كل شكل من الأشكال قبل أن نتمكن من النظر إلى مستويات الدلالة الإحصائية.

بالإضافة إلى مستوى الأهمية ، هناك قوة إحصائية. تحاول القوة الإحصائية تجنب أخطاء النوع الثاني (السلبيات الكاذبة). وبعبارة أخرى ، فإنه يزيد من احتمال أن تجد عنصر الصفحة الأكثر فعالية.

تذكر أن 80٪ من الطاقة هي المعيار لأدوات اختبار A / B. لتحقيق هذا المستوى ، ستحتاج إما إلى حجم عينة كبير ، أو تأثير فخم ، أو اختبار أطول.

لا توجد أرقام سحرية

تسرد العديد من المقالات الأرقام السحرية (مثل "100 تحويل" أو "1000 زائر") كأفضل وقت لإيقاف الاختبار. ومع ذلك ، لا علاقة للرياضيات بالسحر. في الواقع ، كل شيء أكثر تعقيدًا من الاستدلال المبسط مثل هذه الأرقام. إليك ما يقوله أندرو أندرسون من Malwarebytes:

"هدفك ليس عددًا معينًا من التحويلات. يجب أن تسعى جاهدًا لجمع بيانات كافية لاختبار فرضية تستند إلى عينات تمثيلية وسلوك تمثيلي.

لا يمكن إجراء مائة تحويل إلا في الحالات النادرة ومع وجود اختلاف كبير في السلوك ، ولكن فقط إذا تم استيفاء المتطلبات الأخرى - مثل سلوك الوقت والاتساق والتوزيع الطبيعي. وفي الوقت نفسه ، فإن خطر حدوث خطأ من النوع الأول لا يزال مرتفعاً للغاية ".

لذلك تحتاج إلى عينة تمثيلية. كيف يمكن الحصول عليها؟ إجراء الاختبار خلال دورتين اقتصاديتين ، مما سيساعد على تقليل تأثير العوامل الخارجية مثل:

\ يوم الأسبوع. يمكن أن تختلف حركة المرور اليومية بشكل كبير اعتمادًا على يوم الأسبوع.
\ مصادر المرور. ما لم يكن من الضروري تخصيص التجربة لمصدر معين.
\ جدولة إرسال الرسائل الإخبارية ومشاركات المدونة.
- عودة الزوار. يمكن للأشخاص زيارة موقعك ، والتفكير في عملية شراء ، ثم العودة بعد ذلك بعشرة أيام لإجراء ذلك.
الأحداث الخارجية. على سبيل المثال ، قد تؤثر الرواتب في منتصف الشهر على الشراء.

كن حذرا مع عينات صغيرة. هناك العديد من دراسات الحالة على الإنترنت مليئة بالأخطاء الرياضية.

بمجرد أن تقوم بإعداد كل شيء ، لا تنظر (ولا تدع المدير ينظر إلى نتائج الاختبار) حتى تنتهي. خلاف ذلك ، يمكنك استخلاص استنتاجات سابقة لأوانها عن طريق "اكتشاف الاتجاه".

الانحدار يعني

ستلاحظ غالبًا أن النتائج تختلف اختلافًا كبيرًا في الأيام القليلة الأولى من الاختبار. في وقت لاحق ، سيقتربان من متوسط القيمة ، حيث يستمر الاختبار لعدة أسابيع. فيما يلي مثال لإحصاءات موقع التجارة الإلكترونية:

أول يومين: الأزرق (الخيار رقم 3) يفوز بهامش. يجلب الشكل 16 دولارًا لكل زائر مقابل 12.50 دولارًا التي تجلبها الصفحة الأصلية. كثير (عن طريق الخطأ) سينتهي الاختبار عند هذه النقطة.
بعد 7 أيام: لا يزال الإصدار الأزرق للصفحة يفوز ، والفرق النسبي كبير جدًا.
بعد 14 يومًا: النسخة البرتقالية (رقم 4) تأتي في المقدمة!
بعد 21 يومًا: لا يزال الإصدار البرتقالي يفوز!
نهاية الاختبار: لا توجد فروق بين الخيارات.

إذا أكملت الاختبار قبل الأسبوع الرابع ، فستكون قد خلصت إلى نتيجة خاطئة.

هناك مشكلة مماثلة: تأثير الحداثة. تجذب التغييرات الجديدة (على سبيل المثال ، الزر الأزرق الكبير) المزيد من الانتباه إلى خيار الصفحة. بمرور الوقت ، يختفي هذا التأثير ، حيث سيزول التغيير تدريجياً عن كونه غير ذي صلة.

هل يمكنني إجراء عدة اختبارات أ / ب في نفس الوقت؟

تريد تسريع برنامج الاختبار الخاص بك وتشغيل المزيد من الاختبارات. ومع ذلك ، هل من الممكن إجراء أكثر من اختبار A / B في المرة الواحدة؟ هل ستزيد من إمكانات نموك أم ستشوه البيانات؟

يجادل بعض الخبراء بأن إجراء اختبارات متعددة في وقت واحد أمر خاطئ. يقول البعض أن كل شيء على ما يرام. في معظم الحالات ، لن تواجه مشاكل عند إجراء العديد من الاختبارات المتزامنة.

إذا كنت لا تختبر أشياء مهمة حقًا (على سبيل المثال ، شيء يؤثر على نموذج عملك ومستقبل الشركة) ، فمن المحتمل أن تفوق فوائد حجم الاختبار العيوب في بياناتك وإيجابيات عشوائية خاطئة.
إذا كان هناك خطر كبير من التفاعل بين الاختبارات المتعددة ، قلل عدد الاختبارات المتزامنة و / أو اترك الاختبارات تعمل لفترة أطول لتحسين الدقة.

كيفية إعداد اختبارات أ / ب

بعد تجميع قائمة بأفكار الاختبار مع الأولويات ذات الأولوية ، من الضروري صياغة فرضية وإجراء تجربة. من خلال الفرضية ، يمكنك تحديد سبب ظهور المشكلة. بالإضافة إلى ذلك ، فرضية جيدة:

يمكن التحقق منه. إنه قابل للقياس ، لذلك يمكن التحقق منه.
يحل مشكلة التحويل. الاختبار المنفصل يحل مشاكل التحويل.
يوفر رؤية السوق. مع فرضية واضحة المعالم ، ستزودك نتائج اختبار التقسيم دائمًا بمعلومات قيمة للعملاء.

يقدم Craig Sullivan الخوارزمية التالية لتبسيط عملية الفرضية:

بما أننا تلقينا (البيانات / الملاحظات) ،
نتوقع أن (التغيير) سيسبب (التأثير).
سنقيس ذلك باستخدام (مقياس البيانات).

هناك نسخة متقدمة من هذه الخوارزمية:

بما أننا تلقينا (البيانات النوعية والكمية) ،
نتوقع أن (التغيير) لـ (السكان) سوف يسبب (التأثير).
نتوقع رؤية (تغيير في مقاييس البيانات) للفترة (X دورات عمل).

مشكلة تقنية

لقد حان الجزء الأكثر تسلية من الاختبار: يمكنك أخيرًا اختيار أداة له.

يبدأ الكثيرون هذه المشكلة أولاً ، ولكن هذا أبعد ما يكون عن أهم شيء. الاستراتيجية والإحصاءات أكثر أهمية.

ومع ذلك ، هناك العديد من ميزات الأدوات التي يجب أن تكون على دراية بها. تنقسم إلى فئتين رئيسيتين: أدوات من جانب الخادم أو من جانب العميل.

أدوات الخادم تعرض رمز مستوى الخادم. يرسلون نسخة عشوائية من الصفحة إلى العارض دون تغييرات في متصفح الزائر. ترسل الأدوات من جانب العميل نفس الصفحة ، لكن JavaScript في مستعرض العميل يتحكم في مظهر الصفحة الأصلية ومتغيرها.

تتضمن أدوات الاختبار من جانب العميل Optimizely و VWO و Adobe Target. تسمح لك الموصلات باستخدام كلتا الطريقتين ، ويستخدم SiteSpect الوكلاء.
ماذا يعني كل هذا بالنسبة لك؟ إذا كنت ترغب في توفير الوقت ، فإن فريقك صغير أو ليس لديك موارد للتطوير ، ستساعدك أدوات جانب العميل على البدء بشكل أسرع. تتطلب الأدوات من جانب الخادم موارد التطوير - ومع ذلك ، فهي أكثر موثوقية بشكل عام.

على الرغم من أن إعداد الاختبار مختلف قليلاً اعتمادًا على الأداة التي تستخدمها ، فغالبًا ما تكون العملية بأكملها بسيطة جدًا ويمكن لأي شخص التعامل معها - ما عليك سوى اتباع التعليمات.

بالإضافة إلى ذلك ، تحتاج إلى تحديد الأهداف. سيتم تتبع أداة الاختبار الخاصة بك عندما يحول كل خيار صفحة الزائرين إلى عملاء.

عند إعداد اختبارات A / B ، تكون المهارات التالية مفيدة: HTML و CSS و JavaScript / JQuery ، بالإضافة إلى القدرة على إنشاء نصوص وتصميم أشكال جديدة للصفحة. تسمح لك بعض الأدوات باستخدام محرر بصري ، لكنها تحد من مرونتك وتحكمك.

كيف تحلل نتائج اختبارات أ / ب؟

لذا ، أخيراً أجريت البحث ، وقمت بإعداد الاختبار بشكل صحيح وقمت بإجرائه. الآن دعنا ننتقل إلى التحليل. الأمر ليس بهذه البساطة - مجرد النظر إلى الرسم البياني من أداة الاختبار الخاصة بك لا يكفي.

شيء واحد يجب أن تفعله دائمًا: تحليل نتائج الاختبار في Google Analytics. لذلك لا تقوم فقط بتوسيع إمكانات التحليل الخاصة بك ، بل تصبح أيضًا أكثر ثقة في بياناتك وصنع القرار.

قد لا تقوم أداة الاختبار بكتابة البيانات بشكل صحيح. ما لم يكن لديك مصدر آخر للمعلومات ، لا يمكنك التأكد مما إذا كنت تثق بها. إنشاء مصادر بيانات متعددة.

ماذا يحدث إذا لم يكن هناك اختلاف بين الاختلافات؟ خذ وقتك. أولاً ، تعرف على شيئين:

قد تكون فرضيتك صحيحة ، ولكن تبين أن التنفيذ كان خاطئًا.
افترض أن بحثك النوعي يشير إلى مشكلة أمنية. كم مرة يمكنك تحسين إدراكك للأمن؟ كمية غير محدودة.
استخدم الاختبار التكراري إذا كنت تريد اختبار شيء ما ، ومقارنة العديد من التكرارات.
حتى في حالة عدم وجود اختلاف ملموس بشكل عام ، قد يتجاوز الاختلاف الصفحة الأصلية في بعض النواحي.

إذا لاحظت زيادة في الكفاءة بين الزائرين المنتظمين والمتنقلين ، ولكن ليس للزوار الجدد ومستخدمي أجهزة سطح المكتب ، يمكن لهذه الشرائح إلغاء بعضها البعض ، مما يعطي الانطباع بأنه "لا يوجد فرق". تحليل اختبارك عبر القطاعات الرئيسية لاستكشاف هذه الفرصة.

تجزئة البيانات لاختبارات أ / ب

التقسيم هو المفتاح للاستفادة من نتائج اختبار أ / ب. على الرغم من حقيقة أن B يمكن أن تفقد A في النتائج الإجمالية ، إلا أن الاختلاف يمكن أن يهزم الصفحة الأصلية في قطاعات معينة (حركة المرور المجانية ، نقرات Facebook ، حركة مرور الهاتف المحمول ، إلخ).

هناك عدد كبير من الأجزاء التي يمكنك تحليلها ، بما في ذلك ما يلي:

نوع المتصفح
نوع المصدر
الكمبيوتر المحمول أو الكمبيوتر المكتبي أو الجهاز ؛
الزوار المسجلين والمخرجين ؛
حملات PPC / SEM
المناطق الجغرافية (المدينة ، الولاية / المقاطعة ، البلد) ؛
الزوار الجدد والمنتظمون ؛
العملاء الجدد والمتكررين ؛
المستخدمون المتقدمون ضد الزوار العرضيين ؛
الرجال مقابل النساء
الفئة العمرية؛
خيوط جديدة وعرضت بالفعل ؛
أنواع الخطط أو مستويات برنامج الولاء ؛
المشتركون الحاليون والمحتملين والسابقين ؛
الأدوار (إذا كان موقعك ، على سبيل المثال ، يقدم أدوار المشتري والبائع).

كملاذ أخير (بشرط أن يكون لديك حجم عينة مناسب) ، انتبه إلى هذه العوامل:

شعبية إصدارات سطح المكتب والهواتف المحمولة ؛
الزبائن الجدد مقابل العائدين ؛
حركة المرور المفقودة.

تأكد من أن لديك حجم عينة كافٍ في المقطع. احسبها مقدمًا ، وكن حذرًا إذا كانت هذه الشريحة تحتوي على أقل من 250-350 تحويل لكل شكل.
إذا أظهرت إجراءاتك نتائج جيدة لشريحة معينة ، يمكنك الانتقال إلى نهج فردي لهؤلاء المستخدمين.

كيفية أرشفة اختبارات A / B

اختبار A / B ضروري في المقام الأول لجمع المعلومات. ستساعد الاختبارات الصحيحة إحصائيًا التي يتم إجراؤها وفقًا للتعليمات على تحقيق الأهداف الرئيسية للنمو والتحسين.

تقوم الشركات الذكية بأرشفة نتائج الاختبار وتحسين طرق الاختبار باستمرار. يمنح النهج المنظم للتحسين نموًا أكبر ويقل محدودًا في الغالب بسبب القيود المحلية.

الجزء الأصعب هو: لا توجد طريقة واحدة أفضل لهيكلة إدارة المعرفة. تستخدم بعض الشركات أدوات مدمجة متطورة ؛ يستخدم البعض أدوات طرف ثالث ؛ وبعضها يأتي مع Excel و Trello.
فيما يلي ثلاث أدوات مصممة خصيصًا لتحسين التحويل الخاص بك:

إيريديون
التجارب الفعالة
مشاريع قراصنة النمو.

الإحصائيات التي تم الحصول عليها من خلال اختبارات أ / ب

المعرفة الإحصائية مفيدة في تحليل نتائج اختبار أ / ب. لقد درسنا بعضها في القسم أعلاه ، ولكن هذا ليس كل شيء.

هناك ثلاثة مفاهيم يجب أن تعرفها قبل معرفة تفاصيل الإحصائيات التي تم الحصول عليها من خلال اختبارات أ / ب:

يعني. نحن لا نقيس جميع معدلات التحويل ، ولكن فقط العينة. المتوسط هو ممثل فقط.
تشتت. مقياس تشتت قيم متغير عشوائي نسبة إلى توقعه الرياضي. يؤثر على نتائج الاختبار وكيف نستخدمها.
اختيار. لا يمكننا قياس معدل التحويل الحقيقي ، لذلك يتم اختيار عينة تمثيلية.

ما هي قيمة P؟

يستخدم الكثير من الناس مصطلح "الدلالة الإحصائية" بشكل غير صحيح. في حد ذاته ، ليست إشارة لوقف الاختبار. إذن ما هو ولماذا هو مهم جدا؟
في البداية ، دعونا نلقي نظرة على قيم P ، والتي يفهمها أيضًا عدد قليل من الناس. حتى العلماء أنفسهم يختلطون عليهم أحيانًا!

قيمة P هي قيمة تميز احتمالية الخطأ عند رفض الفرضية الصفرية (أخطاء من النوع الأول). لا يثبت أن الاحتمالية B أعلى من A. هذا مفهوم خاطئ شائع.

للتلخيص ، يمكننا القول أن الدلالة الإحصائية (أو نتيجة ذات دلالة إحصائية) تتحقق عندما تكون قيمة P أقل من مستوى الدلالة الإحصائية (التي يتم تعيينها عادة على 0.05).

اختبارات أحادية وثنائية أ / ب

يسمح لك الاختبار ذو الاتجاه الواحد باكتشاف تغيير في اتجاه واحد ، بينما يسمح لك الاختبار ذو الاتجاهين باكتشاف تغيير في اتجاهين (إيجابي وسالب).

لا تقلق إذا كان برنامج الاختبار الخاص بك يدعم واحدًا فقط من أنواع اختبارات A / B. إذا لزم الأمر ، يتم تحويل الاختبار أحادي الاتجاه بسهولة إلى اختبار ثنائي الاتجاه والعكس صحيح (ومع ذلك ، يجب القيام بذلك قبل الاختبار). والفرق الوحيد هو مستوى أهمية العتبة.

إذا كان برنامجك يستخدم اختبارًا أحادي الاتجاه ، فقم ببساطة بتقسيم قيمة P المستخدمة إلى قسمين. للتأكد من أن الاختبار ثنائي الاتجاه موثوق به بنسبة 95٪ على الأقل ، قم بتعيين مستوى الثقة على 97.5٪. إذا كنت تريد تحقيق موثوقية بنسبة 99٪ ، فأنت بحاجة إلى تحديد قيمة 99.5٪.

معدل التحويل ليس فقط X٪. يشار إليه تقريبًا في هذا النموذج: X٪ (± Y). الرقم الثاني في هذه الصيغة هو فاصل الثقة ، وهو مهم للغاية لفهم نتائج اختبار الانقسام.

يتم استخدام فترات الثقة في اختبار A / B لتقليل مخاطر أخطاء أخذ العينات. بهذا المعنى ، فإننا ندير المخاطر المرتبطة بإدخال نسخة جديدة من الصفحة.

لذلك ، إذا أظهرت أداتك شيئًا مثل: "نحن متأكدون بنسبة 95٪ من أن معدل التحويل هو X٪ ± Y٪" ، فأنت بحاجة إلى اعتبار ± Y٪ هو هامش الخطأ.

تعتمد موثوقية النتائج إلى حد كبير على حجم الخطأ. إذا تداخل نطاقي التحويل ، فأنت بحاجة إلى مواصلة الاختبار للحصول على نتيجة تبدو أشبه بالحقيقة.

تهديد الصلاحية الخارجية

اختبارات الانقسام معقدة بسبب حقيقة أن البيانات ليست ثابتة.

يمكن تسمية سلسلة زمنية ثابتة فقط إذا كانت خصائصها الإحصائية (متوسط القيمة ، التباين ، الارتباط الذاتي ، إلخ) ثابتة في الوقت المناسب. لأسباب عديدة ، فإن بيانات الموقع ليست ثابتة. لذلك ، لا يمكننا إجراء نفس الافتراضات مثل البيانات الثابتة. إليك بعض العوامل التي يمكن أن تؤدي إلى تغيير البيانات:

الموسم؛
يوم الأسبوع ؛
العطل
المراجع الإيجابية أو السلبية في الصحافة ؛
حملات تسويقية أخرى ؛
PPC / SEM ؛
تحسين محركات البحث
كلمة إيجابية.

هذه ليست سوى بعض العوامل التي يجب مراعاتها عند تحليل نتائج اختبارات أ / ب.

إحصائيات بايزي والتردد

تسمح لك العديد من الأدوات الشائعة باستخدام كل من نهج بايزي والتكرار لاختبار A / B. ماهو الفرق؟

بكلمات بسيطة ، يتم تعيين الاحتمال إلى فرضية في إحصائيات بايزي ، وفي إحصائيات التردد يتم التحقق منه دون تعيين الاحتمال.

كل نهج له مزاياه. ومع ذلك ، إذا كنت قد بدأت للتو في فهم أساسيات اختبار A / B ، فأنت بحاجة إلى أن تكون آخر من يقلق بشأن اختيار منهجية.

استنتاج

اختبار A / B هو مخزن لا يقدر بثمن للمعلومات لكل من يتخذ قرارات في بيئة عبر الإنترنت. مع القليل من المعرفة والكثير من الجهد ، يمكنك تقليل المخاطر العديدة التي يواجهها معظم المُحسِّنين المبتدئين.

من خلال الخوض في الموضوع ، يمكنك الحصول على 90٪ من الأشخاص المشاركين في تحليلات الويب. ستسمح لك الخبرة والممارسة المستمرة بإتقان طريقة البحث هذه بشكل مثالي. لذا ابدأ الاختبار!

دليل اختبار A / B عظيم