महान ए / बी टेस्ट गाइड

इंटरनेट पर ए / बी परीक्षण के बारे में एक टन जानकारी है, लेकिन कई अभी भी इसे गलत तरीके से करते हैं। गलती करना वास्तव में आसान है, इसलिए ऐसे अध्ययनों के लिए गंभीर प्रारंभिक तैयारी की आवश्यकता होती है। यह लेख ए / बी परीक्षण के मुख्य पहलुओं पर चर्चा करता है जिन्हें प्रभावी वेब पेज विश्लेषण के लिए माना जाना चाहिए।

A / B परीक्षण क्या है?


A / B परीक्षण (विभाजित परीक्षण) पृष्ठ के विभिन्न संस्करणों के बीच 50/50 के अनुपात में यातायात को विभाजित करता है। संक्षेप में, यह विधि एक पुरानी तकनीक के लिए एक नया नाम है जिसे "नियंत्रित प्रयोग" के रूप में जाना जाता है।

नई दवाओं की प्रभावशीलता का परीक्षण करने के लिए, विशेषज्ञ विभाजित परीक्षण करते हैं। वास्तव में, अधिकांश अनुसंधान प्रयोगों को ए / बी परीक्षण कहा जा सकता है। वे परिकल्पना, अध्ययन का मुख्य उद्देश्य, इसकी भिन्नता और परिणाम, सांख्यिकीय डेटा के रूप में प्रस्तुत किए गए हैं।

बस इतना ही। एक उदाहरण सरल ए / बी परीक्षण है, जिसमें 50/50 यातायात मुख्य पृष्ठ और इसकी भिन्नता के बीच विभाजित है:



रूपांतरण अनुकूलन के मामले में, मुख्य अंतर इंटरनेट ट्रैफ़िक की परिवर्तनशीलता है। बाहरी चर प्रयोगशाला में नियंत्रित करना आसान है। इंटरनेट पर, आप उनके प्रभाव को कम कर सकते हैं, लेकिन पूरी तरह से नियंत्रित परीक्षण बनाना अधिक कठिन है।
इसके अलावा, नई दवाओं का परीक्षण करने के लिए सटीकता की एक निश्चित डिग्री की आवश्यकता होती है। लोगों का जीवन दांव पर है। तकनीकी दृष्टिकोण से, इसका मतलब है कि परीक्षण लंबे समय तक चल सकता है, क्योंकि शोधकर्ताओं को पहली तरह की त्रुटि (झूठी सकारात्मक) से बचने के लिए हर संभव प्रयास करना चाहिए।

हालांकि, व्यावसायिक लक्ष्यों को प्राप्त करने के लिए वेब संसाधनों का ए / बी परीक्षण किया जाता है। यह जोखिम और इनाम विश्लेषण, अन्वेषण और विकास, विज्ञान और व्यवसाय के लिए आवश्यक है। इसलिए, परिणामों को एक अलग दृष्टिकोण से माना जाता है, और निर्णय प्रयोगशालाओं में शोधकर्ताओं से अलग तरीके से किए जाते हैं।

बेशक, आप दो से अधिक पृष्ठ विविधताएँ बना सकते हैं। कई तत्वों के साथ एक अध्ययन को ए / बी / एन परीक्षण कहा जाता है। यदि पर्याप्त ट्रैफ़िक है, तो आप जितने चाहें उतने विकल्प का परीक्षण कर सकते हैं। यहां प्रत्येक भिन्नता के लिए आवंटित ट्रैफ़िक के साथ ए / बी / सी / डी परीक्षण का एक उदाहरण दिया गया है:



ए / बी / एन परीक्षण एक परिकल्पना का परीक्षण करने के लिए कई विविधताओं को लागू करने के लिए महान है। हालाँकि, इसे अधिक ट्रैफ़िक की आवश्यकता होगी क्योंकि इसे अधिक पृष्ठों में विभाजित करना होगा।

इसकी लोकप्रियता के बावजूद, ए / बी परीक्षण केवल एक प्रकार का ऑनलाइन शोध है। आप बहुभिन्नरूपी परीक्षण भी कर सकते हैं या बहु-सशस्त्र दस्यु विधि का उपयोग कर सकते हैं।

ए / बी परीक्षण, बहुभिन्नरूपी परीक्षण और बहु-सशस्त्र दस्यु विधि: क्या अंतर है?
ए / बी / एन परीक्षण एक नियंत्रित प्रयोग है जो मूल पृष्ठ की रूपांतरण दरों और इसकी एक या अधिक भिन्नताओं की तुलना करता है।

मल्टीवीरेट परीक्षण पृष्ठ के कई संस्करणों पर आयोजित किए जाते हैं ताकि यह निर्धारित किया जा सके कि कौन से गुण सबसे महत्वपूर्ण हैं। ए / बी / एन परीक्षण के साथ, मूल की विविधता के साथ तुलना की जाती है। हालाँकि, प्रत्येक डिज़ाइन विभिन्न डिज़ाइन तत्वों का उपयोग करता है। उदाहरण के लिए:



प्रत्येक तत्व का एक विशिष्ट उपयोग मामला है और पृष्ठ के प्रदर्शन को प्रभावित करता है। आप निम्नलिखित तरीकों से साइट का अधिकतम लाभ उठा सकते हैं:

  • सर्वश्रेष्ठ पृष्ठ लेआउट विकल्पों को निर्धारित करने के लिए ए / बी परीक्षण करें।
  • लेआउट में सुधार करने के लिए बहुभिन्नरूपी परीक्षणों का संचालन करें और सुनिश्चित करें कि सभी पृष्ठ तत्व एक दूसरे के साथ अच्छी तरह से बातचीत करते हैं।


बहुभिन्नरूपी परीक्षण की संभावना पर विचार करने से पहले आपको परीक्षण पृष्ठ पर उपयोगकर्ताओं की एक बड़ी संख्या को आकर्षित करने की आवश्यकता होगी। हालांकि, पर्याप्त ट्रैफ़िक है, साइट को ऑप्टिमाइज़ करने के लिए दोनों प्रकार के शोध का उपयोग किया जाना चाहिए।
अधिकांश एजेंसियां ​​A / B परीक्षण पसंद करती हैं, क्योंकि उनके ग्राहक आमतौर पर महत्वपूर्ण परिवर्तनों का परीक्षण करते हैं (संभावित रूप से पृष्ठ को अधिक प्रभावित करते हैं)। इसके अलावा, वे बाहर ले जाने के लिए आसान कर रहे हैं।

बहु-सशस्त्र दस्यु विधि ए / बी / एन - परीक्षण है जो प्रत्येक भिन्नता की प्रभावशीलता के आधार पर वास्तविक समय में अपडेट किए जाते हैं।

वास्तव में, बहु-सशस्त्र दस्यु एल्गोरिथ्म दो (या अधिक) पृष्ठों को ट्रैफ़िक भेजने के साथ शुरू होता है: मूल और इसका संस्करण (s)। फिर यह अद्यतन किया जाता है कि किस विविधता के आधार पर यह सबसे प्रभावी है। अंत में, एल्गोरिथ्म संभव सबसे अच्छा विकल्प निर्धारित करता है:



बहु-सशस्त्र दस्यु विधि के फायदों में से एक यह है कि यह संभावित रूप से सबसे खराब स्थिति का परीक्षण करते समय आपके द्वारा अनुभव किए जाने वाले रूपांतरण के नुकसान को कम करता है। Google का यह चार्ट सब कुछ अच्छी तरह से बताता है:



दोनों बहु-सशस्त्र बैंडिट विधि और ए / बी / एन परीक्षणों में ताकत है। पहले के लिए आदर्श है:

  • शीर्षक और अल्पकालिक अभियान;
  • स्वचालित स्केलिंग;
  • लक्ष्य निर्धारण
  • एक साथ अनुकूलन और एट्रिब्यूशन।


कोई फर्क नहीं पड़ता कि आप किस प्रकार का परीक्षण करते हैं, यह आपकी सफलता की संभावनाओं को बढ़ाने के लिए प्रयास करना है। दूसरे शब्दों में, जितना अधिक बार आप परीक्षण करेंगे, उतनी ही तेजी से रूपांतरण बढ़ेगा।



ए / बी परीक्षण के परिणामों में सुधार कैसे करें


"ए / बी परीक्षण का उपयोग करके परीक्षण की जा सकने वाली 99 चीजों" जैसे लेखों पर ध्यान न दें। यह समय और यातायात की बर्बादी है। केवल प्रक्रिया ही आपको राजस्व बढ़ाने में मदद करेगी।

रूपांतरण के लिए संरचित दृष्टिकोण के साथ लगभग 74% ऑप्टिमाइज़र भी बेहतर बिक्री की रिपोर्ट करते हैं। बाकी सब वहां मिलता है, जिसे वेब विश्लेषक क्रेग सुलिवन "निराशा का गर्त" कहते हैं। (जब तक कि उनके परिणाम झूठी सकारात्मकता से खराब न हों, जिस पर हम बाद में चर्चा करेंगे।)

अधिकतम प्रभावशीलता के लिए, परीक्षण संरचना इस तरह दिखनी चाहिए:
  • अध्ययन;
  • प्राथमिकता;
  • प्रयोग;
  • विश्लेषण, प्रशिक्षण, पुनरावृत्ति।


अध्ययन


अपनी साइट को अनुकूलित करने के लिए, आपको यह समझने की आवश्यकता है कि आपके उपयोगकर्ता क्या और क्यों कर रहे हैं।
हालांकि, परीक्षण के बारे में सोचने से पहले, उपयोगकर्ताओं को आकर्षित करने और उस पर निर्माण करने की अपनी रणनीति को मजबूत करें। तो आप की जरूरत है:

  1. अपने व्यवसाय के लक्ष्यों को परिभाषित करें।
  2. अपनी वेबसाइट के लक्ष्यों को परिभाषित करें।
  3. अपने प्रमुख प्रदर्शन संकेतकों को पहचानें;
  4. अपने लक्ष्य मीट्रिक निर्धारित करें।




एक बार जब आप समझ जाते हैं कि आप क्या हासिल करना चाहते हैं, तो आप आवश्यक डेटा एकत्र करना शुरू कर सकते हैं। इसके लिए, हम ResearchXL फ्रेमवर्क का उपयोग करने की सलाह देते हैं।
यहां CXL द्वारा उपयोग की जाने वाली प्रक्रियाओं की एक छोटी सूची है:

  1. हेरास्टिक विश्लेषण;
  2. तकनीकी विश्लेषण;
  3. वेब एनालिटिक्स सिस्टम का डेटा विश्लेषण;
  4. माउस आंदोलन विश्लेषण;
  5. गुणवत्ता के सर्वेक्षण;
  6. उपयोगकर्ता परीक्षण।


हेयुरिस्टिक विश्लेषण सबसे अच्छा ए / बी परीक्षण प्रथाओं में से एक है। कई वर्षों के अनुभव के बावजूद, यह समझना मुश्किल है कि पृष्ठ के कौन से तत्व इसकी प्रभावशीलता को बढ़ाते हैं। हालांकि, अवसर के क्षेत्रों की पहचान की जा सकती है। UX विशेषज्ञ क्रेग सुलिवन का मानना ​​है:

“मेरे अनुभव में, ये पैटर्न काम को सरल करते हैं, लेकिन सामान्य सत्य नहीं हैं। वे मुझे निर्देशित और सूचित करते हैं, लेकिन कोई गारंटी नहीं देते हैं। ”


पैटर्न पर भरोसा मत करो। ढांचा होना भी उपयोगी है। जब एक हेयुरिस्टिक विश्लेषण करते हैं, तो यह निम्न मानदंडों के अनुसार प्रत्येक पृष्ठ का मूल्यांकन करने के लायक है:

  • प्रासंगिकता;
  • स्पष्टता;
  • मूल्य;
  • टकराव;
  • अमूर्त।


तकनीकी विश्लेषण को अक्सर अनदेखा कर दिया जाता है। हालांकि, त्रुटियां (यदि कोई हैं) रूपांतरण को मारती हैं। यह आपको लग सकता है कि उपयोगकर्ता अनुभव और कार्यक्षमता के मामले में आपकी साइट ठीक काम कर रही है। लेकिन क्या यह हर ब्राउज़र और डिवाइस के साथ समान रूप से काम करता है? शायद ऩही।

तकनीकी विश्लेषण बहुत प्रभावी है और बहुत श्रम गहन नहीं है। इसलिए, आपको चाहिए:

  • क्रॉस-ब्राउज़र और क्रॉस-प्लेटफ़ॉर्म परीक्षण का संचालन करें।
  • साइट की गति का विश्लेषण करें।


इसके बाद वेब एनालिटिक्स सिस्टम के डेटा का विश्लेषण आता है। सबसे पहले, सुनिश्चित करें कि सब कुछ काम करता है। आप गलत तरीके से सेट किए गए वेब एनालिटिक्स सिस्टम सेटिंग्स की संख्या पर आश्चर्यचकित होंगे।

माउस मोशन एनालिसिस में हीटमैप्स, स्क्रॉलिंग मैप्स, शेप एनालिटिक्स और यूजर सेशन रिपीटीशन शामिल हैं। क्लिक कार्ड के रंगीन दृश्य के साथ दूर मत जाओ। सुनिश्चित करें कि विश्लेषण आपको अपने लक्ष्यों को प्राप्त करने के लिए आवश्यक जानकारी प्राप्त करने में मदद करता है।
गुणात्मक शोध आपको समस्याओं के कारणों को समझने की अनुमति देता है। बहुत से लोग सोचते हैं कि यह मात्रात्मक की तुलना में सरल है। वास्तव में, गुणात्मक अनुसंधान उतना ही सटीक होना चाहिए जितना कि उपयोगी जानकारी प्रदान करना।

ऐसा करने के लिए, इसे करना आवश्यक है:

  • साइट पर सर्वेक्षण;
  • ग्राहक सर्वेक्षण;
  • ग्राहकों और फोकस समूहों के साथ साक्षात्कार।


अंत में, उपयोगकर्ता परीक्षण का उपयोग किया जा सकता है। विचार सरल है: यह देखें कि लोग आपकी वेबसाइट का वास्तविक उपयोग कैसे करते हैं और उनके कार्यों पर टिप्पणी करते समय इसके साथ सहभागिता करते हैं। वे जिस बारे में बात कर रहे हैं और जो वे अनुभव कर रहे हैं, उस पर ध्यान दें।

एक संपूर्ण रूपांतरण अध्ययन के बाद, आपके पास बहुत अधिक डेटा होगा। अगला कदम परीक्षण को प्राथमिकता देना है।

ए / बी परीक्षण में परिकल्पना को कैसे प्राथमिकता दें


आपके ए / बी परीक्षणों को प्राथमिकता देने के लिए कई रूपरेखाएँ हैं। इसके अलावा, आप इसे अपने तरीकों के आधार पर कर सकते हैं। क्रेग सुलिवन इस प्रकार प्राथमिकता देते हैं:

ऊपर वर्णित सभी छह चरणों के पूरा होने पर, आपको समस्याएं मिलेंगी - गंभीर और मामूली दोनों। पाँच श्रेणियों में से प्रत्येक में वितरित करें:

  1. परीक्षण: परीक्षण के लिए आवश्यक सभी चीजें इस श्रेणी में भेजी जाएंगी।
  2. उपकरण। इस श्रेणी में एनालिटिक्स में टैग / ईवेंट के प्रसंस्करण को ठीक करना, जोड़ना या सुधार करना शामिल है।
  3. परिकल्पना: यह श्रेणी उन पृष्ठों, विगेट्स या प्रक्रियाओं को परिभाषित करती है जो बहुत अच्छी तरह से काम नहीं करती हैं और त्रुटि से निपटने की आवश्यकता होती है।
  4. बस करो। इस श्रेणी का उपयोग उन कार्यों के लिए करें जिन्हें बस करने की आवश्यकता है।
  5. अध्ययन: यदि कोई कार्य इस श्रेणी में आता है, तो आपको इसे हल करने के लिए थोड़ा गहरा खुदाई करना होगा।


1 से 5 सितारों (1 = मामूली, 5 = महत्वपूर्ण) से प्रत्येक समस्या को रेट करें। मूल्यांकन करते समय, निम्नलिखित दो मानदंड सबसे महत्वपूर्ण हैं:

  1. कार्यान्वयन में आसानी (समय / जटिलता / जोखिम)। कभी-कभी डेटा आपको एक फ़ंक्शन बनाने के लिए कहता है जिसे विकसित होने में महीनों लगते हैं। उसके साथ काम शुरू न करें।
  2. अवसर। एक लिफ्ट कितनी बड़ी हो सकती है या बदल सकती है, इस पर निर्भर करते हुए विषयवार मूल्यांकन करें।


अपने सभी डेटा के साथ एक स्प्रेडशीट बनाएं। आपको प्राथमिकताओं के साथ विभाजित परीक्षण योजना मिलेगी।

हमने पूरी प्रक्रिया को यथासंभव उद्देश्यपूर्ण बनाने के लिए अपना प्राथमिकताकरण मॉडल बनाया है। यह तालिका में डेटा के अनिवार्य प्रवेश का तात्पर्य करता है। मॉडल को पीएक्सएल कहा जाता है और इस तरह दिखता है:



इस स्प्रेडशीट टेम्पलेट की एक प्रति यहां डाउनलोड करें। फ़ाइल पर क्लिक करें> प्रतिलिपि बनाएँ आप की जरूरत है सब कुछ पाने के लिए।


परिवर्तन की प्रभावशीलता की भविष्यवाणी करने के बजाय, फ्रेमवर्क आपसे इसके बारे में कई प्रश्न पूछता है:

  • क्या कोई महत्वपूर्ण बदलाव है? एक बड़ा अपडेट अधिक लोगों को नोटिस करेगा। इसलिए, परिवर्तन का पृष्ठ पर अधिक प्रभाव पड़ेगा।
  • क्या 5 सेकंड में बदलाव को नोटिस करना संभव है? लोगों के समूह को पृष्ठ दिखाएं, और फिर इसकी भिन्नता (ओं) को देखें। क्या वे 5 सेकंड में अंतर नोटिस करेंगे? यदि नहीं, तो परिवर्तन का बड़ा प्रभाव होने की संभावना नहीं है।
  • क्या परिवर्तन कुछ भी जोड़ता या हटाता है? बड़े बदलाव, जैसे विक्षेप को कम करना या महत्वपूर्ण जानकारी जोड़ना, आमतौर पर पृष्ठ को बहुत प्रभावित करते हैं।
  • क्या परीक्षण उच्च ट्रैफ़िक वाले पृष्ठों पर काम करता है? बहुत सारे ट्रैफ़िक वाले पृष्ठ को बेहतर बनाने से बड़ा लाभ मिलता है।


कई संभावित परीक्षण चर को आपके परिकल्पना को प्राथमिकता देने के लिए डेटा की आवश्यकता होती है। साप्ताहिक चर्चाएँ जो निम्नलिखित चार प्रश्न पूछती हैं, आपको राय के बजाय डेटा के आधार पर परीक्षण को प्राथमिकता देने में मदद करेंगी:

  • क्या उपयोगकर्ता परीक्षण के दौरान पाई गई समस्या का समाधान किया जाएगा?
  • क्या गुणवत्ता प्रतिक्रिया (चुनाव, चुनाव, साक्षात्कार) के माध्यम से समस्याओं का पता लगाया जा रहा है?
  • क्या परिकल्पना माउस ट्रैकिंग, हीटमैप्स या आई ट्रैकिंग द्वारा समर्थित है?
  • क्या डिजिटल एनालिटिक्स के माध्यम से समस्याओं का समाधान किया गया है?


पीएक्सएल मूल्यांकन


हम एक बाइनरी स्केल का उपयोग करते हैं: आपको दो में से एक रेटिंग का चयन करना होगा। इस प्रकार, अधिकांश चरों के लिए (जब तक कि अन्यथा संकेत न दिया गया हो) आप या तो 0 या 1 चुनते हैं।
हालांकि, हम चर को महत्व के आधार पर क्रमबद्ध करना चाहते हैं। ऐसा करने के लिए, हम विशेष रूप से वर्णन करते हैं कि पृष्ठ के कौन से तत्व बदल रहे हैं।

customizability


हमने यह मॉडल बनाया है, यह विश्वास करते हुए कि आप अपने व्यवसाय के लक्ष्यों के आधार पर चर सेट कर सकते हैं और करना चाहिए।

उदाहरण के लिए, यदि आप एक ब्रांडिंग टीम या उपयोगकर्ता अनुभव के साथ काम कर रहे हैं और परिकल्पना ब्रांड की सिफारिशों के अनुरूप होनी चाहिए, तो उन्हें एक चर के रूप में जोड़ें।
आप ऐसे स्टार्टअप में काम कर रहे होंगे जिसका बिक्री इंजन एसईओ द्वारा संचालित हो। शायद आपका वित्तपोषण ग्राहकों के प्रवाह पर निर्भर करता है। कुछ शीर्षकों या ग्रंथों को बदलने के लिए "एसईओ हस्तक्षेप नहीं करता है" जैसी श्रेणी जोड़ें।

सभी संगठन अलग-अलग काम करते हैं। टेम्पलेट सेट करने से सभी बारीकियों को ध्यान में रखने और साइट के अनुकूलन के लिए इष्टतम कार्यक्रम बनाने में मदद मिलेगी।

आप जो भी रूपरेखा का उपयोग करते हैं, वह टीम के प्रत्येक सदस्य के साथ-साथ कंपनी के शेयरधारकों के लिए भी स्पष्ट करें।

A / B परीक्षण में कितना समय लगता है?


पहला नियम: परीक्षण को केवल इसलिए रोकें नहीं क्योंकि यह सांख्यिकीय रूप से महत्वपूर्ण हो जाता है। यह शायद नौसिखिए आशावादियों द्वारा की गई सबसे आम गलती है।

यदि आप बहुत जल्द परीक्षण बंद कर देते हैं, तो आप पाएंगे कि अधिकांश परिवर्तनों से आय में वृद्धि नहीं होती है (जो कि मुख्य लक्ष्य है)।
1000 ए / ए परीक्षणों के बाद प्राप्त इन आंकड़ों पर ध्यान दें (यह दो समान पृष्ठों के लिए किया गया था):

  • 1000 में से 771 प्रयोग 90% के महत्व पर पहुंच गए।
  • 1000 में से 531 प्रयोग 95% के महत्व पर पहुंच गए।


समय से पहले परीक्षणों को रोकने से झूठी सकारात्मकता का खतरा बढ़ जाता है।
एक पंक्ति में कम से कम दो कार्य चक्रों के लिए नमूना आकार और कई हफ्तों तक परीक्षण का निर्धारण करें।

नमूना आकार कैसे निर्धारित करें? कई बेहतरीन उपकरण हैं। यहां बताया गया है कि आप इवान मिलर टूल का उपयोग करके नमूना आकार की गणना कैसे कर सकते हैं:



इस उदाहरण में, हमने संकेत दिया है कि रूपांतरण दर 3% है और हम इस दर को कम से कम 10% बढ़ाना चाहते हैं। यह उपकरण बताता है कि 51,486 लोगों को प्रत्येक भिन्नता का दौरा करना चाहिए, इससे पहले कि हम सांख्यिकीय महत्व के स्तरों को देख सकें।

महत्व स्तर के अलावा, सांख्यिकीय ताकत है। सांख्यिकीय शक्ति टाइप II त्रुटियों (झूठी नकारात्मक) से बचने की कोशिश करती है। दूसरे शब्दों में, यह संभावना को बढ़ाता है कि आपको सबसे प्रभावी पृष्ठ तत्व मिलेगा।

याद रखें कि 80% बिजली ए / बी परीक्षण उपकरण के लिए मानक है। इस स्तर को प्राप्त करने के लिए, आपको या तो एक बड़े नमूने के आकार, या एक भव्य प्रभाव, या एक लंबे परीक्षण की आवश्यकता होगी।

कोई जादुई संख्या नहीं हैं


कई लेख परीक्षण को रोकने के लिए सबसे अच्छे समय के रूप में जादू की संख्या (जैसे "100 रूपांतरण" या "1000 आगंतुक") को सूचीबद्ध करते हैं। हालांकि, गणित का जादू से कोई लेना-देना नहीं है। वास्तव में, इन नंबरों की तरह सरलीकृत सांख्यिकी की तुलना में सब कुछ अधिक जटिल है। यहाँ मालवेयरबाइट्स के एंड्रयू एंडरसन कहते हैं:

“आपका लक्ष्य निश्चित संख्या में रूपांतरण नहीं है। आपको प्रतिनिधि नमूने और प्रतिनिधि व्यवहार के आधार पर एक परिकल्पना का परीक्षण करने के लिए पर्याप्त डेटा एकत्र करने का प्रयास करना चाहिए।

एक सौ रूपांतरण केवल दुर्लभ मामलों में और व्यवहार में एक अविश्वसनीय रूप से उच्च अंतर के साथ संभव है, लेकिन केवल तभी जब अन्य आवश्यकताएं पूरी होती हैं - जैसे समय व्यवहार, स्थिरता और सामान्य वितरण। उसी समय, पहली तरह की त्रुटि का जोखिम बहुत अधिक रहता है। ”


तो आपको एक प्रतिनिधि नमूने की आवश्यकता है। इसे कैसे प्राप्त करें? दो आर्थिक चक्रों के दौरान परीक्षण का संचालन करना, जो बाहरी कारकों के प्रभाव को कम करने में मदद करेगा जैसे:

  • \ सप्ताह का दिन। सप्ताह के दिन के आधार पर दैनिक ट्रैफ़िक बहुत भिन्न हो सकता है।
  • \ _ यातायात के स्रोत। जब तक कि किसी विशेष स्रोत के लिए अनुभव को निजीकृत करना आवश्यक न हो।
  • \ _ न्यूज़लेटर और ब्लॉग पोस्ट भेजने का कार्यक्रम
  • \ लौटने वाले विज़िटर। लोग आपकी साइट पर जा सकते हैं, खरीदारी के बारे में सोच सकते हैं और फिर इसे बनाने के लिए 10 दिन बाद वापस आ सकते हैं।
  • बाहरी घटनाएँ। उदाहरण के लिए, मध्य माह का पेरोल आपकी खरीदारी को प्रभावित कर सकता है।


छोटे नमूनों से सावधान रहें। गणितीय त्रुटियों से भरे इंटरनेट पर कई मामले अध्ययन हैं।

जैसे ही आप सब कुछ सेट करते हैं, तब तक परीक्षण के परिणामों पर नज़र न डालें (और बॉस को झांकने न दें) जब तक कि यह समाप्त न हो जाए। अन्यथा, आप "एक प्रवृत्ति का पता लगाने" द्वारा समय से पहले निष्कर्ष निकाल सकते हैं।

प्रतिगमन का अर्थ है


आप अक्सर देखेंगे कि परीक्षण के पहले कुछ दिनों में परिणाम बहुत भिन्न होते हैं। बाद में, वे औसत मूल्य में परिवर्तित हो जाएंगे, क्योंकि परीक्षण कई हफ्तों तक जारी रहता है। यहां ई-कॉमर्स साइट के आंकड़ों का एक उदाहरण दिया गया है:



  • दिनों की पहली जोड़ी: नीला (विकल्प संख्या 3) एक अंतर से जीतता है। भिन्नता 12.50 डॉलर के मुकाबले प्रति आगंतुक लाता है जो मूल पृष्ठ लाता है। कई (गलती से) इस बिंदु पर परीक्षण समाप्त हो जाएगा।
  • 7 दिनों के बाद: पृष्ठ का नीला संस्करण अभी भी जीतता है, और सापेक्ष अंतर काफी बड़ा है।
  • 14 दिनों के बाद: शीर्ष पर नारंगी संस्करण (नंबर 4) निकलता है!
  • 21 दिनों के बाद: नारंगी संस्करण अभी भी जीतता है!
  • परीक्षण का अंत: विकल्पों में कोई अंतर नहीं हैं।


यदि आपने चौथे सप्ताह से पहले परीक्षण पूरा कर लिया है, तो आपने गलत निष्कर्ष निकाला होगा।

इसी तरह की समस्या है: नवीनता का प्रभाव। आपके परिवर्तनों की नवीनता (उदाहरण के लिए, बड़ा नीला बटन) पृष्ठ विकल्प पर अधिक ध्यान आकर्षित करता है। समय के साथ, यह प्रभाव गायब हो जाता है, क्योंकि परिवर्तन धीरे-धीरे प्रासंगिक हो जाएगा।

क्या मैं एक ही समय में कई ए / बी परीक्षण चला सकता हूं?


आप अपने परीक्षण कार्यक्रम को गति देना चाहते हैं और अधिक परीक्षण चलाना चाहते हैं। हालांकि, क्या एक बार में एक से अधिक ए / बी परीक्षण चलाना संभव है? क्या यह आपकी वृद्धि क्षमता को बढ़ाएगा या डेटा को विकृत करेगा?

कुछ विशेषज्ञों का तर्क है कि एक बार में कई परीक्षणों का आयोजन करना गलत है। कुछ कहते हैं कि सब कुछ क्रम में है। ज्यादातर मामलों में, आपको एक साथ कई परीक्षणों का आयोजन करते समय समस्या नहीं होगी।

यदि आप वास्तव में महत्वपूर्ण चीजों का परीक्षण नहीं कर रहे हैं (उदाहरण के लिए, कुछ ऐसा जो आपके व्यवसाय मॉडल और कंपनी के भविष्य को प्रभावित करता है), तो परीक्षण की मात्रा का लाभ संभवतः आपके डेटा की खामियों और यादृच्छिक झूठी सकारात्मक से आगे निकल जाएगा।
यदि कई परीक्षणों के बीच बातचीत का एक उच्च जोखिम है, तो एक साथ परीक्षणों की संख्या कम करें और / या सटीकता को बेहतर बनाने के लिए परीक्षणों को अधिक समय तक चलने दें।

ए / बी परीक्षण कैसे सेट करें


प्राथमिकता वाले प्राथमिकताओं के साथ परीक्षण विचारों की एक सूची को संकलित करने के बाद, एक परिकल्पना तैयार करना और एक प्रयोग करना आवश्यक है। परिकल्पना द्वारा आप यह निर्धारित करते हैं कि समस्या किस कारण से उत्पन्न होती है। इसके अलावा, एक अच्छी परिकल्पना:

  • सत्यापन योग्य। यह मापने योग्य है, इसलिए इसे जांचा जा सकता है।
  • रूपांतरण समस्या हल करता है। विभाजन परीक्षण रूपांतरण समस्याओं को हल करता है।
  • बाजार अंतर्दृष्टि प्रदान करता है। स्पष्ट रूप से स्पष्ट परिकल्पना के साथ, आपके विभाजन परीक्षण के परिणाम आपको हमेशा मूल्यवान ग्राहक जानकारी प्रदान करेंगे।




क्रेग सुलिवन परिकल्पना प्रक्रिया को सरल बनाने के लिए निम्नलिखित एल्गोरिथ्म प्रदान करता है:

  1. जब से हमें (डेटा / प्रतिक्रिया) प्राप्त हुआ,
  2. हम उम्मीद करते हैं कि (परिवर्तन) कारण (प्रभाव) होगा।
  3. हम इसे (डेटा मीट्रिक) का उपयोग करके मापेंगे।


इस एल्गोरिथ्म का एक उन्नत संस्करण है:

  1. जब से हमें (गुणात्मक और मात्रात्मक डेटा) प्राप्त हुआ,
  2. हम उम्मीद करते हैं कि (परिवर्तन) (जनसंख्या) कारण (प्रभाव) होगा।
  3. हम अवधि (एक्स व्यापार चक्र) के लिए (डेटा मेट्रिक्स में परिवर्तन) देखने की उम्मीद करते हैं।


तकनीकी दिक्कतें


परीक्षण का सबसे मनोरंजक हिस्सा आया है: आप अंततः इसके लिए एक उपकरण चुन सकते हैं।

कई इस मुद्दे को पहले शुरू करते हैं, लेकिन यह सबसे महत्वपूर्ण बात से दूर है। रणनीति और आँकड़े अधिक महत्वपूर्ण हैं।

हालांकि, उपकरणों की कई विशेषताएं हैं जिनके बारे में आपको पता होना चाहिए। वे दो मुख्य श्रेणियों में आते हैं: सर्वर-साइड या क्लाइंट-साइड टूल।

सर्वर उपकरण सर्वर स्तर कोड प्रदर्शित करते हैं। वे विज़िटर के ब्राउज़र में परिवर्तन किए बिना पृष्ठ का एक यादृच्छिक संस्करण दर्शक को भेजते हैं। क्लाइंट-साइड टूल एक ही पृष्ठ भेजते हैं, लेकिन क्लाइंट ब्राउज़र में जावास्क्रिप्ट मूल पृष्ठ और इसके संस्करण की उपस्थिति को नियंत्रित करता है।

क्लाइंट-साइड परीक्षण टूल में ऑप्टिमाइज़ली, VWO और Adobe लक्ष्य शामिल हैं। कंडक्टर्स आपको दोनों तरीकों का उपयोग करने की अनुमति देता है, और साइटस्पीक प्रॉक्सी का उपयोग करता है।
यह सब आप के लिए क्या मतलब रखता है? यदि आप समय बचाना चाहते हैं, तो आपकी टीम छोटी है या आपके पास विकास के लिए संसाधन नहीं हैं, क्लाइंट-साइड टूल आपको तेजी से आरंभ करने में मदद करेंगे। सर्वर-साइड टूल को विकास संसाधनों की आवश्यकता होती है - हालांकि, वे आम तौर पर अधिक विश्वसनीय होते हैं।

यद्यपि परीक्षण सेटअप आपके द्वारा उपयोग किए जाने वाले उपकरण के आधार पर थोड़ा अलग है, अक्सर पूरी प्रक्रिया बहुत सरल होती है और कोई भी इसे संभाल सकता है - बस निर्देशों का पालन करें।

इसके अलावा, आपको लक्ष्य निर्धारित करने की आवश्यकता है। जब प्रत्येक पृष्ठ विकल्प आगंतुकों को ग्राहकों में बदलता है, तो आपका परीक्षण उपकरण ट्रैक करेगा।



A / B परीक्षण सेट करते समय, निम्नलिखित कौशल काम में आते हैं: HTML, CSS और जावास्क्रिप्ट / JQuery, साथ ही साथ पाठ बनाने और नए पृष्ठ रूपांतरों को डिज़ाइन करने की क्षमता। कुछ उपकरण आपको एक दृश्य संपादक का उपयोग करने की अनुमति देते हैं, लेकिन यह आपके लचीलेपन और नियंत्रण को सीमित करता है।

ए / बी परीक्षणों के परिणामों का विश्लेषण कैसे करें?


तो, आपने अंततः शोध किया, परीक्षण को सही ढंग से सेट किया और इसे संचालित किया। अब विश्लेषण पर चलते हैं। यह इतना आसान नहीं है - केवल अपने परीक्षण उपकरण से ग्राफ को देखना पर्याप्त नहीं है।



एक चीज जो आपको हमेशा करनी चाहिए: Google Analytics में अपने परीक्षा परिणामों का विश्लेषण करें। इसलिए आप न केवल अपनी विश्लेषण क्षमताओं का विस्तार करते हैं, बल्कि अपने डेटा और निर्णय लेने में भी अधिक आश्वस्त हो जाते हैं।

हो सकता है कि आपका परीक्षण उपकरण सही ढंग से डेटा न लिखे। जब तक आपके पास जानकारी का एक और स्रोत है, आप कभी भी यह सुनिश्चित नहीं कर सकते हैं कि उस पर भरोसा करना है या नहीं। कई डेटा स्रोत बनाएं।

यदि विभिन्नताओं में कोई अंतर नहीं है तो क्या होगा? पर्याप्त समय लो। सबसे पहले, दो चीजों को पहचानें:

  1. आपकी परिकल्पना सही हो सकती है, लेकिन कार्यान्वयन गलत निकला।
  2. मान लीजिए कि आपका गुणात्मक शोध एक सुरक्षा समस्या को इंगित करता है। आप सुरक्षा की अपनी धारणा को कितनी बार सुधार सकते हैं? असीमित मात्रा में।
  3. यदि आप कुछ परीक्षण करना चाहते हैं, और कई पुनरावृत्तियों की तुलना करना चाहते हैं तो पुनरावृत्ति परीक्षण का उपयोग करें।
  4. यहां तक ​​कि सामान्य रूप में एक ठोस अंतर के अभाव में, भिन्नता कुछ मामलों में मूल पृष्ठ से अधिक हो सकती है।


यदि आप नियमित और मोबाइल आगंतुकों के बीच दक्षता में वृद्धि को नोटिस करते हैं, लेकिन नए आगंतुकों और डेस्कटॉप उपयोगकर्ताओं के लिए नहीं, तो ये खंड एक दूसरे को रद्द कर सकते हैं, यह धारणा देते हुए कि "कोई अंतर नहीं है"। इस अवसर का पता लगाने के लिए प्रमुख खंडों में अपने परीक्षण का विश्लेषण करें।

ए / बी परीक्षणों के लिए डेटा विभाजन


विभाजन ए / बी परीक्षण के परिणामों को भुनाने की कुंजी है। इस तथ्य के बावजूद कि बी समग्र परिणामों में ए को खो सकता है, भिन्नता कुछ क्षेत्रों (जैविक यातायात, फेसबुक क्लिक, मोबाइल ट्रैफ़िक, आदि) में मूल पृष्ठ को हरा सकती है।



बड़ी संख्या में ऐसे सेगमेंट हैं जिन्हें आप निम्न सहित विश्लेषण कर सकते हैं:

  • ब्राउज़र का प्रकार;
  • स्रोत का प्रकार;
  • मोबाइल या डेस्कटॉप कंप्यूटर या डिवाइस;
  • पंजीकृत और लॉग आउट किए गए आगंतुक;
  • पीपीसी / SEM अभियान
  • भौगोलिक क्षेत्र (शहर, राज्य / प्रांत, देश);
  • नए और नियमित आगंतुक;
  • नए और दोहराए जाने वाले ग्राहक;
  • आकस्मिक आगंतुकों के खिलाफ उन्नत उपयोगकर्ता;
  • पुरुष बनाम महिला
  • आयु सीमा;
  • नई और पहले से प्रस्तुत लीड;
  • योजनाओं के प्रकार या वफादारी कार्यक्रम के स्तर;
  • वर्तमान, संभावित और पूर्व ग्राहकों;
  • भूमिकाएं (यदि, उदाहरण के लिए, आपकी साइट खरीदार और विक्रेता की भूमिकाएं प्रदान करती हैं)।


अंतिम उपाय के रूप में (बशर्ते कि आपके पास पर्याप्त नमूना आकार हो), इन कारकों पर ध्यान दें:

  • डेस्कटॉप और मोबाइल संस्करणों की लोकप्रियता;
  • नए ग्राहक बनाम रिटर्न;
  • खोया हुआ ट्रैफ़िक।


सुनिश्चित करें कि आपके पास खंड में एक पर्याप्त नमूना आकार है। अग्रिम में इसकी गणना करें, और सावधान रहें यदि इस खंड में प्रति भिन्नता 250-350 रूपांतरण से कम है।
यदि आपके कार्यों ने किसी विशेष खंड के लिए अच्छे परिणाम दिखाए हैं, तो आप इन उपयोगकर्ताओं के लिए एक व्यक्तिगत दृष्टिकोण पर आगे बढ़ सकते हैं।

अभिलेखागार ने ए / बी परीक्षण कैसे किया


सूचना एकत्र करने के लिए A / B परीक्षण मुख्य रूप से आवश्यक है। निर्देशों के अनुसार किए गए सांख्यिकीय रूप से सही परीक्षण विकास और अनुकूलन के मुख्य लक्ष्यों को प्राप्त करने में मदद करेंगे।

स्मार्ट कंपनियाँ परीक्षण परिणामों को संग्रहीत करती हैं और परीक्षण दृष्टिकोणों में लगातार सुधार करती हैं। अनुकूलन के लिए एक संरचित दृष्टिकोण अधिक से अधिक विकास देता है और स्थानीय बाधाओं द्वारा अक्सर कम सीमित होता है।



सबसे कठिन हिस्सा यह है: ज्ञान प्रबंधन की संरचना का कोई सबसे अच्छा तरीका नहीं है। कुछ कंपनियां परिष्कृत अंतर्निहित उपकरणों का उपयोग करती हैं; कुछ तृतीय-पक्ष उपकरण का उपयोग करते हैं; और कुछ एक्सेल और ट्रेलो के साथ आते हैं।
आपके रूपांतरण को अनुकूलित करने के लिए विशेष रूप से डिज़ाइन किए गए तीन उपकरण यहां दिए गए हैं:

  • Iridion;
  • प्रभावी प्रयोग;
  • ग्रोथ हैकर्स के प्रोजेक्ट।




ए / बी परीक्षणों के माध्यम से प्राप्त आंकड़े


आँकड़ों का ज्ञान ए / बी परीक्षण के परिणामों का विश्लेषण करने में उपयोगी है। हमने उपरोक्त अनुभाग में उनमें से कुछ की जांच की, लेकिन यह सब नहीं है।

तीन अवधारणाएँ हैं जिन्हें आपको A / B परीक्षणों के माध्यम से प्राप्त आँकड़ों का विवरण जानने से पहले जानना चाहिए:

  1. मीन। हम सभी रूपांतरण दर नहीं मापते हैं, लेकिन केवल नमूना है। औसत केवल पूरे का एक प्रतिनिधि है।
  2. फैलाव। इसकी गणितीय अपेक्षा के सापेक्ष एक यादृच्छिक चर के मूल्यों के बिखराव का एक उपाय। यह परीक्षण के परिणामों को प्रभावित करता है और हम उनका उपयोग कैसे करते हैं।
  3. चयन। हम सही रूपांतरण दर नहीं माप सकते हैं, इसलिए एक प्रतिनिधि नमूना चुना जाता है।


P- मान क्या है?


बहुत से लोग "सांख्यिकीय महत्व" शब्द का गलत तरीके से उपयोग करते हैं। अपने आप से, यह परीक्षण को रोकने के लिए एक संकेत नहीं है। तो यह क्या है और यह इतना महत्वपूर्ण क्यों है?
शुरू करने के लिए, आइए पी-मूल्यों को देखें, जिसे बहुत कम लोग समझते हैं। यहाँ तक कि स्वयं वैज्ञानिक भी कभी-कभी उनमें उलझ जाते हैं!

पी-वैल्यू एक मान है जो त्रुटि की संभावना को दर्शाता है जब अशक्त परिकल्पना को खारिज कर दिया जाता है (पहली तरह की त्रुटियां)। यह साबित नहीं करता है कि संभावना बी ए की तुलना में अधिक है। यह एक सामान्य गलत धारणा है।



संक्षेप में, हम कह सकते हैं कि सांख्यिकीय महत्व (या एक सांख्यिकीय महत्वपूर्ण परिणाम) तब प्राप्त होता है जब पी-मूल्य सांख्यिकीय महत्व के स्तर से कम होता है (जो आमतौर पर 0.05 पर सेट होता है)।

एकतरफा और द्विपक्षीय ए / बी परीक्षण


एक-तरफ़ा परीक्षण आपको एक दिशा में परिवर्तन का पता लगाने की अनुमति देता है, जबकि एक दो-तरफ़ा परीक्षण आपको दो दिशाओं (सकारात्मक और नकारात्मक दोनों) में परिवर्तन का पता लगाने की अनुमति देता है।

यदि आपका परीक्षण सॉफ़्टवेयर A / B परीक्षणों में से केवल एक प्रकार का समर्थन करता है, तो चिंता न करें। यदि आवश्यक हो, तो एक-तरफ़ा परीक्षण आसानी से दो-तरफ़ा परीक्षण में बदल जाता है और इसके विपरीत (हालांकि, यह परीक्षण से पहले किया जाना चाहिए)। एकमात्र अंतर दहलीज महत्व स्तर है।

यदि आपका सॉफ़्टवेयर एक-तरफ़ा परीक्षण का उपयोग करता है, तो बस प्रयुक्त P- मान को दो में विभाजित करें। यह सुनिश्चित करने के लिए कि आपका दो-तरफ़ा परीक्षण कम से कम 95% विश्वसनीय है, 97.5% पर विश्वास स्तर सेट करें। यदि आप 99% की विश्वसनीयता प्राप्त करना चाहते हैं, तो आपको 99.5% के मूल्य का चयन करने की आवश्यकता है।


रूपांतरण दर केवल X% नहीं है। यह लगभग इस रूप में इंगित किया गया है: X% (। Y)। इस सूत्र में दूसरा नंबर विश्वास अंतराल है, और यह विभाजन परीक्षण के परिणामों को समझने के लिए अत्यंत महत्वपूर्ण है।



आत्मविश्वास के अंतराल का उपयोग ए / बी परीक्षण में नमूनाकरण त्रुटियों के जोखिम को कम करने के लिए किया जाता है। इस अर्थ में, हम पृष्ठ के नए संस्करण की शुरूआत से जुड़े जोखिम का प्रबंधन करते हैं।

इसलिए, यदि आपका टूल कुछ ऐसा दिखाता है: "हम 95% सुनिश्चित हैं कि रूपांतरण दर X%% Y% है," तो आपको त्रुटि के मार्जिन के रूप में% Y% पर विचार करने की आवश्यकता है।

परिणामों की विश्वसनीयता काफी हद तक त्रुटि के परिमाण पर निर्भर करती है। यदि दो रूपांतरण सीमाएं ओवरलैप होती हैं, तो आपको परिणाम प्राप्त करने के लिए परीक्षण जारी रखने की आवश्यकता होती है जो सत्य की तरह दिखता है।

बाहरी वैधता के लिए खतरा


स्प्लिट परीक्षण इस तथ्य से जटिल हैं कि डेटा स्थिर नहीं है।



एक समय श्रृंखला को केवल तभी स्थिर कहा जा सकता है जब उसके सांख्यिकीय गुण (औसत मूल्य, विचरण, स्वतःसंबंध, आदि) समय में स्थिर हों। कई कारणों से, वेबसाइट डेटा स्थिर नहीं है। इसलिए, हम स्थिर डेटा के लिए समान धारणा नहीं बना सकते हैं। यहां कुछ कारक दिए गए हैं जो डेटा को बदलने का कारण बन सकते हैं:

  • मौसम;
  • हफ्ते का दिन;
  • छुट्टियों;
  • प्रेस में सकारात्मक या नकारात्मक संदर्भ;
  • अन्य विपणन अभियान;
  • पीपीसी / SEM;
  • एसईओ
  • मुंह की बात।


ए / बी परीक्षणों के परिणामों का विश्लेषण करते समय विचार करने के लिए ये कुछ कारक हैं।

बायेसियन और आवृत्ति आंकड़े


कई लोकप्रिय उपकरण आपको ए / बी परीक्षण के लिए बायेसियन और आवृत्ति दृष्टिकोण दोनों का उपयोग करने की अनुमति देते हैं। अंतर क्या है?

सरल शब्दों में, एक संभावना को बायेसियन आंकड़ों में एक परिकल्पना को सौंपा गया है, और आवृत्ति के आंकड़ों में यह संभाव्यता बताए बिना जाँच की जाती है।

प्रत्येक दृष्टिकोण के अपने फायदे हैं। हालांकि, यदि आप ए / बी परीक्षण की मूल बातें समझना शुरू कर रहे हैं, तो आपको कार्यप्रणाली चुनने के बारे में चिंता करने की आवश्यकता है।

निष्कर्ष


A / B परीक्षण उन सभी के लिए जानकारी का एक अमूल्य भंडार है जो ऑनलाइन वातावरण में निर्णय लेता है। थोड़ा ज्ञान और बहुत प्रयास के साथ, आप कई जोखिमों को कम कर सकते हैं जो कि अधिकांश नौसिखिए ऑप्टिमाइज़र का सामना करते हैं।

विषय पर ध्यान देकर, आप वेब विश्लेषिकी में शामिल 90% लोगों से आगे निकल सकते हैं। अनुभव और निरंतर अभ्यास आपको इस शोध पद्धति को पूरी तरह से मास्टर करने की अनुमति देगा। तो परीक्षण शुरू करो!

All Articles