🚵 👎🏻 👩🏿‍🤝‍👨🏾 चिंता को कैसे रोकें और ए / बी परीक्षणों में विश्वास करना शुरू करें 🖇️ 💺 👨🏿‍💼

जब आप एक उत्पाद विकसित करते हैं, तो प्रत्येक नया पुनरावृत्ति मैट्रिक्स छोड़ने और उपयोगकर्ताओं को खोने का जोखिम होता है। फिर भी, कभी-कभी, विशेष रूप से प्रारंभिक चरणों में, कंपनियां अनजाने में यह जोखिम उठाती हैं - वे उत्पाद को बदलते हैं, केवल उनकी प्रवृत्ति और परिकल्पना पर भरोसा करते हैं।

हम बुश में भावनाओं पर भरोसा नहीं करते हैं, लेकिन हम संख्याओं पर विश्वास करते हैं। कुल में, हमारी सेवाओं के 500 मिलियन से अधिक उपयोगकर्ता हैं, और हमने लंबे समय तक अपना परीक्षण ढांचा लिखा। छह वर्षों में, 2962 परीक्षण इसके माध्यम से पारित हुए, और ए / बी परीक्षण ने इसके महत्व, विश्वसनीयता और प्रभावशीलता को साबित किया।

लेकिन इस लेख में मैं इस बारे में बात नहीं करूंगा कि हमारा सिस्टम कैसे काम करता है। एक लेख इसके लिए पर्याप्त नहीं है। इसके अलावा, कई चीजें हमारी कंपनी के लिए विशिष्ट हैं और दूसरों के अनुरूप नहीं होंगी। आज मैं ए / बी परीक्षणों के बारे में अपने विचारों के विकास के बारे में बात करूंगा: हमने किस तरह की रेक प्रक्रिया में कदम रखा और कैसे हमने परीक्षणों की शुद्धता की जांच की। यह लेख उन लोगों के लिए है जिन्होंने अभी तक परीक्षण शुरू नहीं किया है, लेकिन इसके बारे में सोचें, साथ ही साथ उन लोगों के लिए जो अपने परीक्षण प्रणाली के बारे में निश्चित नहीं हैं।

A / B टेस्ट क्या है?

एक स्थिति की कल्पना करें: एक नई सुविधा शुरू की जानी है, और हमारे उत्पाद प्रबंधक उत्पाद के लिए एक छोटी लेकिन स्थिर आय को जोखिम में डालने के लिए तैयार नहीं हैं। कुछ विचार-विमर्श के बाद, वह A / B परीक्षण के माध्यम से फीचर लॉन्च करने का सुझाव देता है और यह देखता है कि क्या यह बंद हो जाएगा और उपयोगकर्ता प्रतियोगियों के पास नहीं जाएंगे।

हमने पहले ए / बी परीक्षण नहीं किया था, इसलिए सबसे पहले हम सीखते हैं कि वे क्या हैं। विकिपीडिया कहता है: “ए / बी परीक्षण एक विपणन अनुसंधान विधि है , जिसका सार यह है कि तत्वों के नियंत्रण समूह की तुलना परीक्षण समूहों के एक सेट से की जाती है जिसमें एक या एक से अधिक संकेतक बदल दिए गए हैं ताकि पता लगाया जा सके कि कौन सा लक्ष्य में सुधार करें"। यह पता चला है कि हमें एक अध्ययन करने की आवश्यकता है जिसमें एक नियंत्रण समूह, कम से कम एक परीक्षण समूह और एक लक्ष्य संकेतक होना चाहिए।

परीक्षण समूह के लिए, हम भुगतान पृष्ठ का एक वैकल्पिक संस्करण दिखाएंगे। उस पर, हम पाठ को बदलना चाहते हैं, छूट को उजागर करते हैं, चित्र को प्रतिस्थापित करते हैं - और यह सब यूरेशिया के उपयोगकर्ताओं के लिए है, ताकि आप और अधिक खरीद सकें। और अमेरिका के उपयोगकर्ताओं के लिए, हम कुछ भी बदलना नहीं चाहते हैं।

हमारे पास लक्ष्य होंगे। चलो बुनियादी ले:

ARPU (प्रति उपयोगकर्ता औसत राजस्व) - लाभ जो हम उपयोगकर्ता से औसतन प्राप्त करेंगे;
भुगतान पृष्ठ पर CTA (कॉल टू एक्शन) तत्वों - बटन और लिंक पर क्लिक की संख्या।

तकनीकी कार्य

एक ही समय में पृष्ठ पर तीन तत्वों को बदलने की योजना है: छूट की जानकारी के साथ पाठ, बटन और छवि।

यह समझना काफी मुश्किल होगा कि इनमें से कौन सा बदलाव एक साथ परीक्षण किए जाने पर परिणाम को प्रभावित करता है। शायद नया पाठ उपयोगकर्ताओं को दोहराएगा और खरीद की संख्या में कमी लाएगा, लेकिन छूट को उजागर करने से इसमें वृद्धि होगी: परिणामस्वरूप, हमें शून्य मिलता है। विकास के संसाधन बर्बाद हो जाएंगे और काम की परिकल्पना को खारिज कर दिया जाएगा।

इसलिए, हम ऐसा नहीं करेंगे। हम परीक्षण के लिए केवल एक परिवर्तन छोड़ देंगे - छूट का आवंटन।

पहले परीक्षण

योजना यह है: हम उपयोगकर्ताओं को दो समान समूहों में विभाजित करते हैं और परिणाम की प्रतीक्षा करते हैं। जब हम इसे प्राप्त करते हैं, तो हम नियंत्रण और परीक्षण समूहों में संकेतकों की तुलना करेंगे।

सब कुछ बहुत सरल दिखता है: हम उपयोगकर्ताओं को समान और विषम में विभाजित करते हैं और फिर आंकड़ों को देखते हैं।

हम कोड लिखते हैं:

if (userId % 2 == 1) {
    showNewAwesomeFeature();
}

हम कुछ हफ़्ते के लिए तत्पर हैं: परिणाम आश्चर्यजनक हैं! ARPU में 100% की वृद्धि! लोग क्लिक करते हैं, भुगतान करते हैं, उत्पाद प्रबंधक जल्दी से बदलाव को पूरा करने के लिए कहता है।

हम इसे चालू करते हैं, कुछ हफ़्ते बीत जाते हैं, लेकिन कोई नतीजा नहीं निकलता है। कुल लाभ नहीं बढ़ा है।

हम क्या गलत कर रहे हैं?

हम एक परीक्षण समूह का चयन करते हैं

हमने उपयोगकर्ताओं को केवल दो समान समूहों में विभाजित किया और परीक्षण चलाया, लेकिन आप ऐसा नहीं कर सकते। आखिरकार, यूरेशिया के उपयोगकर्ताओं के लिए कुछ बदल गया है। और हमारे पास अमेरिका के उपयोगकर्ताओं की तुलना में बहुत कम है। इसलिए, यह पता चला कि अमेरिका से उपयोगकर्ता गतिविधि में अचानक वृद्धि ने हमारे परीक्षण के परिणामों को प्रभावित किया, हालांकि वास्तव में वे सबसे अच्छे नहीं थे।

निष्कर्ष: हमेशा परीक्षण समूह में केवल उन उपयोगकर्ताओं का चयन करें जिनके लिए परिवर्तन लागू किया गया है।

चलो हमारे कोड को ठीक करें:

if (user.continent === ‘eurasia’ && userId % 2 == 1) {
    showNewAwesomeFeature();
}

अब सब कुछ काम करना चाहिए जैसा कि यह होना चाहिए! परीक्षण चलाएं। हम कुछ हफ़्ते का इंतज़ार कर रहे हैं।

हो गई! ARPU 80% ऊपर है! सभी उपयोगकर्ताओं के लिए परिवर्तन रोल आउट करें।

और ... समय की इसी अवधि के बाद, ग्राफ़ फिर से उस तरह से नहीं दिखता है जैसा हमने योजना बनाई थी।

सांख्यिकीय महत्व की गणना करें

परीक्षण को केवल "कुछ हफ़्ते के बाद" नहीं रोका जा सकता है: प्राप्त परिणाम गलत हो सकते हैं। कम मीट्रिक जो हम अनुसरण कर रहे हैं, वह बदल गया है, और कम लोग परीक्षण में भाग लेते हैं, अधिक संभावना है कि यह यादृच्छिक हो।

इस संभावना की गणना की जा सकती है। इसे निरूपित करने वाले मान को पी-मान कहा जाता है। मैं आपको बताता हूं कि यह कैसे काम करता है।

किसी भी परीक्षण का संचालन करते समय, यादृच्छिक परिणाम प्राप्त करने का एक मौका होता है। उदाहरण के लिए, साइट पर जाने वाले उपयोगकर्ता असमान रूप से वितरित किए जा सकते हैं - और पूरे भुगतान करने वाले दर्शक समूह में से एक में गिर जाएंगे। वास्तविक परीक्षणों में, मेट्रिक्स में अंतर आमतौर पर इतना बड़ा नहीं होता है: रेखांकन पर किसी समस्या को नोटिस करना मुश्किल या असंभव भी होता है, और सांख्यिकीय परीक्षणों से इसे दूर नहीं किया जा सकता है। विशेष रूप से, हमें संभावना को ठीक करने की आवश्यकता हैपहली और दूसरी तरह की त्रुटियां - दूसरे शब्दों में, परिवर्तन की संभावना जहां वे मौजूद नहीं हैं, और, इसके विपरीत, यदि वे मौजूद नहीं हैं, तो उन्हें खोजने की संभावना नहीं है। मीट्रिक और स्थापित संभावनाओं के मूल्य के आधार पर, हमें विभिन्न उपयोगकर्ताओं की आवश्यकता होगी।

आप ऑनलाइन कैलकुलेटर का उपयोग करके इसकी गणना कर सकते हैं : मॉनिटर किए गए मेट्रिक्स के वर्तमान और लक्ष्य मानों को निर्दिष्ट करें - आपको परीक्षण के लिए आवश्यक उपयोगकर्ताओं की संख्या मिलती है, और इसके विपरीत।

वर्तमान मूल्य के सापेक्ष 10% पर परिवर्तन और 0.2% पर परिवर्तन की गणना।

अब हमें सभी आवश्यक डेटा प्राप्त हो गए हैं और हम समझते हैं कि परीक्षण कब रोकना है। कोई और बाधा नहीं है।

चलो हमारे ए / बी परीक्षण चलाते हैं और परिणामों को देखते हैं।

इस बार, परिणाम सच्चाई की तरह अधिक हैं, लेकिन अभी भी उत्कृष्ट हैं: एआरपीयू में 55% की वृद्धि।

हम परीक्षण रोकते हैं, परीक्षण समूह को बिल्कुल लागू करते हैं। और ... मेट्रिक्स फिर से गिर रहे हैं। क्यों?

उपयोगकर्ताओं की संख्या की जाँच करें

आइए जानें कि परीक्षण के दौरान कितने उपयोगकर्ता वास्तव में हमारी साइट पर आए थे। लॉग्स को देखते हुए, हमारे परीक्षण समूहों का केवल 10%, लेकिन हमने इसे ध्यान में नहीं रखा।

यदि आपका DAU (प्रति दिन अद्वितीय उपयोगकर्ताओं की संख्या) 1000 लोग हैं, तो इसका मतलब यह नहीं है कि दस दिनों में आपके पास परीक्षण में 10,000 उपयोगकर्ता होंगे। परीक्षण (परीक्षण हिट) के लिए हमेशा वास्तविक हिट लॉग करें और केवल उन्हें गिनें।

हम साधारण तर्क को लागू करते हैं। साइट पर जाने वाले प्रत्येक उपयोगकर्ता के लिए, हम ए / बी परीक्षण और नियंत्रण समूह के नाम के साथ सर्वर को अनुरोध भेजते हैं। इसकी बदौलत, हमें पता चल जाएगा कि कितने उपयोगकर्ता हमसे मिले हैं, और हमसे कोई गलती नहीं हुई है।

हम ए / बी परीक्षण शुरू करते हैं।

परिणाम बेहतरीन हैं। हम फिर से अधिक पैसा कमाते हैं! हम सभी के लिए अपने परीक्षण को चालू करते हैं - और कुछ फिर से गलत हो जाता है: कुछ हफ़्ते के बाद, मीट्रिक फिर से अनुमानित से कम है।

याद रखें, हमने साइट पर आने वाले सभी उपयोगकर्ताओं के लिए हिट भेजना शुरू कर दिया है? कभी मत करो। हिट केवल उन उपयोगकर्ताओं को भेजा जाना चाहिए जिन्होंने संसाधन के परीक्षण किए गए भाग के साथ बातचीत की। और जितना अधिक आप उन्हें सही ढंग से परिभाषित करेंगे, उतना बेहतर होगा।

सौभाग्य से, यह सत्यापित करना आसान है। ऐसा करने के लिए, आप ए / ए / बी परीक्षण कर सकते हैं। यह ए / बी परीक्षण की तरह दिखता है, लेकिन इस मामले में आपके पास दो नियंत्रण समूह और एक परीक्षण समूह है। इसकी आवश्यकता क्यों है? यदि हिट भेजने का क्षण गलत तरीके से चुना गया था, तो साइट के परीक्षण किए गए भाग के साथ बातचीत नहीं करने वाले उपयोगकर्ता परीक्षण में गिर जाएंगे। इस मामले में, समूह ए और ए में मैट्रिक्स में बड़े अंतर होंगे, और आप तुरंत समझ सकते हैं कि कुछ गलत है।

हम ए / ए / बी परीक्षण शुरू करते हैं।

समूह बी में, उपयोगकर्ताओं के 50% को छोड़ दें, और शेष 50% को समान रूप से समूह ए और ए के बीच विभाजित करें (हम उन्हें नियंत्रण और control_check कहते हैं)। हां, परिणामों को अधिक समय तक इंतजार करना होगा, लेकिन क्या समूहों ए और ए के परिणाम अभिसरण करते हैं, आप समझेंगे कि क्या हिट सही तरीके से भेजा गया है।

परिणाम मामूली (केवल 20% की वृद्धि) हैं, लेकिन यथार्थवादी हैं। चलो बदलाव को बिल्कुल रोल करें।

सब कुछ पूरी तरह से काम करता है!

लेकिन एक महीने के बाद, मेट्रिक्स फिर से गिर गया।

परीक्षण हम क्या नियंत्रित कर सकते हैं

यह पता चलता है कि हमारे तीसरे पक्ष के बिलिंग ने भी अपना ए / बी परीक्षण किया, जिसने हमारे परिणामों को सीधे प्रभावित किया। इसलिए, हमेशा उत्पादन पर परिणामों का पालन करें और परीक्षण करने का प्रयास करें कि आप पूर्ण रूप से क्या नियंत्रित करते हैं।

संपूर्ण

ए / बी परीक्षण उत्पाद को बढ़ने में मदद कर सकते हैं। लेकिन परीक्षणों पर भरोसा करने के लिए, उन्हें सही तरीके से संचालित करना और हमेशा परिणामों की जांच करना महत्वपूर्ण है। यह दृष्टिकोण आपको अपने उत्पाद को गुणात्मक रूप से परीक्षण करने और सभी मेट्रिक्स को छोड़ने से पहले परिकल्पना का परीक्षण करने की अनुमति देगा।

हमेशा लक्ष्य समूह की जांच करें।
हिट जमा करें।
सही हिट्स भेजें।
परीक्षण करें कि आप पूर्ण में क्या नियंत्रित करते हैं।
/-!

चिंता को कैसे रोकें और ए / बी परीक्षणों में विश्वास करना शुरू करें