🧑🏼‍🤝‍🧑🏼 🚶🏾 👏🏻 बुनाई परीक्षण - एबी परीक्षण की तुलना में 100 गुना तेज 🉐 👩🏻‍💻 🗣️

ए / बी परीक्षण उत्पाद प्रबंधन के मुख्य उपकरणों में से एक है, अब तक वे उत्पाद के व्यापार मैट्रिक्स पर एक विशिष्ट परिवर्तन के प्रभाव का मूल्यांकन करने के लिए अधिक विश्वसनीय और सस्ते तरीके से नहीं आए हैं, इसे अन्य सभी कारकों से अलग करते हैं।

इस लेख में मैं एक उत्पाद में परिवर्तनों के परीक्षण के एक वैकल्पिक तरीके के बारे में बात करना चाहता हूं: अंग्रेजी साहित्य में इंटरलाकिंग परीक्षण - इंटरलेइंग परीक्षण। इसके फायदे और नुकसान को प्रकट करने के लिए, हम इसे निजी तौर पर पारंपरिक ए / बी परीक्षण के साथ तुलना करेंगे, लेकिन इसलिए नहीं कि यह किसी तरह का नया, अधिक उन्नत तरीका है, जो तेज और अधिक सटीक है, और ए / बी परीक्षणों को प्रतिस्थापित करना चाहिए। यह उत्पाद प्रबंधक के लिए आवेदन के एक अलग क्षेत्र और एक अलग प्रश्न का उत्तर देने के लिए एक अतिरिक्त उपकरण है। तुलना केवल यह दिखाना आसान बनाता है कि परीक्षणों के अंतर और ताकत क्या हैं।

सारांश:

क्यों बुनाई ए / बी परीक्षण से तेज है
बुनाई परीक्षण कब कर सकते हैं?
ए / बी परीक्षण और बुनाई परिणाम के बीच अंतर क्या है
बुनाई और ए / बी परीक्षण की ताकत को कैसे संयोजित करें

क्यों बुनाई परीक्षण ए / बी परीक्षण की तुलना में बहुत तेज है

सहकर्मियों और अन्य उत्पाद प्रबंधकों को बुनाई के मूल विचार से अवगत कराने के कई प्रयासों में, मैं इस निष्कर्ष पर पहुंचा कि निम्न उदाहरण इसे सबसे अच्छा दिखाता है। संदर्भ में प्रवेश करने के लिए एक क्षण ले लो, मैं वादा करता हूं कि उदाहरण के अंत तक आप सहमत होंगे कि यह बहुत स्पष्ट है।

मान लें कि हमें यह निर्धारित करने की आवश्यकता है कि सोडा-कोला या पेप्सी के रूप में कितने पेय बेचने के लिए सोडा को हमारे बार में पेश करने की आवश्यकता है। यदि हम इस समाधान को ए / बी परीक्षण के दृष्टिकोण से देखते हैं, तो हमें दो बिल्कुल समान सलाखों को खोलना होगा जिनमें से एक में केवल कोला, दूसरे में केवल पेप्सी, और प्रत्यक्ष आगंतुकों को इनमें से एक बार में यादृच्छिक रूप से दिखाई देगा।

फिर हम उन आगंतुकों की तुलना करते हैं, जिनमें से बार ने सबसे अधिक पेय उपलब्ध कराने का आदेश दिया, और निष्कर्ष निकाला कि कौन से पेय सबसे अधिक राजस्व प्रदान करते हैं।

मुझे लगता है कि आप पहले से ही देखते हैं कि समस्या क्या है: उस बार में बहुत सारे आगंतुक जहां वे अपना पसंदीदा पेय नहीं रखते हैं, वे अभी भी वही ऑर्डर करेंगे जो वे देते हैं, क्योंकि वे अभी भी पीना चाहते हैं। और केवल बहुत कम लोग अपनी प्राथमिकताओं में इतने राजसी होंगे कि वे बिल्कुल भी नहीं पीएंगे या बहुत कम पीएंगे। बहुत महत्वपूर्ण आगंतुक पेय के लिए हमारे परीक्षण की संवेदनशीलता को कम नहीं करते हैं, क्योंकि वे वास्तव में हमें उनके व्यवहार के साथ कोई संकेत नहीं देंगे।

बुनाई द्वारा उसी समस्या को कैसे हल किया जाए? यदि हमारे पास उपयोगकर्ताओं को एक ही समय में दोनों तुलनात्मक विकल्पों की पेशकश करने की शारीरिक क्षमता है और देखें कि वे किसे पसंद करते हैं, तो हम उनकी वास्तविक प्राथमिकताओं को जल्दी से पहचान पाएंगे।

यदि हम एक बार के साथ अपने रूपक पर इंटरव्यूइंग लागू करते हैं, तो हम काउंटर पर दो नल लगाएंगे और बस यह देखेंगे कि आगंतुक किस पेय को सबसे अधिक ऑर्डर करते हैं। मुझे लगता है कि आप सहज रूप से महसूस करते हैं कि यह परीक्षण हमें बहुत तेजी से महत्वपूर्ण परिणाम देगा, क्योंकि प्रत्येक आदेश एक या दूसरे विकल्प के पक्ष में एक "वोट" होगा, जबकि ए / बी परीक्षण में केवल आदेशों की संख्या में अंतर एक संकेत है। नेटफ्लिक्स टेक ब्लॉग पर

एक लेख मेंसबूत प्रदान करता है कि ए / बी की तुलना में 100 गुना तेजी से बुनाई उपयोगकर्ता की प्राथमिकताएं निर्धारित करती है। दुर्भाग्य से, मैं बुनाई के साथ अपने व्यक्तिगत अनुभव को प्रकाशित नहीं कर सकता, लेकिन मेरे मामले में इस आकलन की पुष्टि हुई, लगभग किसी भी उचित यातायात के साथ बुनाई 24 घंटे से कम समय में एक महत्वपूर्ण परिणाम देगी। हालांकि, एक दिन से भी कम समय के लिए परीक्षण की अवधि करना अभी भी काम नहीं करता है, क्योंकि नमूना (सुबह, दोपहर और शाम के आगंतुकों के व्यवहार के अलग-अलग पैटर्न हो सकते हैं) का प्रतिनिधित्व सुनिश्चित करने के लिए आवश्यक है, हमें साप्ताहिक चक्रों को अनदेखा करें)।

बुनाई कब कर सकते हैं

प्रारंभ में, रैंकिंग परीक्षण के लिए बुनाई का आविष्कार किया गया था: यदि आपके पास वस्तुओं का एक निश्चित सेट है (ऑनलाइन स्टोर में उत्पाद, या खोज इंजन के लिए इंटरनेट पर पृष्ठों के लिंक) और आपको उन्हें सॉर्ट करने की आवश्यकता है ताकि जो उपयोगकर्ता के अनुरोध पर सबसे अधिक मेल खाते हों, वे शीर्ष पर हों।

यदि आपके पास दो रैंकिंग एल्गोरिदम हैं और आप उनकी तुलना करना चाहते हैं, तो आप उपयोगकर्ता को A या रैंकिंग B की रैंकिंग नहीं दिखा सकते हैं, लेकिन उसे एक ऐसा पृष्ठ दिखा सकते हैं, जो ऐसा दिखेगा:

A1 B1 A2 B2 A3 B3 ... और इसी तरह, जहाँ A2 - यह एल्गोरिथ्म ए की रैंकिंग द्वारा जारी की गई दूसरी पंक्ति है, और बी 3 रैंकिंग बी में तीसरी पंक्ति है। नेटफ्लिक्स टेक ब्लॉग पर

एक लेख से बुनाई का चित्रण

कार्यान्वयन की सूक्ष्मता

, ,
: , ?
,
, , A/B

हम सभी उपलब्ध ट्रैफ़िक को इस इंटरवेटेड रैंकिंग पर निर्देशित करते हैं और उत्पन्न परिणामों पर विचार करते हैं कि दोनों एल्गोरिदम में से किसने अधिक क्लिक प्राप्त किए हैं या हमें रूपांतरण फ़नल में कम लक्षित क्रियाएं प्राप्त करने की अनुमति दी है।

वास्तव में, बहुत सारे तत्व हैं जो वास्तव में उत्पादों की रैंकिंग का परिणाम हैं, मैं उदाहरण दूंगा:

साइट के मुख्य पृष्ठ पर उत्पादों की सूची या वर्गों की सूची
किसी अनुभाग के भीतर या खोज क्वेरी के जवाब में उत्पादों की सूची
समाचार संसाधन पर लेखों की सूची
"समान कार्य"
"वे भी इस उत्पाद के साथ खरीदते हैं।"
सहायता अनुभाग में लेख
तत्वों की कोई सूची: सामाजिक में मित्र। नेटवर्क, टेप में पोस्ट, पेज पर संगीत, सिनेमा में फिल्में
आदि

और इन सभी तत्वों को बुनाई का उपयोग करके परीक्षण किया जा सकता है। इंटरव्यूइंग आपको प्रति सप्ताह सिफारिशों का चयन करने के लिए नहीं एक वैकल्पिक एल्गोरिदम का परीक्षण करने की अनुमति देता है, लेकिन प्रति सप्ताह सात परिकल्पनाओं का परीक्षण करने के लिए।

ए / बी परीक्षण और बुनाई परीक्षण के बीच अंतर क्या है

जब हम A / B परीक्षण करते हैं, तो हम जिस किसी भी मीट्रिक में रुचि रखते हैं, उस पर उपयोगकर्ता अनुभव में परिवर्तन के प्रभाव को माप सकते हैं, जिसे हम एकल उपयोगकर्ता के संदर्भ में मानते हैं। रूपांतरण से बिक्री तक समर्थन कॉल की संख्या तक।

इंटरलाकिंग परीक्षण हमें केवल उन घटनाओं की तुलना करने की अनुमति देता है जो सीधे इंटरवॉवन विकल्पों में से एक पर एक क्लिक के साथ जुड़े हो सकते हैं। लेकिन यह तुलना हमें इस प्रश्न का उत्तर देने की अनुमति नहीं देती है कि "यदि हम अपने उत्पाद में A को B से प्रतिस्थापित करते हैं तो क्या होगा", क्योंकि हम नहीं जानते कि क्या होगा यदि उपयोगकर्ता केवल B की रैंकिंग देखता है। हमने एक संयोजन पर मापा जो उपयोगकर्ता के उपयोगकर्ता का एक स्वतंत्र संस्करण नहीं है। अनुभव।

इसलिए, बुनाई को कई परिकल्पनाओं के सबसे आशाजनक चयन के लिए एक प्रारंभिक चरण के रूप में उपयोग करने की सिफारिश की जाती है, जिसके लिए यह पहले से ही एक लंबा ए / बी परीक्षण आयोजित करने के लिए समझ में आता है कि यह परिवर्तन लक्ष्य मीट्रिक को कैसे प्रभावित करता है।

बहुत बार यह पता चल सकता है कि एल्गोरिथ्म के सुधार ने व्यावसायिक मीट्रिक को प्रभावित नहीं किया है, लेकिन कम से कम आप सुनिश्चित हैं कि उपयोगकर्ता अनुभव बेहतर हो गया है, और अब आप जानते हैं कि आपके द्वारा लक्षित मीट्रिक को बेहतर बनाने के प्रयासों में अनुकूलन करने के लिए कौन सा ब्लॉक सबसे अधिक संभावनाहीन है।

बुनाई की ताकत और कमजोरियां

चलो बुनाई परीक्षण के पेशेवरों और विपक्षों को संक्षेप में प्रस्तुत करते हैं।

minuses

, : - - A . , , , .
, , , A/B .
, , , , .

- ( , , . ).
( Netflix 100 , ).
. , , , , «» , .

Netflix, , 100 A/B
एक और वैज्ञानिक लेख जो स्टेटमेंट का वर्णन करता है। बुनाई (चैपल, ओ।, जोआकिम्स, टी।, रैडलिंस्की, एफ।, और यू।, वाई। 2012) द्वारा परीक्षा परिणामों की व्याख्या करने के तरीके। बड़े पैमाने पर सत्यापन और इंटरलेयड सर्च मूल्यांकन का विश्लेषण। ACM ट्रांस। Inf। सिस्ट 30। 1, अनुच्छेद 6 (फरवरी 2012)

बुनाई परीक्षण - एबी परीक्षण की तुलना में 100 गुना तेज

क्यों बुनाई परीक्षण ए / बी परीक्षण की तुलना में बहुत तेज है

बुनाई कब कर सकते हैं

ए / बी परीक्षण और बुनाई परीक्षण के बीच अंतर क्या है

बुनाई की ताकत और कमजोरियां

minuses

More articles: