🐁 🤦 🎻 ए / बी परीक्षण के सांख्यिकीय महत्व की गणना करते समय हम क्या ध्यान देते हैं 👨🏾‍🍳 👨🏻‍💼 💫

Uchi.ru में हम ए / बी परीक्षण के साथ छोटे सुधारों को भी पूरा करने की कोशिश करते हैं, इस शैक्षणिक वर्ष के दौरान उनमें से 250 से अधिक थे। ए / बी परीक्षण एक शक्तिशाली परिवर्तन परीक्षण उपकरण है, जिसके बिना इंटरनेट उत्पाद के सामान्य विकास की कल्पना करना मुश्किल है। इसी समय, स्पष्ट सादगी के बावजूद, ए / बी परीक्षण करते समय, प्रयोग के डिजाइन चरण और परिणामों को संक्षेप में दोनों में गंभीर त्रुटियां की जा सकती हैं। इस लेख में मैं परीक्षण के कुछ तकनीकी पहलुओं के बारे में बात करूंगा: हम परीक्षण की अवधि कैसे निर्धारित करते हैं, सारांशित करते हैं और कैसे गलत परिणामों से बचने के लिए जब परीक्षणों को समय से पहले पूरा किया जाता है और जब एक साथ कई परिकल्पनाओं का परीक्षण करते हैं।

हमारे लिए एक विशिष्ट ए / बी परीक्षण योजना (और कई के लिए) इस तरह दिखाई देती है:

हम एक विशेषता विकसित कर रहे हैं, लेकिन इसे पूरे दर्शकों के लिए रोल आउट करने से पहले, हम यह सुनिश्चित करना चाहते हैं कि यह लक्ष्य मीट्रिक को बेहतर बनाता है, उदाहरण के लिए, सगाई।
हम उस अवधि का निर्धारण करते हैं जिसके लिए परीक्षण लॉन्च किया गया है।
हम उपयोगकर्ताओं को यादृच्छिक रूप से दो समूहों में विभाजित करते हैं।
हम एक समूह को सुविधाओं (प्रयोगात्मक समूह) के साथ उत्पाद संस्करण दिखाते हैं, दूसरा - पुराना वाला (नियंत्रण)।
इस प्रक्रिया में, हम समय में एक विशेष रूप से असफल परीक्षा को रोकने के लिए मीट्रिक की निगरानी करते हैं।
परीक्षण समाप्त होने के बाद, हम प्रयोगात्मक और नियंत्रण समूहों में मीट्रिक की तुलना करते हैं।
यदि प्रायोगिक समूह में मीट्रिक नियंत्रण समूह की तुलना में सांख्यिकीय रूप से काफी बेहतर है, तो हम परीक्षण की गई सुविधा को पूरी तरह से रोल आउट कर देते हैं। यदि कोई सांख्यिकीय महत्व नहीं है, तो हम परीक्षण को नकारात्मक परिणाम के साथ समाप्त करते हैं।

सब कुछ तार्किक और सरल दिखता है, शैतान, हमेशा की तरह, विवरण में।

सांख्यिकीय महत्व, मानदंड और त्रुटियां

किसी भी ए / बी परीक्षण में यादृच्छिकता का एक तत्व है: समूह मैट्रिक्स न केवल उनकी कार्यक्षमता पर निर्भर करता है, बल्कि यह भी कि उपयोगकर्ताओं को उन पर क्या मिला और वे कैसे व्यवहार करते हैं। किसी समूह की श्रेष्ठता के बारे में निष्कर्ष निकालने के लिए, आपको परीक्षण में पर्याप्त टिप्पणियों को इकट्ठा करने की आवश्यकता है, लेकिन फिर भी आप गलतियों से मुक्त नहीं हैं। वे दो प्रकार से प्रतिष्ठित हैं:

पहले प्रकार की गलती तब होती है जब हम समूहों के बीच के अंतर को ठीक करते हैं, हालांकि वास्तव में यह मौजूद नहीं है। पाठ में एक समतुल्य शब्द भी होगा - एक गलत सकारात्मक परिणाम। लेख सिर्फ ऐसी त्रुटियों के लिए समर्पित है।
दूसरी तरह की गलती तब होती है जब हम एक अंतर की अनुपस्थिति को ठीक करते हैं, हालांकि वास्तव में यह है।

बड़ी संख्या में प्रयोगों के साथ, यह महत्वपूर्ण है कि पहली तरह की त्रुटि की संभावना कम हो। इसे सांख्यिकीय विधियों का उपयोग करके नियंत्रित किया जा सकता है। उदाहरण के लिए, हम चाहते हैं कि प्रत्येक प्रयोग में पहली तरह की त्रुटि की संभावना 5% से अधिक न हो (यह सिर्फ एक सुविधाजनक मूल्य है, आप अपनी जरूरतों के लिए दूसरा ले सकते हैं)। फिर हम 0.05 के महत्व स्तर पर प्रयोग करेंगे:

नियंत्रण समूह ए और प्रायोगिक समूह बी के साथ ए / बी परीक्षण है। लक्ष्य यह सत्यापित करना है कि समूह बी कुछ मीट्रिक में समूह ए से अलग है।
हम शून्य सांख्यिकीय परिकल्पना तैयार करते हैं: समूह ए और बी अलग नहीं हैं, और मनाया मतभेद शोर द्वारा समझाया गया है। डिफ़ॉल्ट रूप से, हम हमेशा सोचते हैं कि इसके विपरीत साबित होने तक कोई अंतर नहीं है।
हम एक सख्त गणितीय नियम के साथ परिकल्पना की जांच करते हैं - एक सांख्यिकीय मानदंड, उदाहरण के लिए, छात्र की कसौटी।
नतीजतन, हम पी-मूल्य प्राप्त करते हैं। यह 0 से 1 तक की सीमा में है और इसका मतलब है कि समूहों के बीच वर्तमान या अधिक चरम अंतर को देखने की संभावना है, बशर्ते कि नल की परिकल्पना सच है, अर्थात, समूहों के बीच अंतर के अभाव में।
पी-मूल्य की तुलना 0.05 के महत्व स्तर से की जाती है। यदि यह बड़ा है, तो हम अशक्त परिकल्पना को स्वीकार करते हैं कि कोई मतभेद नहीं हैं, अन्यथा हम मानते हैं कि समूहों के बीच सांख्यिकीय रूप से महत्वपूर्ण अंतर है।

एक परिकल्पना को एक पैरामीट्रिक या गैर-पैरामीट्रिक मानदंड के साथ परीक्षण किया जा सकता है। पैरामीट्रिक वाले यादृच्छिक चर के नमूना वितरण के मापदंडों पर भरोसा करते हैं और अधिक शक्ति रखते हैं (कम बार वे दूसरी तरह की गलतियां करते हैं), लेकिन वे अध्ययन के तहत यादृच्छिक चर के वितरण पर आवश्यकताएं लगाते हैं।

सबसे आम पैरामीट्रिक परीक्षण छात्र का परीक्षण है। दो स्वतंत्र नमूनों (ए / बी परीक्षण मामले) के लिए, इसे कभी-कभी वेल्च मानदंड कहा जाता है। यह मानदंड सही ढंग से काम करता है यदि अध्ययन की गई मात्रा सामान्य रूप से वितरित की जाती है। ऐसा लग सकता है कि वास्तविक आंकड़ों पर यह आवश्यकता लगभग पूरी तरह से संतुष्ट नहीं है, लेकिन वास्तव में परीक्षण के लिए नमूने के सामान्य वितरण की आवश्यकता होती है, न कि नमूनों की। व्यवहार में, इसका मतलब है कि मानदंड लागू किया जा सकता है यदि आपके पास अपने परीक्षण (दसियों से सैकड़ों) में बहुत सारी टिप्पणियां हैं और वितरण में बहुत लंबी पूंछ नहीं हैं। प्रारंभिक अवलोकनों के वितरण की प्रकृति महत्वहीन है। पाठक स्वतंत्र रूप से यह सत्यापित कर सकता है कि बर्नौली या घातीय वितरण से उत्पन्न नमूनों पर भी छात्र की कसौटी सही ढंग से काम करती है।

नॉनपामेट्रिक मानदंड में से, मैन-व्हिटनी मानदंड लोकप्रिय है। इसका उपयोग किया जाना चाहिए यदि आपके नमूने बहुत छोटे हैं या बड़े आउटलेयर हैं (विधि की तुलना मध्यस्थों से की जाती है, इसलिए यह आउटलेयर के लिए प्रतिरोधी है)। इसके अलावा, कसौटी पर सही ढंग से काम करने के लिए, नमूनों में कुछ मिलान मूल्य होना चाहिए। व्यवहार में, हमें कभी भी गैर-पैरामीटर मानदंडों को लागू नहीं करना पड़ा, हमारे परीक्षणों में हम हमेशा छात्र मानदंड का उपयोग करते हैं।

एकाधिक परिकल्पना परीक्षण की समस्या

सबसे स्पष्ट और सरल समस्या: यदि परीक्षण में, नियंत्रण समूह के अलावा, कई प्रयोगात्मक हैं, तो 0.05 के महत्व स्तर के साथ परिणामों को जोड़ दें, पहले प्रकार की त्रुटियों के अनुपात में कई वृद्धि होगी। ऐसा इसलिए है, क्योंकि सांख्यिकीय मानदंड के प्रत्येक आवेदन के साथ, पहली तरह की त्रुटि की संभावना 5% होगी। समूहों की संख्या के साथ

n g r o u p s

$ngroups$ और महत्व स्तर

α

$\alpha$ संभावना है कि कुछ प्रायोगिक समूह संयोग से जीतेंगे:

P (a n y f a l s e p o s i t i v e) = 1 - (1 - α)^{n g r o u p s}

$P(any\ false\ positive) = 1 − (1 − \alpha) ^ {ngroups}$

उदाहरण के लिए, तीन प्रयोगात्मक समूहों के लिए हमें अपेक्षित 5% के बजाय 14.3% मिलता है। समस्या का हल बोनफ्रोनी द्वारा कई परिकल्पना परीक्षण के लिए किया जाता है: आपको केवल तुलनात्मक स्तर (यानी समूह) की संख्या से महत्व स्तर को विभाजित करने और इसके साथ काम करने की आवश्यकता है। उपरोक्त उदाहरण के लिए, महत्व स्तर, संशोधन को ध्यान में रखते हुए, 0.05 / 3 = 0.0167 होगा और पहली तरह की कम से कम एक त्रुटि की संभावना 4.9% स्वीकार्य होगी।

पहाड़ी विधि - बोनफेरोनी

— , , , .

n g r o u p s

$ngroups$ p-value ,

s t e p_n u m b e r

$step\_number$ :

α_{s t e p} = \frac{α}{n g r o u p s - s t e p_n u m b e r + 1}

$\alpha_{step} = \frac {\alpha} {ngroups − step\_number + 1}$

P-value

α / n g r o u p s

$\alpha/ngroups$ . , p-value

α / (n g r o u p s - 1)

$\alpha/(ngroups − 1)$ , . - , . ( , ) p-value, . A/B- — , — .

सख्ती से बोलना, विभिन्न मैट्रिक्स या दर्शकों की कटौती से समूह की तुलना भी कई परीक्षण की समस्या के अधीन हैं। औपचारिक रूप से, सभी चेक को ध्यान में रखना काफी मुश्किल है, क्योंकि उनकी संख्या अग्रिम में भविष्यवाणी करना मुश्किल है और कभी-कभी वे स्वतंत्र नहीं होते हैं (विशेषकर जब यह अलग-अलग मैट्रिक्स की बात आती है, तो स्लाइस नहीं)। कोई सार्वभौमिक नुस्खा नहीं है, सामान्य ज्ञान पर भरोसा करें और याद रखें कि यदि आप विभिन्न मैट्रिक्स का उपयोग करके बहुत सारे स्लाइस की जांच करते हैं, तो किसी भी परीक्षण में आप सांख्यिकीय रूप से महत्वपूर्ण परिणाम देख सकते हैं। इसलिए, एक व्यक्ति को सावधान रहना चाहिए, उदाहरण के लिए, बड़े शहरों से नए मोबाइल उपयोगकर्ताओं के पांचवें दिन की अवधारण में महत्वपूर्ण वृद्धि।

झाँकने की समस्या

कई परिकल्पना परीक्षण का एक विशेष मामला झांकने की समस्या है। मुद्दा यह है कि परीक्षण के दौरान पी-मूल्य गलती से स्वीकृत महत्व स्तर से नीचे आ सकता है। यदि आप सावधानीपूर्वक प्रयोग की निगरानी करते हैं, तो आप इस क्षण को पकड़ सकते हैं और सांख्यिकीय महत्व के बारे में गलती कर सकते हैं।

मान लीजिए कि हम पोस्ट की शुरुआत में वर्णित परीक्षण सेटअप से दूर चले गए और हर दिन 5% के महत्व के स्तर पर स्टॉक लेने का फैसला किया (या परीक्षण के दौरान सिर्फ एक बार से अधिक)। संक्षेप में, मैं समझता हूं कि परीक्षण सकारात्मक है यदि पी-मान 0.05 से नीचे है, और इसकी निरंतरता अन्यथा। इस रणनीति के साथ, झूठे-सकारात्मक परिणामों की हिस्सेदारी चेक की संख्या के लिए आनुपातिक होगी और पहले महीने में 28% तक पहुंच जाएगी। इतना बड़ा अंतर काउंटरिंटिवेटिव लगता है, इसलिए हम ए / ए परीक्षणों की कार्यप्रणाली की ओर मुड़ते हैं, जो ए / बी परीक्षण योजनाओं के विकास के लिए अपरिहार्य है।

A / A परीक्षण का विचार सरल है: यादृच्छिक समूहीकरण के साथ यादृच्छिक डेटा पर बहुत सारे A / B परीक्षणों का अनुकरण करना। समूहों के बीच स्पष्ट रूप से कोई अंतर नहीं है, इसलिए आप अपनी ए / बी परीक्षण योजना में पहली तरह की त्रुटियों के अनुपात का सटीक अनुमान लगा सकते हैं। नीचे दिए गए gif से पता चलता है कि इस तरह के चार परीक्षणों के लिए पी-वैल्यू दिन-ब-दिन कैसे बदलता है। एक समान 0.05 महत्व स्तर को धराशायी रेखा द्वारा दर्शाया गया है। जब पी-मूल्य नीचे गिरता है, तो हम परीक्षण साजिश को लाल रंग में रंगते हैं। यदि इस समय परीक्षण के परिणामों को संक्षेप में प्रस्तुत किया गया था, तो इसे सफल माना जाएगा।

इसी तरह, हम एक महीने तक चलने वाले 10 हजार ए / ए-परीक्षणों की गणना करते हैं और इस योजना के झूठे-सकारात्मक परिणामों की तुलना कार्यकाल के अंत में और हर दिन करते हैं। स्पष्टता के लिए, यहां पहले 100 सिमुलेशन के लिए दिन-प्रतिदिन भटकने वाले पी-वैल्यू हैं। प्रत्येक पंक्ति एक परीक्षण का पी-मूल्य है, परीक्षणों के प्रक्षेपवक्र लाल रंग में हाइलाइट किए जाते हैं, जिसके परिणामस्वरूप, गलती से सफल (कम, बेहतर) माना जाता है, परीक्षण को सफल मानने के लिए धराशायी लाइन आवश्यक पी-मूल्य है।

ग्राफ पर, आप 7 झूठे-सकारात्मक परीक्षण गिन सकते हैं, और कुल मिलाकर 10 हजार में 502, या 5% थे। यह ध्यान दिया जाना चाहिए कि टिप्पणियों के दौरान कई परीक्षणों का पी-मूल्य 0.05 से नीचे गिर गया, लेकिन टिप्पणियों के अंत तक महत्व स्तर से परे चला गया। अब हर दिन एक डीब्रीफिंग के साथ परीक्षण योजना का मूल्यांकन करते हैं:

इतनी लाल रेखाएँ हैं कि कुछ भी स्पष्ट नहीं है। जैसे ही उनका पी-वैल्यू एक महत्वपूर्ण मूल्य तक पहुंचता है, हम परीक्षण लाइनों को तोड़

देंगे : 10 हजार, या 28% में से कुल 2813 झूठे सकारात्मक परीक्षण होंगे। यह स्पष्ट है कि ऐसी योजना व्यवहार्य नहीं है।

हालांकि झाँकने की समस्या कई परीक्षण का एक विशेष मामला है, यह मानक सुधार (बोनफेरोनी और अन्य) लागू करने के लिए सार्थक नहीं है क्योंकि वे अत्यधिक रूढ़िवादी हो जाएंगे। नीचे दिया गया ग्राफ़ परीक्षण किए गए समूहों (लाल रेखा) और झाँकने की संख्या (हरी रेखा) के आधार पर झूठे सकारात्मक परिणामों का प्रतिशत दिखाता है।

हालाँकि अनंत में और झाँकने पर हम 1 के करीब आते हैं, त्रुटियों का अनुपात बहुत धीरे-धीरे बढ़ता है। ऐसा इसलिए है क्योंकि इस मामले में तुलना अब स्वतंत्र नहीं है।

बायेसियन दृष्टिकोण और झाँकने की समस्या

, A/B- . , . .

प्रारंभिक परीक्षण के तरीके

ऐसे परीक्षण विकल्प हैं जो आपको समय से पहले परीक्षण करने की अनुमति देते हैं। मैं आपको उनमें से दो के बारे में बताता हूं: निरंतर स्तर के महत्व (पोकॉक सुधार) और झाँकने की संख्या (ओ-ब्रायन-फ्लेमिंग सुधार) पर निर्भर। सख्ती से बोलना, दोनों सुधारों के लिए आपको पहले से अधिकतम परीक्षण अवधि और परीक्षण की शुरुआत और समाप्ति के बीच जांच की संख्या जानना आवश्यक है। इसके अलावा, चेक लगभग समय के बराबर अंतराल (या समान मात्रा में टिप्पणियों) पर होने चाहिए।

पोकॉक

विधि यह है कि हम हर दिन परीक्षणों के परिणामों को संक्षिप्त करते हैं, लेकिन महत्व के कम (अधिक कठोर) स्तर के साथ। उदाहरण के लिए, यदि हम जानते हैं कि हम 30 से अधिक चेक नहीं करेंगे, तो महत्व स्तर 0.006 के बराबर सेट किया जाना चाहिए (मोंटे कार्लो विधि का उपयोग करके झांकियों की संख्या के आधार पर चयन किया जाता है, अर्थात अनुभवजन्य रूप से)। हमारे सिमुलेशन में, हमें 4% गलत सकारात्मक परिणाम मिलते हैं - जाहिर है, दहलीज को बढ़ाया जा सकता है।

स्पष्ट अनुभवहीनता के बावजूद, कुछ बड़ी कंपनियां इस विशेष पद्धति का उपयोग करती हैं। यदि आप संवेदनशील मीट्रिक और बहुत अधिक ट्रैफ़िक पर निर्णय लेते हैं तो यह बहुत सरल और विश्वसनीय है। उदाहरण के लिए, एविटो में, डिफ़ॉल्ट रूप से , महत्व स्तर 0.005 पर सेट है ।

ओ ब्रायन-फ्लेमिंग

इस पद्धति में, सत्यापन स्तर के आधार पर महत्व स्तर भिन्न होता है। परीक्षण में चरणों की संख्या (या झलक) को पहले से निर्धारित करना और उनमें से प्रत्येक के लिए महत्व स्तर की गणना करना आवश्यक है। जितनी जल्दी हम परीक्षण पूरा करने की कोशिश करेंगे, उतने ही कड़े मापदंड लागू किए जाएंगे। छात्र आँकड़े थ्रेसहोल्ड

Z_{s t e p}

$Z_{step}$ (अंतिम चरण में मूल्य सहित

Z_{l a s t_s t e p}

$Z_{last\_step}$ ) वांछित महत्व स्तर के अनुरूप सत्यापन संख्या पर निर्भर करता है

s t e p_n u m b e r

$step\_number$ (चेक की कुल संख्या 1 से मान लेता है

t o t a l_s t e p s

$total\_steps$ समावेशी) और अनुभवजन्य रूप से प्राप्त सूत्र के अनुसार गणना की जाती है:

Z_{l a s t_s t e p} = 2.2471 + \frac{0.3373}{t o t a l_s t e p s} - \frac{0.6331}{\sqrt{t o t a l_s t e p s}} Z_{s t e p} = Z_{l a s t_s t e p} \sqrt{\frac{t o t a l_s t e p s}{s t e p_n u m b e r}}

$Z_{last\_step} = 2.2471 + \frac {0.3373} {total\_steps} − \frac {0.6331} {\sqrt {total\_steps}} \\ Z_{step} = Z_{last\_step} \ {\sqrt { \frac {total\_steps} {step\_number}}}$

ऑड कोड

from sklearn.linear_model import LinearRegression
from sklearn.metrics import explained_variance_score
import matplotlib.pyplot as plt

# datapoints from https://www.aarondefazio.com/tangentially/?p=83
total_steps = [
    2, 3, 4, 5, 6, 8, 10, 15, 20, 25, 30, 50, 60
]
last_z = [
    1.969, 1.993, 2.014, 2.031, 2.045, 2.066, 2.081, 
    2.107, 2.123, 2.134, 2.143, 2.164, 2.17
]
features = [
    [1/t, 1/t**0.5] for t in total_steps
]
lr = LinearRegression()
lr.fit(features, last_z)
print(lr.coef_)  # [ 0.33729346, -0.63307934]
print(lr.intercept_)  # 2.247105015502784
print(explained_variance_score(lr.predict(features), last_z))  # 0.999894

total_steps_extended = np.arange(2, 80)
features_extended = [ [1/t, 1/t**0.5] for t in total_steps_extended ]
plt.plot(total_steps_extended, lr.predict(features_extended))
plt.scatter(total_steps, last_z, s=30, color='black')
plt.show()

प्रासंगिक महत्व स्तर की गणना प्रतिशतक के माध्यम से की जाती है

p e r c

$perc$ छात्र आँकड़ों के मूल्य के अनुरूप मानक वितरण

Z

$Z$ :

perc = scipy.stats.norm.cdf(Z)
pval_thresholds = (1 − perc) * 2

समान सिमुलेशन पर, यह इस तरह दिखता है:

गलत-सकारात्मक परिणाम 10 हजार में से 501 थे, या अपेक्षित 5% थे। कृपया ध्यान दें कि महत्व स्तर अंत में भी 5% के मूल्य तक नहीं पहुंचता है, क्योंकि इन 5% को सभी जांचों द्वारा "स्मियर" किया जाना चाहिए। कंपनी में, हम इस सुधार का उपयोग करते हैं यदि हम एक प्रारंभिक रोक की संभावना के साथ एक परीक्षण चलाते हैं। आप यहाँ उसी और अन्य संशोधनों के बारे में पढ़ सकते हैं ।

अनुकूलन विधि

Optimizely , , . , . , . O'Brien-Fleming’a .

ए / बी टेस्ट कैलकुलेटर

हमारे उत्पाद की बारीकियां ऐसी हैं कि किसी भी मीट्रिक का वितरण परीक्षण के दर्शकों (उदाहरण के लिए, वर्ग संख्या) और वर्ष के समय के आधार पर भिन्न होता है। इसलिए, "जब प्रत्येक समूह में 1 मिलियन उपयोगकर्ता टाइप किए जाते हैं" या "हल किए गए कार्यों की संख्या 100 मिलियन तक पहुंच जाती है, तो परीक्षण समाप्त हो जाएगा" की भावना से परीक्षण की अंतिम तिथि के लिए नियमों को स्वीकार करना संभव नहीं होगा। यही है, यह काम करेगा, लेकिन व्यवहार में, इसके लिए, कई कारकों को ध्यान में रखना आवश्यक होगा:

परीक्षा में कौन से वर्ग आते हैं;
परीक्षण शिक्षकों या छात्रों को वितरित किया जाता है;
शैक्षणिक वर्ष का समय;
सभी उपयोगकर्ताओं के लिए या केवल नए लोगों के लिए परीक्षण करें।

हालांकि, हमारी ए / बी परीक्षण योजनाओं में, आपको हमेशा अंतिम तिथि पहले से तय करनी होगी। परीक्षण की अवधि की भविष्यवाणी करने के लिए, हमने एक आंतरिक अनुप्रयोग विकसित किया - ए / बी परीक्षण कैलकुलेटर। पिछले वर्ष से चयनित सेगमेंट के उपयोगकर्ताओं की गतिविधि के आधार पर, एप्लिकेशन उस अवधि की गणना करता है जिसके लिए आपको चयनित मीट्रिक के X% में उत्थान को ठीक करने के लिए परीक्षण चलाने की आवश्यकता होती है। कई परीक्षणों के लिए सुधार को भी स्वचालित रूप से ध्यान में रखा जाता है और प्रारंभिक परीक्षण रोक के लिए सीमा स्तर की गणना की जाती है।

सभी मेट्रिक्स की गणना परीक्षण वस्तुओं के स्तर पर की जाती है। यदि मीट्रिक हल की गई समस्याओं की संख्या है, तो शिक्षक स्तर पर परीक्षण में यह उनके छात्रों द्वारा हल की गई समस्याओं का योग होगा। चूंकि हम छात्र की कसौटी का उपयोग करते हैं, हम कैलकुलेटर द्वारा आवश्यक सभी संभावित स्लाइस के लिए पूर्व-गणना कर सकते हैं। परीक्षण की शुरुआत से प्रत्येक दिन के लिए, आपको परीक्षण में लोगों की संख्या जानने की आवश्यकता है

u s e r s_c n t

$users\_cnt$ मीट्रिक का औसत मूल्य

m e t r i c_m e a n

$metric\_mean$ और इसका विचरण

m e t r i c_s t d

$metric\_std$ । नियंत्रण समूह के शेयरों को ठीक करना

c o n t r o l_g r o u p_s h a r e

$control\_group\_share$ प्रयोग करने वाला समूह

e x p_g r o u p_s h a r e

$exp\_group\_share$ और परीक्षण से अपेक्षित लाभ

u p l i f t_e x p e c t e d

$uplift\_expected$ प्रतिशत में, आप छात्र आँकड़ों के अपेक्षित मूल्यों की गणना कर सकते हैं

t t e s t_s t a t_v a l u e

$ttest\_stat\_value$ और परीक्षण के प्रत्येक दिन के लिए इसी पी-मूल्य:

t t e s t_s t a t_p r e c u r s o r = \frac{m e t r i c_m e a n \sqrt{u s e r s_c n t}}{m e t r i c_s t d} t t e s t_s t a t_v a l u e = \frac{t t e s t_s t a t_p r e c u r s o r}{\sqrt{\frac{1}{c o n t r o l_g r o u p_s h a r e} + \frac{1}{e x p_g r o u p_s h a r e}}} * u p l i f t_e x p e c t e d / 100

$ttest\_stat\_precursor = \frac{metric\_mean\ \sqrt {users\_cnt}}{metric\_std} \\ ttest\_stat\_value = \frac {ttest\_stat\_precursor} {\sqrt{ \frac{1} {control\_group\_share} + \frac {1} {exp\_group\_share}}} * uplift\_expected / 100$

अगला, प्रत्येक दिन के लिए पी-मान प्राप्त करना आसान है:

pvalue = (1 − scipy.stats.norm.cdf(ttest_stat_value)) * 2

पी-मूल्य और महत्व स्तर को जानते हुए, परीक्षण के प्रत्येक दिन के लिए सभी सुधारों को ध्यान में रखते हुए, परीक्षण की किसी भी अवधि के लिए, आप न्यूनतम उत्थान की गणना कर सकते हैं जिसका पता लगाया जा सकता है (अंग्रेजी साहित्य में - एमडीई, न्यूनतम पता लगाने योग्य प्रभाव)। उसके बाद, उलटा समस्या को हल करना आसान है - अपेक्षित उत्थान की पहचान करने के लिए आवश्यक दिनों की संख्या निर्धारित करना।

निष्कर्ष

अंत में, मैं लेख के मुख्य संदेशों को याद करना चाहता हूं:

यदि आप समूहों में मीट्रिक के औसत मूल्यों की तुलना करते हैं, तो सबसे अधिक संभावना है, छात्र मानदंड आपके अनुरूप होगा। अपवाद अत्यंत छोटे नमूना आकार (दर्जनों अवलोकन) या असामान्य मीट्रिक वितरण (व्यवहार में, मैंने ऐसा नहीं देखा है)।
यदि परीक्षण में कई समूह हैं, तो कई परिकल्पना परीक्षण के लिए सुधार का उपयोग करें। सबसे सरल बोनफेरोनी सुधार करेगा।
.
. .
. , , , , O'Brien-Fleming.
A/B-, A/A-.

उपरोक्त सभी के बावजूद, व्यवसायिक और सामान्य ज्ञान को गणितीय कठोरता के लिए पीड़ित नहीं होना चाहिए। कभी-कभी उन सभी के लिए कार्यात्मक रोल करना संभव है जो परीक्षण में उल्लेखनीय वृद्धि नहीं दिखाते हैं, कुछ परिवर्तन अनिवार्य रूप से परीक्षण के बिना होते हैं। लेकिन अगर आप एक वर्ष में सैकड़ों परीक्षण करते हैं, तो उनका सटीक विश्लेषण विशेष रूप से महत्वपूर्ण है। अन्यथा, एक जोखिम है कि झूठे सकारात्मक परीक्षणों की संख्या वास्तव में उपयोगी लोगों के लिए तुलनीय होगी।

ए / बी परीक्षण के सांख्यिकीय महत्व की गणना करते समय हम क्या ध्यान देते हैं