कप के साथ ए / बी परीक्षणों की संवेदनशीलता में वृद्धि। यैंडेक्स में रिपोर्ट

CUPED (प्री-एक्सपेरिमेंट डेटा का उपयोग करके नियंत्रित-प्रयोग) एक ए / बी प्रयोग तकनीक है जिसका उपयोग अपेक्षाकृत हाल ही में उत्पादन में किया गया है। यह आपको पहले प्राप्त आंकड़ों के उपयोग के माध्यम से मैट्रिक्स की संवेदनशीलता को बढ़ाने की अनुमति देता है। संवेदनशीलता जितनी अधिक होगी, उतने ही सूक्ष्म परिवर्तनों को देखा जा सकता है और प्रयोग में ध्यान में रखा जा सकता है। CUPED की शुरुआत करने वाली पहली कंपनी Microsoft थी। अब कई अंतर्राष्ट्रीय फर्म इस तकनीक का उपयोग कर रहे हैं। अपनी रिपोर्ट में, Valery Babushkinvenheads समझाया गया कि CUPED का अर्थ क्या है और इसके क्या परिणाम हो सकते हैं, और इससे पहले, उन्होंने स्तरीकरण पद्धति की जांच की, जिससे संवेदनशीलता में सुधार हुआ।

https://youtu.be/pZpUM08mv-E

- मेरा नाम वलेरी बाबुश्किन है, मैं X5 रिटेल ग्रुप में मॉडलिंग और डेटा विश्लेषण का निदेशक हूं और Yandex.Market में एक सलाहकार हूं। अपने खाली समय में मैं हायर स्कूल ऑफ इकोनॉमिक्स में पढ़ाता हूं और अक्सर कजाकिस्तान जाता हूं, मैं नेशनल बैंक ऑफ कजाकिस्तान में पढ़ाता हूं।

इसके अलावा, मैं प्रतिस्पर्धी मशीन सीखने का आनंद लेता था। कागले मंच पर, मैंने एक बार 120 हजार की विश्व रैंकिंग में प्रतियोगिताओं ग्रैंड मास्टर और 23 स्थानों का खिताब हासिल किया। कागल को बहुत ही सरल तरीके से डिज़ाइन किया गया है: यदि आप प्रदर्शन नहीं करते हैं, तो आप रैंकिंग में आते हैं। इसलिए मैं कोशिश करता हूं कि वहां न जाऊं ताकि इन नंबरों को न देख सकूं।



मेरी प्रस्तुति के दो चरण होंगे: स्तरीकरण और नियंत्रण विविधताएं। सबसे अधिक संभावना है, आप जानते हैं कि ए / बी परीक्षण क्या हैं और उनकी आवश्यकता क्यों है। लेकिन हम इस फॉर्मूले को छोड़ेंगे नहीं।



ए / बी परीक्षण में, विभिन्न प्रकार के दृष्टिकोण हैं। सिद्धांत रूप में, ये आंकड़ों में दो मुख्य दृष्टिकोण हैं। उनमें से एक को आवृत्ति कहा जाता है, दूसरा बायेसियन है। कुछ किताबें, जैसे कि एफ्रॉन, एक और तीसरे दृष्टिकोण को अलग करती हैं, फिशर दृष्टिकोण, लेकिन हम इसके बारे में और बायेसियन दृष्टिकोण के बारे में बात नहीं करेंगे। चलो आवृत्ति दृष्टिकोण के बारे में बात करते हैं।

आवृत्ति दृष्टिकोण में एक सरल सूत्र है। उनमें से दो हैं, लेकिन एक असतत वितरण के मामले को मानता है, दूसरा एक निरंतर वितरण का, इसलिए हम इसे एक सूत्र के रूप में मानेंगे।

यह सूत्र हमें बताता है कि कितने अवलोकनों की आवश्यकता है। यदि हम एक अनंत मात्रा में डेटा एकत्र करने का जोखिम उठा सकते हैं, तो हम वितरण के प्रत्येक के लिए सही मूल्य प्राप्त करेंगे, और फिर बस अपने बिंदु अनुमानों की तुलना करें। हालाँकि हम डेटा की अनंत संख्या के बिंदु अनुमानों की तुलना कर सकते हैं - यह एक सवाल है, लेकिन फिर भी। हमें एक सच्चा वितरण मिलेगा, उनकी तुलना करें और कहें कि बेहतर है।

दुर्भाग्य से, हम ऐसा नहीं कर सकते हैं; हमारे पास हमेशा एकत्रित किए जाने वाले डेटा की सीमा होती है। यह या तो हमारे उपयोगकर्ताओं की संख्या के कारण होता है, या उस समय तक जिसके दौरान हम इस डेटा को एकत्र कर सकते हैं, या इस तथ्य से कि वे बस हमसे जितना जल्दी हो सके परिणाम प्राप्त करना चाहते हैं।

हम यहाँ n के लिए एक बहुत ही सरल सूत्र देखते हैं, जहाँ n समूहों में से प्रत्येक में आवश्यक टिप्पणियों की संख्या है। अंश में$$$z^2$कहाँ पे $$$z^2$- विश्वास अंतराल, विश्वसनीयता की वह डिग्री जिसके साथ हम अपना परिणाम देना चाहते हैं।

यह स्पष्ट लगता है कि$$$z$हम एक बार ठीक करते हैं और आगे नहीं बदल सकते। बेशक, हम कह सकते हैं कि हम शून्य डिग्री विश्वसनीयता के साथ परिणाम देते हैं, और फिर हमें शून्य टिप्पणियों की आवश्यकता होती है। यह बहुत सुविधाजनक होगा, लेकिन हम आमतौर पर ऐसा नहीं करते हैं।

अंश में आगे, अगर हम असतत फार्मूला को देखें, है$$$\hat{p}(1-\hat{p})$, जो द्विपद वितरण के विचरण के बराबर है। निरंतर मामले में, एक ही चीज, σ ² , अर्थात् विचरण। और यह तर्कसंगत लगता है कि अधिक से अधिक विचरण, जितनी अधिक टिप्पणियों की हमें आवश्यकता है।

हर में एम ² या त्रुटि का मार्जिन होता है - यह न्यूनतम अंतर है जिसे हम पकड़ना चाहते हैं, और यहां स्थिति विपरीत है। जितना छोटा अंतर हम पकड़ना चाहते हैं, उतने ही अधिक अवलोकन की आवश्यकता है। यानी यह एक त्रुटि की तरह है।

अगर हमें 0.01 की त्रुटि की आवश्यकता है, तो हमें 0.1 की त्रुटि की आवश्यकता होने की तुलना में 100 गुना अधिक टिप्पणियों की आवश्यकता है। वे दस गुना भिन्न होते हैं, लेकिन एक द्विघात निर्भरता होती है, यह पता चलता है कि 100 गुना अधिक टिप्पणियों की आवश्यकता है।

मैंने एक बार रैखिककरण पर एक रिपोर्ट दी थी। आज मैं बताऊंगा कि कैसे हम विचरण को कम कर सकते हैं, और नियत समय में मैंने बताया कि कैसे हम m को बढ़ा सकते हैं। बढ़ती मी एक बेहतर रणनीति लगती है, क्योंकि आधे से बढ़ते हुए एम की गणना के लिए आवश्यक डेटा की मात्रा चार से कम कर देता है। वृद्धि का अर्थ है एक त्रुटि जो हम कर सकते हैं।

और अगर हम विचरण को आधे से कम कर देते हैं, तो हमें केवल दो बार कई टिप्पणियों की आवश्यकता है। इसलिए, भाजक में चार बार कुछ कम करने के लिए 16 गुना का लाभ होता है, और अंश में चार गुना - केवल चार।

हालांकि, प्रत्येक दृष्टिकोण के अपने पेशेवरों और विपक्ष हैं। मैं फिर और अधिक विस्तार से बता सकता हूं कि कौन से हैं। अब हम विचरण को कम करने की ओर मुड़ते हैं।

स्तरीकरण। संयोग से, मेरे पास अंत में प्रत्येक अनुभाग में प्रयोगात्मक परिणाम होंगे, जो हमें वास्तविक वातावरण में वास्तविक डेटा पर मिला था।



तो, चलो स्तरीकरण के बारे में बात करते हैं। हम क्या जानते हैं? हम जानते हैं कि विचरण को कम करने से टिप्पणियों की संख्या कम हो जाती है। मान लीजिए हमारे इच्छित मीट्रिक, जिसके द्वारा हम विश्लेषण करते हैं, समूह द्वारा कुछ क्षेत्रों में टूट सकता है। एक बहुत अच्छा सवाल जो पहले से ही पूछा गया है: इसे कैसे तोड़ना है? देश से? या शायद ब्राउज़रों पर? शायद ऑपरेटिंग सिस्टम पर जाएं? हो सकता है कि मैक, विंडोज और लिनक्स के साथ लॉग इन करने वाले उपयोगकर्ता तीन अलग-अलग प्रकार के उपयोगकर्ता हों।

यदि हमें ऐसी कोई मात्रा या संकेत मिलता है जिसके द्वारा हम समूहों में विभाजित कर सकते हैं, तो हम निम्न कार्य करते हैं: K समूहों में विभाजित करते हैं, जहाँ K उनके समूह की संख्या के बराबर अद्वितीय मात्राएँ होती है। ऑपरेटिंग सिस्टम के मामले में - तीन, देशों के साथ - देशों की संख्या, आदि।

आगे, समूहों में से प्रत्येक में गिरने की संभावना हर में सभी टिप्पणियों की संख्या और अंश में समूहों में से प्रत्येक में टिप्पणियों की संख्या के बराबर है। यही है, हम पहले से अनुमानित वजन का अनुमान लगा सकते हैं, और अगर उपयोगकर्ताओं की कुल संख्या है, तो मैक से बहुत सारे उपयोगकर्ता आते हैं, विंडोज से इतने सारे, लिनक्स से बहुत से, हम तुरंत वजन की गणना कर सकते हैं और संभावना है कि एक नया उपयोगकर्ता होगा यह ऑपरेटिंग सिस्टम।

तब हमारे मीट्रिक का औसत स्तरीकृत एक बहुत ही सरल सूत्र द्वारा दर्शाया जाएगा। यह स्ट्रैटम में मीट्रिक का मूल्य है, स्ट्रैटम के वजन से गुणा किया जाता है, और इसलिए हम सभी स्ट्रैट पर योग करते हैं। सूत्र काफी स्पष्ट है, मुझे लगता है कि इसका विशेष रूप से विश्लेषण करने की आवश्यकता नहीं है।



आगे यह थोड़ा और जटिल हो सकता है। हम इन सूत्रों को पार्स करने के लिए कुछ मिनट बिताएंगे, लेकिन अगर आपको अचानक कुछ समझ में नहीं आता है - तो चिंता न करें, मैंने उन्हें पार्स करने के लिए एक समय में तीन घंटे बिताए।

हम यहां क्या देखते हैं? स्तरीकृत मीट्रिक का औसत मूल्य यादृच्छिक नमूने के औसत मूल्य से अलग नहीं है। यह साबित करना मुश्किल नहीं है, यह सिर्फ एक भारित संतुलन है, जो अंत में समूह भर में भारित के बराबर है।

लेकिन विचरण थोड़ा अधिक रोचक है। वास्तव में, हम यह भी एक बहुत ही सरल सूत्र जानते हैं कि कुछ प्रकार के गुणांक के साथ, भिन्नता, दो मात्राओं का विचरण, उनके भिन्न, सहसंयोजक का योग है। और इन भिन्नताओं के योग स्वयं भी एक गुणांक के साथ हैं।

वास्तव में, यदि आप ध्यान दें, तो यह ठीक है कि ये गुणांक प्रस्तुत किए गए हैं, यह एक स्ट्रैटम में होने की संभावना है। तदनुसार, पूरे स्तरीकृत का विचरण कुछ भार के साथ प्रत्येक में विचरण है। और वजन इस स्ट्रैटम में आने की संभावना है।

अब तक, सब कुछ बहुत उचित लगता है। और अंत में, पूरे स्तरीकृत पर विचरण इस सूत्र के बराबर होगा। इससे कोई फर्क नहीं पड़ता कि आप अब क्यों नहीं समझ रहे हैं। मुख्य बात याद रखना है।



अब यादृच्छिक नमूने के लिए औसत और विचरण के बारे में बात करते हैं। एसआरएस सरल रैंडम सैंपलिंग है, यानी रैंडम सैंपलिंग।

जैसा कि आप अनुमान लगा सकते हैं, यादृच्छिक नमूने का औसत मूल्य औसत के बराबर है। यहां, विशेष रूप से, मुझे लगता है, किसी चीज में गहराई तक जाने के लिए आवश्यक नहीं है। लेकिन यादृच्छिक नमूने का विचरण, यदि आप शास्त्रीय सूत्र को देखते हैं, तो बहुत स्पष्ट है। यह n ² गुणा n से विभाजित है। यदि हम मानक त्रुटि सूत्र को याद करते हैं, तो यह by n की जड़ से विभाजित है। यह माध्य का विचरण है।

लेकिन मैं इसे अपने घटकों में तोड़ना चाहता हूं।



इसलिए, यदि हम इसे इसके घटकों में तोड़ते हैं, तो निम्नलिखित गणनाओं की एक सरल श्रृंखला को देखते हुए, हम देखेंगे (आपको मुझ पर अभी विश्वास करना है, हम इन सभी लाइनों से नहीं गुजरेंगे, लेकिन यहाँ वे बहुत जटिल नहीं हैं) कि इसमें दो सदस्य शामिल हैं।



इस एक को याद करो। स्तरीकरण के मामले में यह भिन्नता है, मेरा विश्वास करो।



यदि हम इस बात पर ध्यान देते हैं कि यादृच्छिक नमूने का विचलन किस से बना है, तो इसमें दो सदस्य होते हैं: पहला, जो स्तरीकृत के विचरण के बराबर है, और दूसरा।

मुद्दा क्या है? यदि आप संक्षेप में सोचते हैं, तो यादृच्छिक नमूने के विचरण को स्तरीकृत समूह के भीतर और स्तरीकृत समूहों के बीच विचरण के योग के रूप में दर्शाया जा सकता है। N समूह हैं, समूह के भीतर एक फैलाव है, b समूहों के बीच फैलाव है। यदि कोई याद करता है, तो यह लगभग विश्लेषण के समान है। समूह के भीतर फैलाव और समूहों के बीच फैलाव है। तार्किक है।

यह पता चला है कि सबसे अच्छा मामले में यादृच्छिक नमूने का फैलाव या तो स्तरीकृत के विचरण के बराबर हो सकता है, या अधिक हो सकता है। क्यों? क्योंकि यदि यह शब्द शून्य के बराबर है (और यह इस तथ्य के कारण शून्य से कम नहीं हो सकता है कि एक वर्ग है और यह संभावना नकारात्मक नहीं हो सकती है), तो स्पष्ट रूप से शून्य से अधिक या इसके बराबर कुछ है। यहाँ यह वही है जो आपने स्तरीकरण में देखा था। यह पता चला है कि हम जीतते हैं, कम से कम इस सदस्य के लिए विचरण को कम करते हैं।



यह वही है जो मैंने अभी कहा है, इसलिए इसे छोड़ दें। लेकिन मेरे बारे में आपने जो भी बताया है, उसे बनाने के लिए आपकी रुचि शायद होगी। वैसे, प्रत्येक स्लाइड के निचले भाग में लेख का नाम होता है, जहां से यह सूत्र लिया जाता है। इस प्रस्तुति में तीन लेखों ने भाग लिया, फिर आप * पढ़ सकते हैं ।

हमने कुछ लेख पढ़ा, कुछ बात की, लेकिन यह बहुत दिलचस्प नहीं है। यह देखना दिलचस्प है कि वास्तविक जीवन में कुछ कैसे काम करता है। इसके बारे में - अगली स्लाइड।



मैंने डेटा लिया, देखना शुरू किया कि यह वास्तविक जीवन में कैसे काम करता है। वास्तविक जीवन में, मेरा विचरण एक प्रतिशत तक गिर गया है।

इस बात पर संदेह है कि विकास केवल इसलिए छोटा है क्योंकि हमारे पास बहुत अधिक डेटा है और आम तौर पर स्ट्रैट के बीच बहुत बड़ा फैलाव नहीं है। वे पहले से ही बाहर हैं, और काफी प्रतिनिधि हैं। लेकिन, ऐसा लगता है कि यदि डेटा या तो पर्याप्त नहीं है, या नमूने में किसी प्रकार का उल्लंघन है, या यह पूरी तरह से यादृच्छिक नहीं है (जो, वैसे, बहुत बार होता है), तो वृद्धि बड़ी हो सकती है।

और इस विधि को लागू करने के लिए बहुत सरल है। ध्यान दीजिए, कुछ भी जटिल नहीं है। यही है, आप प्रत्येक नमूने से कुछ नमूना पूरे नमूने पर इस स्तर में होने की संभावना के लिए आनुपातिक है। सब कुछ उचित है।

दूसरे भाग पर चलते हैं। Cuped। मुझे ठीक से पता नहीं है कि सही तरीके से उच्चारण कैसे किया जाता है, वास्तव में ये कोविरेट हैं, हम प्रयोगात्मक डेटा का उपयोग करते हैं।



बिंदु भी बहुत सरल है। हम इस अर्थ में वाई से स्वतंत्र एक यादृच्छिक चर एक्स लेते हैं कि चर एक्स पर कोई प्रयोगात्मक प्रभाव नहीं है।

इसे कैसे प्राप्त किया जाए? सबसे आसान तरीका चर एक्स को लेना है, जो प्रयोग की शुरुआत से पहले प्राप्त किया गया था। तब हम यह सुनिश्चित कर सकते हैं कि प्रयोग ने इसे प्रभावित नहीं किया।

आगे। हम एक नई मीट्रिक पेश कर सकते हैं जिसे हम Y और .X के बीच के अंतर के रूप में आंकना चाहते हैं। इसे सूत्र में प्रस्तुत किया गया है: नया मीट्रिक, आइए इसे यिचड कहते हैं, हमारा वांछित मीट्रिक ऋण θ गुना X है।

यह वही है जिसके बारे में हम पहले ही बात कर चुके हैं। एक सरल सूत्र जो हमें दो मात्राओं के बीच अंतर के विचरण की गणना करने की अनुमति देता है। यह प्रथम परिमाण का विचरण है। चूंकि इसमें एकता का गुणांक है, 1 ² , हम इसे हटा देते हैं। इसके अलावा दूसरी मात्रा co2 का गुणांक, X का विचरण। लेकिन चूंकि यह एक घटाव है, तो ऋण 2ov, Y और X के बीच सहसंयोजक।

यदि ये स्वतंत्र मात्राएँ थीं, तो यह किसके बराबर होगी? शून्य। स्वतंत्र मात्रा के बीच सहसंयोजक शून्य है। ऐसा लगता है कि यदि हम एक स्वतंत्र मूल्य लेते हैं, तो यह निश्चित रूप से हमारे साथ बेहतर नहीं होगा।



फिर हमें कुछ आश्रित मात्रा लेने की आवश्यकता है, और हमारे पास एक और हाइपरपरमीटर है, चलो इसे some कहते हैं। हम विचरण को कम से कम कब कर सकते हैं? जब X Y और X के बीच सहसंयोजक के बराबर X के विचरण से विभाजित होता है।



मैं अब विस्तार से जांच नहीं करूंगा कि ऐसा क्यों है, लेकिन यदि आप इस सरल समीकरण को देखते हैं, तो आप इसे घटा भी सकते हैं।



यदि हम ऐसा करते हैं, तो हमारे पास बहुत ही सुविधाजनक सरल परिवर्तन होगा, और परिणामी विचरण को विचरण Y के रूप में दर्शाया जाएगा, जो कि एक शून्य से गुणा होकर मीट्रिक Y और मीट्रिक X के बीच का सहसंबंध होगा। यह अच्छा प्रतीत होता है।

यह काम क्यों करता है? हम कुछ धारणा बनाते हैं कि हमारे पास दो कारकों या दो कारणों के कारण हमारे मीट्रिक वाई का विचरण है। यह कुछ कोवरिएट एक्स और बाकी सब चीजों के कारण है। हम ऐसा कर सकते हैं, है ना? और हम कहते हैं: दोस्तों, एक्स के कारण हमारे पास क्या है, हम हटा देते हैं, हम केवल अन्य सभी कारणों से छोड़ देते हैं।



अगली स्लाइड में ग्राफ से यह स्पष्ट होगा कि यह क्यों काम करता है। यह क्यों काम करता है पर कोई विचार? इसके पहले मैंने जो सूत्र लिखा था, उसके अलावा भी सूत्र थे। यह पता चला कि काम नहीं करता है। अंत में, हमने अंतिम परिणाम नहीं देखे हैं, यह भी पता चला है कि यह काम नहीं करता है।

जब हम A / B परीक्षण करते हैं, तो सबसे पहले हमें कौन सी रुचियां आती हैं? अंतर औसत है। अधिकांश मामलों में, हम किसी भी मात्रा को नहीं देखते हैं। हालांकि, वैसे, उबेर को क्वार्टराइल देखने का बहुत शौक है, और कभी-कभी उन पर ध्यान देना बहुत महत्वपूर्ण है, औसत अपरिवर्तित रह सकता है, मात्रात्मक रूप से नाटकीय रूप से बदल सकता है, और जिन उपयोगकर्ताओं ने किसी तरह की 99% प्रतिशत वृद्धि की है, वे बंद हो जाएंगे। उबेर के पास यह प्रतीक्षा समय है। यह परिचारिका का नोट है।

लेकिन हम अक्सर साधनों के अंतर में रुचि रखते हैं। और हम उन तरीकों का उपयोग करना चाहते हैं जो इस अंतर को साधनों में नहीं बदलते हैं। क्योंकि यदि हम रैखिककरण के बारे में बात कर रहे हैं, तो हम एक नए विशेषता स्थान में जा रहे हैं। हां, सब कुछ शांत है। हम 64 बार कुछ ए / बी परीक्षण की गिनती कर सकते हैं। हां, यह आनुपातिक है, लेकिन हम यह नहीं कह सकते कि साधनों में यह अंतर वास्तव में कितना है।

साधनों में अंतर की गणना करने और हर चीज के बारे में निष्कर्ष निकालने के लिए, आपके पास which होना चाहिए, जो सभी समूहों के लिए समान है। एक समूह A1, A2, B, C, और इसी तरह है। ये टेस्ट सेल या आपके ए / बी टेस्ट के बदलाव हैं।

मीट्रिक X कैसे चुनें? मीट्रिक X के लिए तार्किक विकल्प वही मीट्रिक Y है, लेकिन प्रयोग की अवधि से पहले की अवधि पर। उदाहरण के लिए, यदि यह उपयोगकर्ता के लिए आपकी औसत सत्र अवधि है, तो आप उपयोगकर्ता के सत्र की औसत अवधि की गणना कुछ अवधि के लिए प्रयोग से पहले कर सकते हैं, प्रयोग के दौरान, एक को दूसरे से घटाएं और उनके बीच केवल विचलन देखें। यह शायद आपको अधिक रुचिकर लगता है।

यहाँ, वैसे, एक दिलचस्प सवाल उठता है - हमें किस अवधि में मीट्रिक एक्स लेना चाहिए? एक दिन में, एक सप्ताह में, दो सप्ताह में? कोई सैद्धांतिक जवाब नहीं है, लेकिन एक व्यावहारिक जवाब से पता चलता है कि दो सप्ताह एक प्लस या माइनस इष्टतम है। सिद्धांत रूप में, प्रायोगिक डेटा को लेना और प्लॉट करना संभव है कि कितना फैलाव घटता है और हमारा परीक्षण कितना एक्स पर निर्भर करता है कि हम X को कितने समय में लेते हैं।



यह काम क्यों करता है? देखिए, यह बहुत सरल चित्र है, बहुत ही सरल चित्र है। यह एक्स और वाई के मूल्यों को प्रस्तुत करता है, प्रयोग से पहले और उसके बाद की अवधि में उपयोगकर्ता के लिए हमारे मीट्रिक के मूल्य।

हम क्या कर रहे हैं? हम θ का चयन करते हैं। हम इसी तरह से इसे कम से कम वर्ग विधि का उपयोग करके चुन सकते हैं। यही है, यह एक निश्चित मध्य रेखा है, जो न्यूनतम मात्रा में संतुलन देती है। शेष रेखा पर क्या है और क्या है के बीच अंतर है।

इस प्रकार, हम किसी भी तरह औसत करने की कोशिश कर रहे हैं और अभी भी मीट्रिक का औसत मूल्य प्राप्त कर रहे हैं। मीट्रिक का औसत मूल्य नहीं बदलता है। यह मुझे लगता है कि मैं खुद को पूरी तरह से समझ नहीं पाया कि मैंने अब क्या कहा, और आपको शायद और भी कठिन होना पड़ा क्योंकि मैंने पहले ही यह देख लिया था। चलो फिर से कोशिश करें। हमारे पास एक्स अक्ष और वाई अक्ष है। हम उन मूल्यों को चिह्नित कर सकते हैं जो एक्स अक्ष पर प्रयोग से पहले थे, और वाई अक्ष पर प्रयोग के दौरान संबंधित मूल्य। यही है, हमें XY निर्देशांक में एक निश्चित बिंदु मिलता है। हम इसे चार्ट पर चिह्नित कर सकते हैं।

यदि कोई परिवर्तन नहीं हुआ है, तो ये बिंदु हमारे साथ मेल खाएंगे। यह हमारा बाइसेक्टर होगा। क्योंकि X, Y के बराबर है। लेकिन वास्तव में ऐसा नहीं होगा, सहमत हैं? कुछ मामलों में, मीट्रिक वाई का मूल्य अधिक होगा, कुछ मामलों में कम।

हम इस अंतर को समझना और प्राप्त करना चाहते हैं। क्योंकि बाकी सब कुछ हमारे लिए इतना दिलचस्प नहीं है। उदाहरण के लिए, यदि हमारे पास कोई अंतर नहीं है, तो हमने एक प्रयोग किया और X, Y के बराबर है - जिसका अर्थ है कि हमारे प्रयोग की सबसे अधिक संभावना नहीं थी। यदि हमने अपना प्रयोग किया और देखा कि Y हर जगह बस इस X से ऊपर है, तो यह एक ऐसा अवसर है जो यह सोच सकता है कि हमने कुछ प्रभावित किया है। यदि हमारे पास X के नीचे Y स्थिर है, तो भी बहुत अच्छा नहीं है। सबसे अधिक संभावना है, हमारे पास नकारात्मक प्रभाव पड़ा।

यह पता चला है कि हम एक निश्चित रेखा खींचने की कोशिश कर रहे हैं जो एक्स और वाई के बीच संबंधों का वर्णन करता है, इस अंतर को कम करता है। रैखिक प्रतिगमन भी किया जाता है। सहमत हूं कि एक रैखिक प्रतिगमन है, आप, विचार करें, एक स्वतंत्र चर और एक आश्रित चर। आप यथासंभव सटीक वर्णन करना चाहते हैं।

यह हमारी लाइन है, यह हमारी नई कपल मेट्रिक है और यही कारण है कि औसत कपेड वैल्यू नहीं बदलती है। Ycuped मान औसत के Y मान से नहीं बदलेगा। क्यों? चूंकि। इसे तुरंत समझाना आवश्यक था। :) वैसे, मूल लेख ऐसा कहता है: ध्यान दें कि θ और प्रतिगमन की खोज के बीच एक बहुत ही दिलचस्प संबंध है। यह बात है।

मैं दोहराता हूं, हम यह देखने में रुचि रखते हैं कि प्रयोग ने स्वयं उपयोगकर्ता के व्यवहार को कैसे प्रभावित किया, यह मूल के सापेक्ष कितना बदल गया। मान लें कि यह हमेशा आयोजित किया गया था और दो उपयोगकर्ता हैं: एक में हमेशा दस मिनट का सत्र होता था, और दूसरे में 100 मिनट होते थे। कुछ परिवर्तन था, और पहला उपयोगकर्ता अभी भी 100 मिनट खर्च करता है, और दूसरे में 12 मिनट हैं। एक मामले में अंतर शून्य है, दूसरे में - दो। लेकिन बस 12 और 100 की संख्या की आपस में तुलना करना शायद बहुत उचित नहीं है। हम दूसरा चाहते हैं। हम इसे "सामान्यीकृत" कहते हैं। यह, निश्चित रूप से, सही नहीं है, लेकिन फिर भी।

अब चलते हैं प्रयोग की ओर।



हम क्या देखते हैं? यह एक ज्यूपिटर लैपटॉप का एक स्क्रीनशॉट है जिसे मैं वास्तव में नापसंद करता हूं (मुझे PyCharm अधिक पसंद है), लेकिन फिर भी मैंने इसे किया। कप मेट्रिक का विचरण और मानक मीट्रिक का विचरण यहाँ पहले से ही प्रस्तुत हैं। देखें कि वे कितने अलग हैं? Ycuped बहुत छोटा है, और औसत अलग नहीं हैं।

अधिक सटीक रूप से, वे भिन्न नहीं होते हैं। 15 दशमलव स्थान में, वे शायद भिन्न हैं, लेकिन हम यह मान लेंगे कि यह गोलाई से जुड़ी एक त्रुटि है।

हम यहां क्या देखते हैं? फैलाव 45% तक गिर गया। यह ऑनलाइन का डेटा है। एक्स 5 में हमने जो देखा वह यह है कि विचरण चार बार गिरता है। X5 में, हमारे पास स्टोर के भीतर कुछ प्रकार का व्यवहार है, यह सप्ताह के दिन के लिए, घंटे के लिए, सप्ताह के घंटे और दिन के लिए औसत हो सकता है। देखें, हम सहसंयोजक चुन सकते हैं जो अधिक से अधिक सहसंबद्ध हैं। ऐसा लगता है कि सोमवार को आने वाले लोगों की सशर्त संख्या अगले सोमवार को आने वाले लोगों की संख्या के साथ संबंधित होनी चाहिए। अगर हम थोड़ा और गहरे देखें, तो सोमवार को शाम के छह बजे, सोमवार को शाम छह बजे के साथ और भी अधिक मजबूती से सहसंबंधित होना चाहिए। और रविवार, दोपहर में तीन, दूसरे रविवार के साथ, दोपहर में तीन।

वास्तविक जीवन में मेरे द्वारा देखे गए विचरण की अधिकतम गिरावट 19 गुना थी। प्लस क्या है? ऐसा करना भी बहुत सरल है, आपको यह स्वीकार करना होगा कि आपको बिल्कुल भी सोचने की जरूरत नहीं है। मिला कोविराट, पाया,। way, वैसे, एक बहुत ही सरल सूत्र के अनुसार पाया जाता है, सब कुछ पहले से ही किया गया है।



लिया गया, घटाया गया, परिवर्तित मीट्रिक मिला। उसका औसत नहीं बदला है, यह बहुत अच्छा है। एक सामान्य भाषा में व्यवसाय की व्याख्या करें, ऐसा क्यों होता है, यह संभव है। आप कहते हैं कि हम रुचि रखते हैं कि न केवल उपयोगकर्ता औसत व्यवहार करते हैं, बल्कि उनका व्यवहार औसत से कैसे बदल गया है। और बस।

कुछ मामलों में, सही कोवरिएट चुनने में कठिनाइयाँ हो सकती हैं, लेकिन अक्सर यह समस्या नहीं होती है। पिछली प्रयोगात्मक अवधि के लिए मान लेना हमेशा संभव होता है (बहुत कम, जब संभव नहीं होता है)। यह काम करता हैं। विचरण में 19 गुना कमी का मतलब है कि ए / बी परीक्षण के लिए आवश्यक डेटा की मात्रा भी 19 गुना घट जाती है। यही है, आप अपने परिणाम को तेजी से प्राप्त कर सकते हैं, और इससे परीक्षण की संवेदनशीलता बढ़ जाती है।

यदि आपके पास पहले से ही ए / बी परीक्षणों की एक निश्चित संख्या है, तो आप इस कप को उसी पूर्वव्यापी तरीके से चला सकते हैं और पहली तरह और दूसरी तरह की त्रुटियों की गणना कर सकते हैं। यदि आप AA परीक्षण करते हैं तो आप पहली तरह की त्रुटियों को गिन सकते हैं। कप पर आप इसे उसी तरह से खर्च करेंगे - और उसी तरह से आप मूल्यांकन कर पाएंगे कि आपकी संवेदनशीलता कितनी बढ़ गई है।

---

_{^{* :
— Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data
— Improving the Sensitivity of Online Controlled Experiments: Case Studies at Netflix
— How Booking.com increases the power of online experiments with CUPED}}