🐯 👅 🎷 स्पैम, स्पैम, स्पैम ... 🤞🏻 🛀🏾 👼🏻

प्रत्येक सक्रिय ग्राहक को प्रति सप्ताह औसतन चार से अधिक अवांछित कॉल प्राप्त होते हैं - यह विज्ञापन, बैंक ऑफ़र, कभी-कभी केवल धोखाधड़ी है। अधिकांश ग्राहक इस प्रकार के कॉल के प्रति नकारात्मक प्रतिक्रिया करते हैं। इस समस्या को हल करने के लिए, हमने "स्पैम कॉल ब्लॉकिंग" सेवा को विकसित किया, जिससे कनेक्ट करके उपयोगकर्ता अवांछित कॉल प्राप्त करना बंद कर देता है, और प्रत्येक दिन के अंत में सिस्टम सब्सक्राइबर को उन कॉलों के बारे में सूचित करता है जिन्हें ब्लॉक किया गया है। इस लेख में, एमटीएस डेटा वैज्ञानिक अन्ना रोज़कोवा ( @ रॉगोटुलका ) और ओल्गा गेरसिमोवा ( @ynonaolga ) बताएंगे कि कैसे उन्होंने एक एल्गोरिदम विकसित किया जो स्पैमर संख्या को बाकी सब्सक्राइबर बेस से अलग करता है।

प्रतिरूप निर्माण

इसलिए, हम द्विआधारी वर्गीकरण के कार्य के साथ सामना कर रहे थे।

वास्तव में, कैसे एक स्पैमर से एक सब्सक्राइबर (यहां तक कि एक बहुत ही संवेदनशील, नए संपर्कों की एक विस्तृत श्रृंखला के साथ) को अलग करने के लिए जो किसी अन्य चिकित्सा केंद्र की सेवाओं को अथक रूप से लागू करता है? सबसे पहले, हमने उन संख्याओं पर विचार किया जो कई अलग-अलग ग्राहकों को स्पैम के रूप में बताती थीं, लेकिन ऑनलाइन स्टोर से अलग होना मुश्किल हो गया। फिर हमने उन नंबरों को लेने का फैसला किया, जिनकी कॉल अक्सर बंद हो जाती है, लेकिन लोग कभी-कभी कॉल ड्रॉप कर देते हैं, जब वे सिर्फ आराम से बात नहीं कर रहे होते हैं। हमने इस परिकल्पना का भी परीक्षण किया कि ग्राहक स्पैमर को वापस नहीं बुलाएंगे (किसी मिस्ड कॉल के बाद थोड़े समय के भीतर), लेकिन बहुत सारे ऐसे नंबर थे, शायद कुछ ग्राहकों के लिए यह एक मानक व्यवहार है, वे दोस्तों को वापस नहीं बुलाते हैं। नतीजतन, हम इस निर्णय पर आए कि स्पैम नंबर उपयोगकर्ता के असंतोष के स्तर में भिन्न हैं। इसलिए जैसा हैलक्ष्य चर को संख्या में लिया गया था, जिसमें बहुत सारी शिकायतें मिलीं, और नकारात्मक उदाहरणों को उन लोगों के रूप में चिह्नित किया गया जिनकी कुछ नकारात्मक समीक्षा या बिल्कुल भी नहीं है।

कॉलर्स की गतिविधि का एकत्रित डेटा संकेतों के रूप में उपयोग किया गया था: औसत कॉल अवधि, उच्चतम गतिविधि के साथ दिन की अवधि, कॉल के बीच एक ब्रेक की औसत अवधि, संपर्कों के सर्कल को अपडेट करने की गति और कई अन्य। हमने यह भी देखा कि कई स्पैमर "सुंदर संख्या" या ज्ञात मौजूदा लोगों के समान (उदाहरण के लिए, बैंक की हॉटलाइन संख्या) का चयन करते हैं और इस तरह के द्विआधारी सुविधाओं को जोड़ते हैं। 

मैट्रिक चयन

अगला चरण एक अनुकूलन मीट्रिक चुनने का था। हमारे फैसले में, सामान्य संख्या से कॉल को ब्लॉक नहीं करना महत्वपूर्ण था, इसलिए हमने निर्धारित किया कि मॉडल की सटीकता कम से कम 95% होनी चाहिए। सटीक एक स्पैम क्लास की वस्तुओं के रूप में मान्यता प्राप्त संख्याओं का प्रतिशत है जो मॉडल ने सही भविष्यवाणी की थी। लेकिन अधिक से अधिक अवांछित संख्याओं को रोकना महत्वपूर्ण है, इसलिए स्वीकार्य स्तर की सटीकता के लिए अधिकतम रिकॉल (रिकॉल) चुनें। मॉडल के अंतिम संस्करण में निम्नलिखित संकेतक हैं: 95% सटीक, 94% याद करते हैं। अब मॉडल शेड्यूल पर है और नियमित रूप से ग्राहकों के विभिन्न समूहों की कॉल गतिविधि में बदलाव पर ध्यान देने के लिए मुकर जाता है, और इन मेट्रिक्स की जांच की जाती है ताकि वे प्रत्येक 90% से नीचे न गिरें।

इस तथ्य के कारण कि स्पैम संख्या सामान्य से बहुत कम है, अर्थात, नमूना असंतुलित है, नकारात्मक उदाहरणों की संख्या अपेक्षाकृत सकारात्मक (अंडरस्लैम्पलिंग) कम हो गई है। सत्यापन के नमूने में, "लड़ाई में" मॉडल की गुणवत्ता का विचार रखने के लिए वर्ग अनुपात को वास्तविक चुना गया था। इसके अलावा, केवल उन स्पैम नंबरों को, जो स्पैमर की असंगतता के कारण एक निश्चित तिथि पर सक्रिय थे, नमूने में शामिल किए गए थे: सक्रिय डायलिंग की अवधियां हैं, और जब वे कई कॉल करते हैं तो निष्क्रियता की अवधि होती है, सबसे अधिक संख्या को बनाए रखने की संभावना है। कभी-कभी अभियान के बाद के नंबरों को अवरुद्ध कर दूसरे मालिक को हस्तांतरित कर दिया जाता है।

एल्गोरिथ्म के रूप में, xgboost बूस्टिंग के कार्यान्वयन का उपयोग किया गया था, क्योंकि इसने सत्यापन नमूने पर सबसे अच्छा परिणाम दिया था। मॉडल के लिए महत्वपूर्ण संकेत निकला: दिन के अलग-अलग समय में ग्राहकों की गतिविधि पर डेटा, छोटी कॉल की संख्या, दोस्तों के सर्कल की चौड़ाई। एक दिलचस्प तथ्य यह था कि दूरसंचार ऑपरेटर की सुविधा शीर्ष सुविधाओं में प्रवेश करती थी। नीचे दिए गए चार्ट पर हमने मोबाइल ऑपरेटर्स को अज्ञात किया और स्पैमर द्वारा उनकी संख्या के उपयोग पर आंकड़े प्रस्तुत किए:

परिक्षण

इस कार्य में, ए / बी परीक्षण का संचालन करना संभव नहीं था: नेटवर्क स्तर पर सेवा स्पैम संख्याओं की विभिन्न सूचियों के अस्तित्व का मतलब नहीं है, इसलिए हमने कंपनी के अंदर मॉडल के पहले संस्करण के पायलट को लॉन्च किया, सहकर्मी और शीर्ष प्रबंधन परीक्षक बन गए। आंतरिक परीक्षण की सकारात्मक विशेषताओं में से एक त्वरित प्रतिक्रिया है। हमने तुरंत सवाल डालना शुरू किया:

यह संख्या क्यों प्राप्त हुई?
आपने इस नंबर को ब्लॉक क्यों किया?
मुझे दूसरी कार बीमा की आवश्यकता नहीं है (मैं कितना कर सकता हूँ?)

हमारे व्यक्तिगत अनुभव भी मॉडल के लिए नई सुविधाओं को खोजने के लिए एक अतिरिक्त कारण बन गए, जब ऑनलाइन स्टोर से डिलीवरी के लिए लंबे इंतजार के बाद, कूरियर का फोन अवरुद्ध लोगों की सूची में पाया गया।

ठेस में लॉन्च

संख्याओं के वर्गीकरण में एक और गंभीर समस्या यह थी कि स्पैम क्या है, इस बारे में विचारों में अंतर है: कुछ के लिए, ऋण प्रस्ताव के साथ कॉल अनावश्यक जानकारी है, और कोई व्यक्ति व्यक्तिगत ऑफ़र की प्रतीक्षा कर रहा है और सबसे अच्छा एक का चयन कर रहा है, इसलिए ग्राहक को कॉल करने वालों की सूची देखने का अवसर दिया गया था उन विकल्पों को अक्षम करने के विकल्प जो उनके लिए संभावित रूप से उपयोगी हैं।

सेवा को अंतिम रूप देने के लिए उपयोगकर्ताओं से सबसे लोकप्रिय अनुरोधों में से एक था कॉल श्रेणियों पर डेटा के साथ दैनिक अवरुद्ध संख्याओं पर एसएमएस रिपोर्ट की सूचनात्मक सामग्री का विस्तार करना, उदाहरण के लिए, बैंकों, चिकित्सा सेवाओं या अचल संपत्ति।

मॉडल के पहले संस्करणों को लंबी अवधि में एकत्र की गई विशेषताओं पर बनाया गया था, लेकिन हमने देखा कि मॉडल अक्सर उन संख्याओं पर विचार नहीं करता है जो हाल ही में स्पैम के रूप में दिखाई दिए थे, अर्थात्। नए नंबर या जो "चुप" की अवधि के बाद सक्रिय कॉलर कॉल शुरू करते हैं। इस समस्या को हल करने के लिए, हमने छोटी अवधि में एकत्रित सुविधाओं पर एक अतिरिक्त मॉडल बनाया। प्रशिक्षण शोकेस में "शॉर्ट" सुविधाओं को जोड़ना पर्याप्त नहीं था, क्योंकि प्रशिक्षण के नमूने खुद अलग हैं: ग्राहक जो लंबे और कम समय के लिए सक्रिय हैं, वे मेल नहीं खाते हैं।

उत्पाद के विकास के लिए हमारी आगे की योजनाओं में व्यक्तिगत स्पैम सूचियों का निर्माण, ग्राहक की प्रोफाइल और उसकी जरूरतों को ध्यान में रखते हुए, मॉडल को ऑनलाइन मोड में स्थानांतरित करना शामिल है, ताकि यह यहां और अब से शुरू होने वाली स्पैमर्स गतिविधि के शिखर को पकड़ ले।

स्पैम, स्पैम, स्पैम ...

प्रतिरूप निर्माण

मैट्रिक चयन

परिक्षण

ठेस में लॉन्च

More articles: