🕜 ✳️ 👐🏽 टिप्पणियाँ कैसे खोलें और स्पैम में न डूबें 😆 🕐 👨🏾‍🤝‍👨🏻

जब आपका काम कुछ सुंदर बनाना है, तो आप विशेष रूप से इसके बारे में बात नहीं कर सकते, क्योंकि परिणाम सभी की आंखों के सामने है। लेकिन अगर आप बाड़ से शिलालेख मिटाते हैं, तो कोई भी आपके काम को नोटिस नहीं करता है जब तक कि बाड़ सभ्य नहीं दिखती है या जब तक आप कुछ गलत नहीं मिटाते हैं।

कोई भी सेवा जहां आप एक टिप्पणी छोड़ सकते हैं, समीक्षा कर सकते हैं, संदेश भेज सकते हैं या चित्र अपलोड कर सकते हैं, जल्दी या बाद में स्पैम, धोखाधड़ी और अश्लील भाषा की समस्या का सामना कर सकते हैं। इसे टाला नहीं जा सकता, लेकिन इससे अवश्य लड़ा जाना चाहिए।

मेरा नाम मिखाइल है, मैं एंटी-स्पैम टीम में काम करता हूं, जो यैंडेक्स सेवाओं के उपयोगकर्ताओं को ऐसी समस्याओं से बचाता है। हमारा काम शायद ही ध्यान देने योग्य है (और अच्छा!), इसलिए आज मैं इसके बारे में अधिक विस्तार से बात करूंगा। आपको पता चल जाएगा कि किन मामलों में संयम बेकार है और सटीकता इसकी प्रभावशीलता का एकमात्र संकेतक क्यों नहीं है। हम बिल्लियों और कुत्तों के उदाहरण का उपयोग करते हुए दोस्त के बारे में भी बात करेंगे और यह कभी-कभी "ठग की तरह सोचने" के लिए उपयोगी क्यों है।

यांडेक्स में, अधिक से अधिक सेवाएं हैं जहां उपयोगकर्ता अपनी सामग्री प्रकाशित करते हैं। आप एक प्रश्न पूछ सकते हैं या Yandex.Kew में उत्तर लिख सकते हैं, Yandex.Rayon में यार्ड की खबर पर चर्चा कर सकते हैं, Yandex.Maps पर बातचीत में ट्रैफ़िक स्थिति साझा कर सकते हैं। लेकिन जब सेवा दर्शक बढ़ता है, तो यह स्कैमर और स्पैमर के लिए आकर्षक हो जाता है। वे आते हैं और टिप्पणियों में भरते हैं: वे आसान पैसा देते हैं, चमत्कारी धन का विज्ञापन करते हैं और सामाजिक लाभ का वादा करते हैं। स्पैमर के कारण, कुछ उपयोगकर्ता पैसे खो देते हैं, जबकि अन्य एक कर्कश, स्पैम-ओवरग्राउंड सेवा पर समय बिताने की इच्छा खो देते हैं।

और यह एकमात्र समस्या नहीं है। हम न केवल उपयोगकर्ताओं को स्कैमर से बचाने का प्रयास करते हैं, बल्कि संचार के लिए एक आरामदायक वातावरण भी बनाते हैं। यदि टिप्पणियों में लोग अश्लील भाषा और अपमान का सामना करते हैं, तो उन्हें छोड़ने और कभी वापस नहीं आने की बहुत संभावना है। तो, यह भी लड़ने के लिए सक्षम होने की जरूरत है।

साफ वेब

जैसा कि अक्सर हमारे साथ होता है, खोज में पहले विकास का जन्म हुआ, उस भाग में जो खोज परिणामों में स्पैम से लड़ता है। दस साल पहले, पारिवारिक खोजों के लिए और 18+ श्रेणी से उत्तर न देने वाले प्रश्नों के लिए वयस्क सामग्री को फ़िल्टर करने का कार्य दिखाई दिया। इसलिए पोर्न और मैट के पहले मैन्युअल टाइप किए गए शब्दकोश दिखाई दिए, उन्हें विश्लेषकों द्वारा फिर से लिखा गया। मुख्य कार्य उन लोगों के अनुरोधों को वर्गीकृत करना था जहां वयस्क सामग्री स्वीकार्य है और जहां नहीं है। इस कार्य के लिए, मार्कअप एकत्र किया गया था, आंकड़े तैयार किए गए थे, मॉडल प्रशिक्षित किए गए थे। इसलिए अनुचित सामग्री को फ़िल्टर करने के लिए पहला विकास दिखाई दिया।

समय के साथ, Yandex को UGC (उपयोगकर्ता द्वारा तैयार की गई सामग्री) दिखाई देने लगी - संदेश जो उपयोगकर्ताओं द्वारा स्वयं लिखे गए हैं, और यांडेक्स प्रकाशित करते हैं। ऊपर वर्णित कारणों के लिए, कई संदेशों को देखे बिना प्रकाशित नहीं किया जा सकता था - मॉडरेशन की आवश्यकता थी। फिर हमने एक ऐसी सेवा बनाने का निर्णय लिया, जो सभी Yandex UGC उत्पादों के लिए स्पैम और साइबर अपराधियों से सुरक्षा प्रदान करेगी और खोज में अनुचित सामग्री को फ़िल्टर करने के लिए सर्वोत्तम प्रथाओं का उपयोग करेगी। सेवा को क्लीन वेब कहा जाता था।

नए कार्य और मदद करने वाले

सबसे पहले, केवल सरल स्वचालन ने हमारे लिए काम किया: सेवाओं ने हमें ग्रंथ भेजे, और हमने उन पर मैट शब्दकोशों, पोर्न और नियमित शब्दकोश चलाए - विश्लेषकों ने सब कुछ मैन्युअल रूप से किया। लेकिन समय के साथ, इस सेवा का उपयोग यैंडेक्स उत्पादों की बढ़ती संख्या में किया गया था, और हमें नई समस्याओं के साथ काम करना सीखना था।

अक्सर, याद करने के बजाय, उपयोगकर्ता पत्रों का एक व्यर्थ सेट प्रकाशित करते हैं, अपनी उपलब्धियों को हवा देने की कोशिश करते हैं, कभी-कभी एक प्रतियोगी की कंपनी की समीक्षाओं में अपनी कंपनी का विज्ञापन करते हैं, और कभी-कभी वे संगठनों को भ्रमित करते हैं और एक पालतू जानवर की दुकान के बारे में समीक्षा में लिखते हैं: "परफेक्ट कुक मछली!" शायद किसी दिन कृत्रिम बुद्धि किसी भी पाठ के अर्थ पर पूरी तरह से कब्जा करना सीख जाएगी, लेकिन अब स्वचालन कभी-कभी मनुष्यों की तुलना में खराब हो जाता है।

यह स्पष्ट हो गया कि कोई मैनुअल मार्किंग के बिना नहीं कर सकता था, और हमने अपने सर्किट में दूसरा चरण जोड़ा - एक व्यक्ति द्वारा मैनुअल निरीक्षण के लिए भेजना। उन प्रकाशित ग्रंथ थे जिनके लिए क्लासिफायर ने समस्याएं नहीं देखीं। आप आसानी से इस तरह के कार्य के पैमाने की कल्पना कर सकते हैं, इसलिए हम न केवल मूल्यांकनकर्ताओं पर भरोसा करते हैं, बल्कि "भीड़ का ज्ञान" भी इस्तेमाल करते हैं, अर्थात्, हमने टोलरों से मदद मांगी। यह वह है जो हमें यह पहचानने में मदद करता है कि मशीन क्या याद करती है, और इस तरह यह सिखाती है।

स्मार्ट कैशिंग और एलएसएच हैशिंग

एक और समस्या जो हमें टिप्पणियों के साथ काम करते समय सामने आई, वह है स्पैम, या यों कहें कि इसकी मात्रा और वितरण की गति। जब Yandex.Ryon के दर्शक तेजी से बढ़ने लगे, तो स्पैमर वहां आ गए। उन्होंने पाठ को थोड़ा बदलकर नियमित रूप से प्राप्त करना सीख लिया। स्पैम, बेशक, अभी भी पाया गया था और हटा दिया गया था, लेकिन सैकड़ों लोग एक यैंडेक्स पैमाने पर 5 मिनट के लिए भी अस्वीकार्य संदेश देख सकते थे।

बेशक, यह हमें शोभा नहीं देता और हमने LSH ( स्थानीयता-संवेदनशील हैशिंग) पर आधारित ग्रंथों की स्मार्ट कैशिंग की) यह इस तरह से काम करता है: हमने पाठ को सामान्य किया, उसमें से लिंक को फेंक दिया और इसे n-gr (n अक्षरों के क्रम) में काट दिया। इसके अलावा, एन-ग्राम से हैश को माना जाता था, और दस्तावेज़ का एलएसएच-वेक्टर पहले से ही उन पर बनाया गया था। मुद्दा यह है कि समान पाठ, भले ही वे थोड़ा बदल गए हों, समान वैक्टर में बदल गए।

इस निर्णय ने समान ग्रंथों के लिए सहपाठियों और दलालों के फैसले का पुन: उपयोग करने की अनुमति दी। एक स्पैम हमले में, जैसे ही पहले संदेश ने चेक पास किया और "स्पैम" फैसले के साथ कैश में आ गया, सभी नए समान संदेशों, यहां तक कि संशोधित किए गए, एक ही फैसले को प्राप्त किया और स्वचालित रूप से हटा दिया गया। बाद में, हमने स्पैम क्लासिफायर को प्रशिक्षित करने और स्वचालित रूप से पुनर्प्राप्त करने के लिए सीखा, लेकिन यह "स्मार्ट कैश" हमारे साथ बना हुआ है और अभी भी हमें बहुत मदद करता है।

अच्छे ग्रंथों का वर्गीकरण

स्पैम से लड़ने से ब्रेक लेने का समय नहीं है, हमने महसूस किया कि हमारी सामग्री का 95% मैन्युअल रूप से संचालित होता है: क्लासिफायर केवल उल्लंघनों का जवाब देते हैं, और अधिकांश ग्रंथ अच्छे होते हैं। हम टोलर्स को लोड करते हैं, जो 100 में से 95 मामलों में "सब कुछ ठीक है" की रेटिंग डालते हैं। मुझे एक असामान्य काम करना था - अच्छी सामग्री के क्लासिफायर बनाने के लिए, इस समय के लिए मार्कअप का लाभ पर्याप्त रूप से जमा हुआ है।

पहला क्लासिफायर इस तरह दिखता था: हम पाठ को लेमेटेट करते हैं (हम शब्दों को प्रारंभिक रूप में कम करते हैं), भाषण के सभी सेवा भागों को बाहर फेंकते हैं और पहले से तैयार "अच्छे नींबू का शब्दकोश" का उपयोग करते हैं। यदि पाठ में सभी शब्द "अच्छे" हैं, तो पूरे पाठ में उल्लंघन नहीं हैं। विभिन्न सेवाओं पर, इस दृष्टिकोण ने तुरंत मैनुअल मार्कअप स्वचालन के 25 से 35% तक दिया। बेशक, यह दृष्टिकोण आदर्श नहीं है: कई निर्दोष शब्दों को संयोजित करना और बहुत ही आक्रामक कथन प्राप्त करना आसान है, लेकिन इसने हमें जल्दी से स्वचालन के अच्छे स्तर तक पहुंचने की अनुमति दी और अधिक जटिल मॉडल को प्रशिक्षित करने का समय दिया।

अच्छे ग्रंथों के सहपाठियों के निम्नलिखित संस्करणों में पहले से ही रैखिक मॉडल और निर्णय पेड़ और उनके संयोजन शामिल थे। अशिष्टता और अपमान को चिह्नित करने के लिए, उदाहरण के लिए, हम BERT तंत्रिका नेटवर्क की कोशिश करते हैं। संदर्भ में शब्द के अर्थ और विभिन्न वाक्यों से शब्दों के कनेक्शन को समझना महत्वपूर्ण है, और BERT इस का एक अच्छा काम करता है। (वैसे, हाल ही में, समाचार के सहयोगियों ने बताया कि वे गैर-मानक कार्य के लिए तकनीक का उपयोग कैसे करते हैं - हेडर में त्रुटियों की खोज करने के लिए।) नतीजतन, हम सेवा के आधार पर 90% प्रवाह को स्वचालित करने में कामयाब रहे।

सटीकता, पूर्णता और गति

विकसित करने के लिए, आपको यह समझने की आवश्यकता है कि किस प्रकार के स्वचालित क्लासिफायर लाभ लाते हैं, उनमें परिवर्तन करते हैं, और यह भी कि क्या मैनुअल चेक की गुणवत्ता में गिरावट नहीं आती है। इसके लिए, हम सटीकता और पूर्णता के संकेतक का उपयोग करते हैं।

सटीकता खराब सामग्री के सभी verdicts के बीच सही फैसले का अनुपात है। उच्च सटीकता, कम झूठी सकारात्मक। यदि आप सटीकता का पालन नहीं करते हैं, तो सिद्धांत रूप में आप सभी स्पैम और अश्लीलता को हटा सकते हैं, और उनके साथ अच्छे संदेशों का आधा हिस्सा। दूसरी ओर, यदि आप केवल सटीकता पर भरोसा करते हैं, तो सबसे अच्छी तकनीक वह होगी जो किसी को पकड़ती नहीं है। इसलिए, पूर्णता का एक संकेतक भी है: खराब सामग्री की कुल मात्रा के बीच पता चला बुरी सामग्री का अनुपात। ये दोनों मैट्रिक्स एक दूसरे को संतुलित करते हैं।

माप के लिए, हम प्रत्येक सेवा के लिए संपूर्ण इनकमिंग स्ट्रीम का नमूना लेते हैं और मशीन मूल्यांकन के साथ विशेषज्ञ मूल्यांकन और तुलना के लिए सामग्री का नमूना देते हैं।

लेकिन एक और महत्वपूर्ण संकेतक है।

मैंने ऊपर लिखा है कि 5 मिनट में भी सैकड़ों लोग अस्वीकार्य संदेश देख सकते हैं। इसलिए, हम इस बात पर विचार करते हैं कि कितनी बार हम लोगों को इसे छिपाने से पहले बुरी सामग्री दिखाने में कामयाब रहे। यह महत्वपूर्ण है, क्योंकि यह कुशलता से काम करने के लिए पर्याप्त नहीं है - आपको तेजी से काम करने की आवश्यकता है। और जब हमने चटाई के खिलाफ रक्षा का निर्माण किया, तो हमने इसे पूर्ण महसूस किया।

बिल्ली के बच्चे और कुत्तों के उदाहरण पर एंटीमैट

एक मामूली गीतात्मक विषयांतर। कोई कह सकता है कि शपथ लेना और अपमान करना दुर्भावनापूर्ण लिंक के रूप में खतरनाक नहीं है, और स्पैम के रूप में कष्टप्रद नहीं है। लेकिन हम लाखों उपयोगकर्ताओं के बीच संचार के लिए एक आरामदायक वातावरण बनाए रखने का प्रयास करते हैं, और लोग जहां वे नाराज हैं वहां लौटना पसंद नहीं करते हैं। कोई आश्चर्य नहीं कि अश्लील भाषा पर प्रतिबंध और अपमान कई समुदायों के नियमों में उल्लिखित है, जिसमें हैबे भी शामिल है। लेकिन हम विचलित थे।

माता के शब्दकोश रूसी भाषा के सभी धन के साथ सामना नहीं करते हैं। इस तथ्य के बावजूद कि केवल चार मुख्य अश्लील जड़ें हैं, उनमें से आप उन शब्दों का असंख्य बना सकते हैं जिन्हें आप किसी भी नियमित रूप से पकड़ नहीं सकते हैं। इसके अलावा, आप एक शब्द के लिप्यंतरण भाग में लिख सकते हैं, अक्षरों को समान संयोजनों के साथ बदल सकते हैं, अक्षरों को जोड़ सकते हैं, तारों को जोड़ सकते हैं, आदि। कभी-कभी, संदर्भ के बिना, यह निर्धारित करना मूल रूप से असंभव है कि उपयोगकर्ता का अश्लील शब्द क्या था। हम हबर के नियमों का सम्मान करते हैं, इसलिए, हम इसे जीवित उदाहरणों पर नहीं, बल्कि मुहरों और कुत्तों पर प्रदर्शित करेंगे।

"Lyau," बिल्ली ने कहा। लेकिन हम समझते हैं कि बिल्ली ने एक और शब्द कहा ...

हमने अपनी शब्दावली के "फजी मिलान" के एल्गोरिदम के बारे में और अधिक बुद्धिमान प्रीप्रोसेसिंग के बारे में सोचना शुरू किया: अनुवादित, सरेस से जोड़ा हुआ रिक्त स्थान और विराम चिह्न, पैटर्न की तलाश की और उन पर अलग-अलग नियमित लिखा। इस दृष्टिकोण से परिणाम प्राप्त हुए, लेकिन वांछित पूर्णता प्रदान किए बिना, अक्सर सटीकता कम हो गई।

फिर हमने "शपथ शब्दों की तरह सोचने का फैसला किया।" हमने स्वयं डेटा में शोर शुरू करना शुरू किया: अक्षरों को फिर से व्यवस्थित किया, टाइपो उत्पन्न किया, अक्षरों को समान वर्तनी के साथ प्रतिस्थापित किया, और इसी तरह। इसके लिए प्रारंभिक मार्कअप ग्रंथों के बड़े कोर में मैट शब्दकोशों को लागू करके लिया गया था। यदि आप एक वाक्य लेते हैं और इसे कई तरीकों से विकृत करते हैं, तो आपके पास पहले से ही कई वाक्य होंगे। तो आप प्रशिक्षण नमूना दसियों गुना बढ़ा सकते हैं। जो कुछ भी था वह प्राप्त पूल पर कुछ अधिक या कम स्मार्ट मॉडल को प्रशिक्षित करना था जो संदर्भ को ध्यान में रखते थे।

अंतिम निर्णय के बारे में बात करना जल्दबाजी होगी। हम अभी भी इस समस्या के दृष्टिकोण के साथ प्रयोग कर रहे हैं, लेकिन हम पहले से ही देखते हैं कि कई परतों का एक सरल प्रतीकात्मक संकल्पना नेटवर्क शब्दकोशों और नियमितताओं से अधिक है: यह सटीकता और पूर्णता दोनों को बढ़ाने के लिए निकलता है।

बेशक, हम समझते हैं कि हमेशा सबसे उन्नत स्वचालन के आसपास होने के तरीके भी होते हैं, खासकर जब यह बहुत लापरवाह होता है: लिखने के लिए ताकि एक बेवकूफ मशीन समझ में न आए। यहाँ, जैसे स्पैम के खिलाफ लड़ाई में, हमारे पास कुछ अश्लील लिखने की बहुत संभावना को खत्म करने का कोई लक्ष्य नहीं है, हमारा काम खेल को मोमबत्ती के लायक नहीं बनाना है।

अपनी राय, संवाद और टिप्पणी साझा करने का अवसर खोलना आसान है। सुरक्षित, आरामदायक वातावरण और लोगों के लिए सम्मान हासिल करना बहुत मुश्किल है। और इसके बिना किसी भी समुदाय का विकास नहीं होगा।