🕢 🙋🏻 👋🏽 टारनटूल: एनालिस्ट लुक ❤️ 🙅🏻 🤱🏻

सभी को नमस्कार! मेरा नाम एंड्री कपुस्टिन है। मैं Mail.ru ग्रुप में सिस्टम एनालिस्ट के रूप में काम करता हूं। हमारे उत्पाद उपयोगकर्ता के लिए एक एकल पारिस्थितिकी तंत्र बनाते हैं, जिसमें डेटा कई स्वतंत्र अवसंरचनाएँ उत्पन्न करता है: टैक्सी और खाद्य आदेश देने वाली सेवाएँ, मेल सेवाएँ, सामाजिक नेटवर्क। आज, हम जितनी तेज़ी से और अधिक सटीक रूप से ग्राहक की आवश्यकता का अनुमान लगा सकते हैं, उतने तेज़ और अधिक सटीक रूप से हम उसे अपने उत्पादों की पेशकश कर सकते हैं।

कई सिस्टम विश्लेषक और इंजीनियर अब सवाल पूछ रहे हैं:

वास्तविक समय के विपणन के लिए एक ट्रिगर मंच वास्तुकला कैसे डिजाइन करें?
एक डेटा संरचना कैसे व्यवस्थित करें जो ग्राहकों के साथ बातचीत के लिए विपणन रणनीति की आवश्यकताओं को पूरा करती है?
बहुत अधिक भार के तहत ऐसी प्रणाली का स्थिर संचालन कैसे सुनिश्चित करें?

ये सिस्टम उच्च-लोड प्रसंस्करण और बड़े डेटा के विश्लेषण पर आधारित हैं। हमने इन क्षेत्रों में काफी अनुभव प्राप्त किया है। और एक वास्तविक कहानी के उदाहरण के रूप में, मैं आपको टारेंटूल का उपयोग करके रियल-टाइम मार्केटिंग के क्षेत्र में विश्लेषण और समाधान के विकास के बारे में हमारे दृष्टिकोण के बारे में बताऊंगा।

एक बार एक बड़ा टेलिकॉम ऑपरेटर मदद के लिए हमारे पास आया।

कार्य यह था:

हमारे 100 मिलियन से अधिक ग्राहक हैं। हम उनके बारे में बहुत कुछ जानते हैं: वर्तमान संतुलन, यातायात की मात्रा, जुड़ी हुई सेवाएं, यात्राएं, पसंदीदा स्थान। हम जितनी भी जानकारी का उपयोग करते हैं, हम करते हैं: हम दिन के दौरान डेटा एकत्र करते हैं, रिपॉजिटरी (डेटालेक) में बड़ी मात्रा में जानकारी डालते हैं। हम रात में हैंडलर शुरू करते हैं, सुबह हम विज्ञापन अभियान बनाते हैं और ऑफ़र भेजते हैं।

और हम वास्तविक समय में एक ही काम करना चाहते हैं!

क्यों? क्योंकि जितनी तेजी से टेलीकॉम ऑपरेटर सूचनाओं की प्रोसेसिंग करता है, उतने ही अधिक पैसे कमा सकता है। उदाहरण के लिए, आवेगों की खरीद पर: एक उपयोगकर्ता दोपहर के भोजन के समय एक कैफे से गुजरता है, और फिर उसके फोन पर छूट आती है ताकि वह इस विशेष कैफे का चयन करे। यही है, आपको सही समय पर सही उत्पाद की "पेशकश" करने की आवश्यकता है और सुविधाजनक तरीके से ऑफ़र का तुरंत जवाब देने में मदद करें।

आपको किसी व्यावसायिक समस्या को हल करने की आवश्यकता है:

आप ग्राहक प्रोफ़ाइल के माध्यम से आवश्यकता निर्धारित कर सकते हैं।
क्षण का निर्धारण करें - मानव जीवन की घटनाओं के अनुसार।
फीडबैक को बढ़ाएं - इष्टतम संचार चैनल का चयन।

इसे रियल-टाइम मार्केटिंग कहा जाता है। दूरसंचार क्षेत्र के संबंध में, IMMEDIATELY की पेशकश का जवाब देने की क्षमता के साथ सही समय पर ग्राहकों को प्रासंगिक व्यक्तिगत संदेश भेजना। लक्ष्य समूह और विशिष्ट उपयोगकर्ता दोनों के लिए प्रस्तावों का गठन किया जा सकता है, जबकि अनुरोध को किसी भी मामले में वास्तविक समय पर संसाधित किया जाना चाहिए।

तकनीकी दृष्टिकोण से, हमें निम्नलिखित समस्याओं का समाधान करना चाहिए:

100 मिलियन से अधिक ग्राहकों का अप-टू-डेट डेटा रखना;
30,000 आरपीएस के भार पर वास्तविक समय घटना प्रवाह प्रसंस्करण;
गैर-कार्यात्मक आवश्यकताओं (प्रतिक्रिया समय, उपलब्धता, आदि) की पूर्ति के साथ ग्राहकों को लक्षित प्रस्तावों का गठन और मार्ग;
ग्राहकों द्वारा विषम डेटा के नए स्रोतों का निर्बाध कनेक्शन।

इस मामले में "वास्तविक समय" का अर्थ 30 सेकंड में सूचना प्रसंस्करण है। यह अब व्यर्थ है, इस क्षण को याद किया जाता है, ग्राहक चला जाता है। और सबसे दुखद बात यह है कि ऐसी स्थिति में यह स्पष्ट नहीं होगा कि (?) - क्या हमने गलत चीज का प्रस्ताव किया था या समय पर प्रबंधन नहीं किया था?

उत्पाद विकास के लिए इस प्रश्न का उत्तर प्राप्त करना बहुत महत्वपूर्ण है:

अपने उत्पादों का विपणन प्रचार: परिकल्पना का परीक्षण करें, राजस्व बढ़ाएँ।
हम संभावित ग्राहकों को आकर्षित करते हैं: हम विज्ञापन में निवेश करते हैं, हम बाजार पर कब्जा करते हैं।
हम अतिरिक्त सेवाओं या सेवाओं को जोड़ते हैं: हम उत्पाद लाइन का विस्तार करते हैं।

हर चरण में गलतियाँ करना आसान है। और त्रुटि की कीमत बहुत अच्छी है। हमें जल्दी और सटीक रूप से हरा देना चाहिए! और इसके लिए ग्राहक की जानकारी पूर्ण और चालू होनी चाहिए। इस मामले में, जानकारी वास्तव में पैसे के लायक है!

आखिरकार, जितना अधिक हम अपने ग्राहकों के बारे में जानते हैं, उतना अधिक हम कमाएंगे। इसका मतलब है कि क्लाइंट प्रोफाइल में प्रत्येक नए पैरामीटर को जोड़ने से लक्ष्यीकरण की सटीकता बढ़ जाती है। लेकिन यह एक सतत प्रक्रिया है क्योंकि:

ग्राहक आधार लगातार बढ़ रहा है।
सेवाओं की श्रेणी का विस्तार हो रहा है।

ऐसी स्थितियों में, ग्राहक आधार को खंडित करना बहुत प्रभावी है। इस मामले में, स्तरीकरण तंत्र - ग्राहकों की बहुभिन्नरूपी वर्गीकरण का उपयोग करने का निर्णय लिया गया।

सीधे शब्दों में, हम विशिष्ट संख्या के गुणों की श्रेणी के आधार पर ग्राहकों के विशिष्ट समूहों (स्ट्रेट) को अलग करते हैं। इस स्थिति में, सब्सक्राइबर को स्वचालित रूप से स्ट्रैटम को संबंधित रेंज में विशेषता मान के संक्रमण पर तुरंत बदलना चाहिए।

नीचे दिया गया आंकड़ा बचपन से स्तरीकरण के तीन आयामी मॉडल का एक उदाहरण है। एक गेंद एक ग्राहक है।

प्रत्येक ग्राहक के लिए, हम गणना कर सकते हैं कि उन्होंने उसे आकर्षित करने में कितना खर्च किया, उन्होंने कितना कमाया और कैसे। यही है, हम जानते हैं कि अगर हम इसे अपडेट नहीं करते हैं तो जानकारी कितनी खर्च होती है , और हम कितना खो देते हैं।

उन्होंने गिना और फैसला किया - अपडेट करना आवश्यक है! और तुरंत समस्याएं पैदा होती हैं: हमेशा कुछ न कुछ छूट जाता है। प्रत्येक परियोजना में, नई आवश्यकताएं ग्राहक से आती हैं जो TK, वास्तुकला, एक-दूसरे और ... सामान्य ज्ञान के विपरीत हैं। डेटा अखंडता और प्रासंगिकता बनाए रखना हर दिन अधिक कठिन होता जा रहा है। जानकारी के नए स्रोत नई विशेषताओं के साथ दिखाई देते हैं जो स्पष्ट नहीं हैं कि कहां स्टोर करना है और कैसे प्रक्रिया करना है।

यह ध्यान में रखा जाना चाहिए कि अधिक सामान्यीकृतडेटा, अधिक प्रतिबंध, निर्देशिका, उनमें जांच। जिस किसी ने भी "चलते-फिरते" तालिका में कुछ क्षेत्रों को जोड़ने की कोशिश की, वह जानता है कि यह किस तरह का "चित्रकार" है: यह वर्तमान डेटा मॉडल में फिट नहीं होता है! और ग्राहक कैसे समझा सकता है कि यदि आप एक नया क्षेत्र जोड़ते हैं, तो आपको परियोजना कोड के आधे हिस्से को फिर से लिखना होगा! हम प्रवेश पर "अतिरिक्त" एनालिटिक्स को "पतन" या "त्याग" करते हैं, और परिणामस्वरूप हम प्रासंगिक प्रस्ताव नहीं बना सकते हैं।

पश्चिमी सहयोगियों ने इस प्रभाव को "शिट इन-शिट आउट" कहा है।

नतीजतन, डेटा अधिक स्थान लेता है और इसे संसाधित करना अधिक कठिन होता है। जानकारी की मात्रा में वृद्धि के साथ, यह महत्वपूर्ण हो जाता है, क्योंकि लेनदेन प्रसंस्करण गति कम हो जाती है। और हमारा लक्ष्य प्रति मिनट 30,000 से अधिक अनुरोधों के साथ प्रत्येक अनुरोध को प्रति मिनट संसाधित करने का है।

निष्कर्ष: रीयल-टाइम मार्केटिंग, सामान्यीकरण के लिए100+ मिलियन ग्राहकों के लिए उपयुक्त नहीं है ।

हम एक सार्वभौमिक ग्राहक प्रोफ़ाइल के रूप में एक समाधान पर पहुंचे। यह कुंजी-मूल्य के भंडारण में निहित है, इसलिए हम डेटा संरचना को ठीक नहीं कर सकते हैं। प्रत्येक स्तंभ एक कुंजी और मूल्य है, जो कुछ भी हो सकता है।

हमें इसका एक संयोजन मिला:

स्थिर विशेषताएँ जिन्हें शायद ही कभी अपडेट किया जाता है (नाम, पासपोर्ट, पता)। आईडी के साथ अनिवार्य ब्लॉक।
और मनमानी लंबाई की एक गतिशील पूंछ - अक्सर अद्यतन किए गए डेटा जो स्रोत पर निर्भर करते हैं। प्रत्येक स्रोत के लिए कई स्वतंत्र ब्लॉक।

इस दृष्टिकोण को अपभ्रंश कहा जाता है। यह कितना सुविधाजनक है?

"पूंछ" को मान्य नहीं किया जा सकता है ।
हम प्रसंस्करण के बिना "कच्चे" डेटा को बचाते हैं।
हम आने वाली सभी जानकारी को सहेजते हैं, हम कुछ भी नहीं खोते हैं।
ID , .
( 2-3 ), .
: .

अब आपको कार्यान्वयन के लिए एक उपकरण का चयन करने की आवश्यकता है। यह आमतौर पर आर्किटेक्ट द्वारा उन आवश्यकताओं के अनुसार किया जाता है जो विश्लेषक इकट्ठे हुए थे। एनएफटी - डेटा की अपेक्षित मात्रा और लोड के स्तर का पता लगाना बहुत महत्वपूर्ण है। यह इस बात पर निर्भर करता है कि हम डेटा भंडारण और प्रसंस्करण के किन तरीकों का उपयोग करेंगे।

इस अध्याय के शीर्षक से संकेत मिलता है कि हमारी सेवा बहुत सारे डेटा को संसाधित करेगी। और बहुत - कितना? चलिए इसका पता लगाते हैं।

यदि संबंध उन्हें नग्न आंखों से दिखाई नहीं देते हैं तो डेटा को बड़ा माना जा सकता है।

हम 100 मिलियन से अधिक विभिन्न ग्राहक प्रोफाइलों को संसाधित करते हैं, जिनमें असंरचित जानकारी होती है, अक्सर अपडेट और उपयोग की जाती है - यह वास्तविक बड़ा डेटा है।

आपको वर्तमान ग्राहक प्रोफाइल को कैश करना होगा। रैम में गर्म डेटा संग्रहीत किए बिना, वास्तविक समय प्रसंस्करण प्राप्त नहीं किया जा सकता है।

उच्च भार

अब हम लोड की तीव्रता, अर्थात अनुरोधों की संख्या से निपटेंगे। "उच्च भार" शब्द का उपयोग उन स्थितियों का वर्णन करने के लिए किया जाता है जब उपकरण लोड का सामना करना बंद कर देते हैं।

हम विभिन्न प्रकार की घटनाओं को संसाधित करते हैं जो प्रति सेकंड 10 से 30 हजार अनुरोधों की तीव्रता के साथ होती हैं। इस मामले में, जटिल व्यावसायिक तर्क का उपयोग किया जाता है, और प्रतिक्रिया की गति महत्वपूर्ण होती है। जाहिर है, हम एक अत्यधिक भरी हुई सेवा को डिजाइन कर रहे हैं, जिसे तत्काल लोड के आधार पर गतिशील रूप से स्केल करना चाहिए।

त्वरक के रूप में टारनटूल

हम ऐसी समस्याओं को हल करने के लिए Mail.ru ग्रुप टारनटूल का उपयोग करते हैं। Habré के बारे में बहुत कुछ कहा गया है कि इसे "हुड के नीचे" कैसे बनाया गया है, मैंने इसे दोहराया नहीं है, मुझे केवल मुख्य बिंदु याद होंगे:

टारेंटूल एक इन-मेमोरी DBMS और एक बोतल में एप्लिकेशन सर्वर है।

बड़ी मात्रा में डेटा के साथ काम करते समय, इसे दो तरीकों से उपयोग करने की सलाह दी जाती है:

एक्सेस में तेजी लाने के लिए रैम में कैशिंग जानकारी के लिए डेटा शोकेस के रूप में।
निर्दिष्ट नियमों के अनुसार डेटा को संसाधित करने के लिए एक एप्लिकेशन सर्वर के रूप में।

यही है, व्यापार तर्क डेटा के बगल में संग्रहीत किया जाता है, जो अत्यधिक भरी हुई सेवाओं के लिए महत्वपूर्ण है। हमारी परियोजना में, हमने टारेंटूल का उपयोग एक "स्मार्ट" डेटा स्टोरफ्रंट के रूप में किया है जिसमें अंतर्निहित व्यावसायिक तर्क हैं, जिसके अनुसार घटनाओं और सूचनाओं की आने वाली धारा का उड़ने वाला प्रसंस्करण होता है।

आरटीएम के लिए टारनटूल क्यों प्रभावी है:

हॉट डेटा कैशिंग। क्लाइंट प्रोफाइल मेमोरी में कैश्ड होती है, इसलिए यह हमेशा अपडेट रहती है।
जटिल वास्तविक समय कंप्यूटिंग। प्रत्येक घटना के लिए ग्राहकों को व्यक्तिगत ऑफ़र वास्तविक समय में बनते हैं।
दोष सहिष्णु और मापनीय समाधान:

हमारी परियोजना में दो स्पष्ट जोखिम हैं:

, . — Tarantool c , .
, . , . , . , . , अर्थात। क्वेरी प्रक्रिया को समानांतर बनाने और इस प्रकार रिकॉर्ड पर लोड को कम करने के लिए कई शार्क के बीच ग्राहक प्रोफ़ाइल तालिका के 100 मिलियन रिकॉर्ड वितरित करें। सबसे सरल उदाहरण है कि ग्राहक प्रोफ़ाइल तालिका को ID मानों की श्रेणी से विभाजित करें। इस समस्या को हल करने के लिए, टारेंटूल क्षैतिज स्केलिंग टूल प्रदान करता है, जिसके बारे में और अधिक जानकारी प्राप्त की जा सकती है, उदाहरण के लिए, लेख " टारनटूल कार्ट्रिज: तीन लाइनों में लुआ बैकेंड को तेज करना "।

निष्कर्ष

टारेंटूल ओरेकल या अन्य विश्लेषणात्मक रिपॉजिटरी की जगह नहीं लेता है। इसी समय, यह वास्तविक समय में बड़ी मात्रा में डेटा को संसाधित करने के लिए प्रभावी है। हमने सहमत शर्तों और परियोजना बजट के भीतर ग्राहक के कार्य को सफलतापूर्वक हल कर दिया है, इसलिए मैं अत्यधिक भरी हुई सेवाओं को बनाते समय इस उपकरण के साथ प्रयोग करने की सलाह देता हूं।

टारनटूल: एनालिस्ट लुक

उच्च भार

त्वरक के रूप में टारनटूल

निष्कर्ष

More articles: