आज हम निकोलाई शेवत्सोव और रुस्तम किल्डिव की रिपोर्ट का एक प्रतिलेख प्रकाशित करते हैं जिसमें टी + कॉन्फ 2019 के साथ " एरफ्लोट में टारनटूल, या एमडीएम (मास्टर डेटा मैनेजमेंट) फ्लाई पर है ।" रिपोर्ट से आप सीखेंगे:

एमडीएम की आवश्यकता क्यों है?
मुझे वास्तविक समय की आवश्यकता क्यों है?
डेटा साइंस सिर्फ जुपिटर नोटबुक से ज्यादा है।
टारेंटूल के पेशेवरों।
लुआ बेचने में अच्छा क्यों है।

सूचना प्रौद्योगिकी सक्रिय रूप से हमारी कंपनी को ग्राहकों को आकर्षित करने में मदद करती है। आज, हम सक्रिय रूप से कई बिग डेटा प्रोजेक्ट शुरू कर रहे हैं। ये विपणन परियोजनाएं हैं जो हमें डेटा विभाजन में मदद करती हैं और ग्राहकों, सामाजिक अनुसंधान, शिकायतों और अपील के साथ काम करने और बहुत अधिक जानकारी लाने में मदद करती हैं। साथ ही, कई परियोजनाएं कार्यान्वित की जा रही हैं जो व्यवसाय की लाभप्रदता और लाभप्रदता बढ़ाने में मदद करती हैं। उदाहरण के लिए, समय पर अधिशेष बेचने या समय पर रखरखाव के लिए अलग-अलग घटकों की विफलता और विमान के स्पेयर पार्ट्स की भविष्यवाणी करने के लिए परियोजनाओं में से एक बोर्ड पर उपलब्ध सामान का विश्लेषण है।

यह कॉल हैंडलिंग प्लेटफ़ॉर्म में है कि हम सक्रिय रूप से टारनटूल का उपयोग करते हैं, और इसके बारे में थोड़ा अधिक।

हमारे लिए बिग डेटा का मुख्य मूल्य डेटा का विश्लेषण करने की क्षमता है। हम आगे की प्रक्रिया के लिए एयरोफ्लोट से संबंधित सभी नए स्रोतों को एक ही सूचना क्षेत्र में एकत्रित करने का प्रयास कर रहे हैं।

निकोले शेवत्सोव, एअरोफ़्लोत। सूचना प्रणाली विभाग में परियोजना प्रबंधक।

आमतौर पर लोग टिकट कैसे खरीदते हैं? यात्रा के बारे में एक विचार है, एक व्यक्ति इसे दोस्तों और रिश्तेदारों के साथ सामाजिक नेटवर्क और मंचों में साझा करता है, और फिर साइट पर एक टिकट खरीदता है। सूचना के कई स्रोत हैं, और हमारा काम उन सभी को इकट्ठा करना है और उनका विश्लेषण करना है ताकि यात्रियों की सेवा और एयरलाइन के प्रति उनके रवैये को समझ सकें।

हमारी एक परियोजना को कॉल प्लेटफॉर्म कहा जाता है। हम कई स्रोतों से सभी समीक्षाएं, अपील और शिकायतें एकत्र करते हैं। "प्लेटफ़ॉर्म" साइट पर या मोबाइल एप्लिकेशन में हमारी एकल संग्रह विंडो है जिसके माध्यम से हम उपयोगकर्ताओं से जानकारी प्राप्त करते हैं। हम एयरोफ्लोट से संबंधित सोशल मीडिया समीक्षा भी एकत्र करते हैं।

कई एअरोफ़्लोत डिवीजन शिकायतों और अपीलों को संभालने में शामिल हैं: कर्मचारियों को बोर्ड पर सर्विसिंग में, प्रस्थान क्षेत्र में, आगमन के समय, आदि। अधिकांश शिकायतें, प्रति दिन लगभग 2.5 हजार, उन यात्रियों को आती हैं जिन्हें कोई समस्या है। प्रत्येक शिकायत को एक विशिष्ट कर्मचारी को उपयुक्त विभाग को संसाधित, वर्गीकृत और पुनर्निर्देशित किया जाना चाहिए, जो यात्री की समस्या को हल कर सकता है। स्थिति का विश्लेषण करने और निर्णय लेने में समय बचाने के लिए पहचान संबंधी शिकायतों को समूहबद्ध किया जा सकता है।

परियोजना का उद्देश्य अनुप्रयोगों के प्रसंस्करण का अनुकूलन करना और उनके प्रसंस्करण के लिए समय कम करना है। ऐसा करने के लिए, एक प्रणाली बनाना आवश्यक था, जो किसी शिकायत के समय, स्वचालित रूप से अपना विषय निर्धारित करती है और उपयुक्त कर्मचारी को उपयुक्त विभाग को भेजती है। एक शिकायत को संसाधित करने की प्रक्रिया में, ग्राहक को ग्राहक को उसकी प्रोफ़ाइल, नियोजित भविष्य की उड़ानों आदि के बारे में सभी उपलब्ध जानकारी मिलनी चाहिए।

परियोजना की शुरुआत में, हमने कई उपकरणों पर विचार किया जो इस मामले में हमारी मदद कर सकते हैं और अंततः टारनटूल को चुना। जीवन ने दिखाया है कि यह सही विकल्प था: यह आपको एसएलए आवश्यकताओं का पालन करने की अनुमति देता है और साथ ही साथ बढ़ते लोड के साथ अच्छी तरह से तराजू।

कार्यान्वयन

एयरोफ्लोट ने शिकायतों से निपटने के लिए एक मंच पेश किया। यह असंरचित जानकारी का भंडार है, जिसके आधार पर अद्वितीय ग्राहक प्रोफाइल का विश्लेषण और संश्लेषण किया जाता है।

अनुरोधों पर प्राप्त जानकारी को संसाधित और व्यवस्थित किया जाना चाहिए। अपीलें पाठ हैं जिन्हें एक कच्चे रूप में संग्रहीत नहीं किया जा सकता है, इसलिए संपूर्ण पाठ सदिश है। एक हिट के सेट के लिए एक खोज की जाती है, अद्वितीय शब्दों और वाक्यांशों का एक नक्शा संकलित किया जाता है, जिसके आधार पर बाद के सभी हिटों को बदलने के लिए प्रारंभिक वेक्टर की गणना की जाती है। प्रारंभ में, हमारे डेटा विश्लेषण विशेषज्ञों ने एक क्लस्टर या स्थानीय लैपटॉप पर क्लासिक टूल्स - पायथन और जुपिटर नोटबुक का उपयोग किया। वेक्टर का एक गतिशील आकार होता है, जो कठिनाइयों का निर्माण करता है।

कई अन्य उपकरणों के विपरीत, टारनटूल एक पूर्ण अनुप्रयोग सर्वर है। हम कई पुस्तकालयों का उपयोग कर सकते हैं, जैसे कि SciLua, एक नियमित प्रोग्रामिंग भाषा में तर्क लिखते हैं, आदि। अब हम सीधे टारेंटूल में वास्तविक समय में सिसिलिया पुस्तकालय का उपयोग करके डेटा को वेक्टर कर रहे हैं। फिर, कोसाइन डिस्टेंस विधि का उपयोग करते हुए, सिस्टम तीन महीने की अवधि के लिए एक समान वेक्टर की खोज करता है। नतीजतन, हमें आगे की प्रक्रिया के लिए या तो दोहरी या समान कॉल मिलती हैं। खोज प्रक्रिया में, बहुत सारी गणितीय गणना की जाती है: 3 महीने में, लगभग 100 हजार कॉल सभी उपलब्ध स्रोतों से संसाधित किए जाते हैं। औसत प्रसंस्करण समय 120 एमएस है।

रुस्तम किल्डिव, इनोदाटा में सीटीओ।

भूमिकारूप व्यवस्था

हमारा टारनटूल डेटाबेस चार सोलह-कोर सर्वरों पर चलता है जिसमें बड़ी मात्रा में रैम होता है। Vshard मॉड्यूल के लिए धन्यवाद, जानवर बल के साथ एक त्वरित खोज को लागू करना संभव था। डेटा को भागों - बाल्टी में विभाजित किया गया है, ताकि क्वेरी प्रसंस्करण समानांतर हो। सिस्टम को स्केल करना आसान है, बस एक सर्वर जोड़ें। हमारे पास मास्टर-मास्टर प्रतिकृति लागू है, हालांकि अधिकांश DBMS अब उस पर आ रहे हैं। साथ ही, हमें मॉड्यूल जोड़ने की आवश्यकता नहीं है, प्रशासन के साथ कोई समस्या नहीं है।

हमारे डेटा की मात्रा, यदि हम रैम से गिनते हैं, तो लगभग 1 टीबी है। प्रोजेक्ट में त्रुटियों को शुरू करने, डिबगिंग और फिक्सिंग के चरण में समस्याएं पैदा हुईं। लगभग सभी तालिकाओं में 7-8 इंडेक्स होते हैं, इसलिए 1 टीबी के लिए टारेंटूल डेटाबेस ने हमें 20-40 मिनट का समय दिया, जो अस्वीकार्य है। स्टार्टअप के दौरान, सिस्टम इंडेक्स बनाता है और यदि आप उन्हें हटा देते हैं, तो लोडिंग बहुत तेजी से जाएगी। इस स्थिति में, हॉट-स्टैंडबाय फ़ंक्शन ने हमारी मदद की।

योजनाओं

ग्राहक और हम दोनों, कलाकारों ने टारेंटूल को पसंद किया। हमने अन्य आधारों पर विचार किया, लेकिन अंत में हमने टारनटूल को चुना। सबसे पहले, हमें बहुत तेज़ आधार की आवश्यकता थी। दूसरे, इसके साथ बहुत काम करना होगा, तर्क आदि लिखना होगा, इसलिए पूर्णरूपेण लुआ हमारे लिए एक फायदा था। तीसरा, टारनटुल तुरंत डिस्क पर लिखता है और स्नैपशॉट नहीं लेता है, और यह हमारे लिए भी अच्छा है, क्योंकि हालांकि ग्राहकों के बहुत सारे कॉल हैं, हम एक भी खोने का जोखिम नहीं उठा सकते हैं।

टारेंटूल ने उत्पादन में इसकी उपयोगिता साबित की है, और हम इसमें और भी अधिक डेटा लोड करेंगे, व्यापार तर्क जोड़ेंगे। अन्य डेटाबेस के विपरीत, इसे लगातार ट्यून करने और कुछ बदले जाने की आवश्यकता नहीं है। वैसे, किसी अन्य सिस्टम से टारेंटूल में डेटा के रूपांतरण और लोडिंग स्वचालित है और दैनिक रूप से किया जाता है।

भविष्य में, हम टारनटूल एंटरप्राइज में जाने की योजना बनाते हैं, जो हमें कई टारेंटूल इंस्टेंस को आसानी से प्रबंधित करने और कॉन्फ़िगर करने की अनुमति देगा। इस डेटाबेस में अभी भी कुछ विशेषज्ञ हैं, और उनके लिए आवश्यकता लगातार बढ़ रही है। हमारी योग्यता कभी-कभी पर्याप्त नहीं होती है। ऐसे मामलों में, टारेंटूल डेवलपर्स आंतरिक चैट में मदद करता है, जिसमें आप मदद मांग सकते हैं। यह किसी अन्य प्रणाली में नहीं है।

हम टारेंटूल 2 और एसक्यूएल में अपग्रेड करने की योजना भी बना रहे हैं। श्रम बाजार में कई एसक्यूएल विशेषज्ञ हैं, इसलिए संक्रमण बहुत मुश्किल नहीं होगा।

जाँच - परिणाम

इस परियोजना की मुख्य समस्या लूआ थी। कुछ डेवलपर्स इसे जानते हैं, लेकिन वे इसे और भी कम प्यार करते हैं। प्रारंभ में, हमने दूसरी भाषा का उपयोग करते हुए लिखा, लेकिन भारी संख्या में अनुरोधों के कारण सिस्टम ने धीरे-धीरे काम किया। इसलिए, हमने लंबे समय तक और दर्द के लिए लुआ के साथ सब कुछ कॉपी किया, लेकिन नतीजतन, सिस्टम स्पष्ट रूप से और जल्दी से काम करता है, जिसमें थोड़ी संख्या में सुधार और रिलीज होते हैं। Lua मशीन कोड के बहुत करीब है और C परिवार की सबसे तेज़ भाषाओं में से एक है। हालांकि यह एक छोटी स्क्रिप्टिंग भाषा है, इसमें सभी आवश्यक लाइब्रेरी हैं, और हम खोज, वैश्वीकरण, कोसाइन दूरी, आदि एल्गोरिदम को स्थानांतरित करने में सक्षम थे।

टारेंटूल बहुत गलत सहिष्णु है और बॉक्स से बाहर काम करता है। हमने कई प्रयोग किए: टारनटूल को बंद कर दिया, उठाया आदि। - सब कुछ ठीक काम करता है, और मध्यवर्ती डेटा डिस्क पर लिखा जाता है, इसलिए हम डेटा नहीं खोते हैं।

T + Conf 2019: एरोफ्लोट में टारनटूल, या मक्खी पर एमडीएम

कार्यान्वयन

भूमिकारूप व्यवस्था

योजनाओं

जाँच - परिणाम

More articles: