🛢️ 😗 🔢 स्केलिंग खोजें। Elasticsearch स्थापना के लिए इसके फायदे और बुनियादी आवश्यकताएं 🥧 😎 👌🏽

नमस्कार। मेरा नाम रोमन लार्चिकोव है, मैं डॉक्सविजन में एक तकनीकी सहायता इंजीनियर हूं। यह लेख उन लोगों के लिए तैयार किया गया है, जो एलिटोसर्च के काम के साथ स्केलिंग और परिचितता के कार्यान्वयन के तकनीकी विवरण में रुचि रखते हैं। लेख ES, सिस्टम आवश्यकताओं, साथ ही MS SQL सर्वर से खोज पर फायदे के उपयोग के कारणों के बारे में बात करेगा।

यदि आप इस बारे में जानने के लिए अधिक सामान्य शब्दों में रुचि रखते हैं कि हमने अपने प्लेटफ़ॉर्म के नवीनतम संस्करण में खोज को कैसे बढ़ाया, तो मेरे सहयोगियों ने वेबिनार “ डॉक्सविजन ईसीएम ” में इस बारे में बताया । खोज स्केलिंग ElasticSearch । "

एलिटिक्स खोज क्यों?

इसके साथ शुरू करने के लिए, यह ध्यान देने योग्य है कि डॉक्सविजन 5.5 प्लेटफॉर्म का संस्करण मौलिक रूप से अपनी न्यूनाधिक वास्तुकला में अलग है। इस संबंध में, हमें काम की गति को बनाए रखते हुए सिस्टम की लगभग असीमित स्केलिंग की संभावना सुनिश्चित करने की आवश्यकता थी। विशेष रूप से, इसके संचालन की उच्च गति पर भी अनुक्रमण सेवा को स्केल करने में सक्षम होना आवश्यक था।

इस संबंध में, डॉक्सविजन 5.5 के संस्करण ने बाहरी (उपग्रह) डेटाबेस का उपयोग करने की संभावना पेश की। अब सभी डेटा को एक डेटाबेस में संग्रहीत करने की आवश्यकता नहीं है, जो गहन कार्य के साथ, दैनिक मात्रा में बढ़ता है, जो डेटाबेस की सेवा की प्रक्रिया को जटिल बनाता है, क्रैश के दौरान इसकी पुनर्प्राप्ति की गति और डेटाबेस के समग्र संचालन को धीमा कर देता है।

सब कुछ के लिए एक डेटाबेस का उपयोग करना बुरा है। डॉक्सविजन 5.5 में कार्यान्वित बाहरी डेटाबेस को अलग करने के लिए डेटा को स्थानांतरित करने की क्षमता आपको डेटाबेस को सही ढंग से पुनर्गठन करने की अनुमति देती है। इस प्रकार, अगर हम खोज के बारे में बात करते हैं, तो अनुक्रमण डेटा मुख्य डेटाबेस के बाहर पहले से ही संग्रहीत किया जा सकता है, इसके आकार पर प्रभाव को समाप्त कर सकता है।

अनुकूलन, लचीलेपन, विश्वसनीयता, मापनीयता, अनुक्रमण की गति और ऑनलाइन खोज में आसानी एलियाटिक्स खोज के बारे में हैं।

इलास्टिसर्च बहुत दस्तावेज-उन्मुख है। अनुक्रमण के बाद, हम स्तंभों में डेटा की पंक्तियों के बजाय डेटा को सॉर्ट, फ़िल्टर कर सकते हैं। जो, बदले में, डेटा पुनर्प्राप्ति के लिए एक अलग दृष्टिकोण प्रदर्शित करता है, और इंगित करता है कि एलेस्टिक्स खोज जटिल पूर्ण-पाठ खोज कर सकती है।

दस्तावेजों को JSON ऑब्जेक्ट के रूप में दर्शाया जाता है। उसी समय, क्रमांकन (बिट्स के अनुक्रम में किसी भी डेटा संरचना का अनुवाद करने की प्रक्रिया) JSON अधिकांश प्रोग्रामिंग भाषाओं द्वारा समर्थित है और पहले से ही NoSQL के लिए मानक प्रारूप है।

1. एलेस्टिक्स की खोज

1.1। यह क्या है?

एलियटसर्च एक खुला स्रोत स्केलेबल पूर्ण-पाठ खोज इंजन है जिसका उपयोग ल्यूसीन लाइब्रेरी और जावा में लिखा गया है। इस इंजन के सभी लाभों का विवरण आधिकारिक वेबसाइट पर उपलब्ध है ।

यह दस्तावेजों / फाइलों के डेटाबेस में जटिल खोजों के लिए है। एलेस्टिक्स खोज डेटाबेस में, तालिकाओं को इंडेक्स कहा जाता है, और दस्तावेजों को लोड करने की प्रक्रिया को इंडेक्सिंग कहा जाता है।

इसे JSON प्रारूप में दस्तावेजों के गैर-संबंधपरक भंडार और ल्यूसिन पूर्ण-पाठ खोज पर आधारित एक खोज इंजन दोनों माना जा सकता है। आधिकारिक क्लाइंट जावा, नेट (सी #), पायथन, ग्रूवी, जावास्क्रिप्ट, पीएचपी, पर्ल, रूबी में उपलब्ध हैं।

ES का विकास Elastic द्वारा किया जा रहा है, इसके साथ संबंधित संबंधित Elastic Stack - Elasticsearch, Logstash, Beats और Sibana भी हैं।

इलास्टिक्स खोज डेटा संग्रहीत करने और खोज करने के लिए जिम्मेदार है (इसके बाद, संक्षिप्तता के लिए, हम इसे ईएस कहेंगे)।

1.2। एलिटिक्सखोज सर्च इंजन के लाभ एमएस एसक्यूएल सर्च इंजन की तुलना में

डॉक्सविजन 5.5 का विकल्प है कि किस खोज इंजन के साथ काम करना है। इस लेख में मैं एलिटिक्स खोज इंजन के उपयोग पर ध्यान केंद्रित करूंगा और एमएस SQL सर्वर से खोज के बारे में इसके फायदे के बारे में बात करूंगा।

मुख्य लाभ:

बाहरी डेटा स्टोर तक पहुंचने के लिए अनुक्रमण सेवा की क्षमता। उसी समय, डेटा सही ढंग से अनुक्रमित होता है और खोज के दौरान सही ढंग से प्रदर्शित होता है। SQL सर्वर खोज इंजन का उपयोग करते समय, केवल मुख्य डेटाबेस में संग्रहीत डेटा द्वारा खोज करना संभव था।
ES एक ओपन सोर्स प्रोजेक्ट है, और कई वैश्विक कंपनियां इसका उपयोग विशाल डेटा सेट खोजने के लिए करती हैं।
ES , , .
(). ES, SQL Server .
ES — , .
ES (, , ), .
, , , .
ES . .
. , , , , , .
, , , , .
ES ( ). Docsvision, ES , SQL .
— SQL. , , , . , .. , . , , .. . ES .
भाषाओं को जोड़ने पर डेटाबेस आकार में नहीं बढ़ता है। ES के विपरीत, MS SQL में पूर्ण-पाठ खोज का उपयोग करते समय, अनुक्रमित डेटा मुख्य डेटाबेस के आकार को बढ़ाता है, खासकर यदि अनुक्रमण को विभिन्न भाषाओं में कॉन्फ़िगर किया गया है, उदाहरण के लिए, रूसी / तटस्थ / अंग्रेजी। इस मामले में, अनुक्रमण तालिकाओं की वृद्धि पहले से ही कई गुना बढ़ जाती है, यदि अनुक्रमण के लिए केवल एक भाषा को चुना जाएगा, उदाहरण के लिए, तटस्थ।

2. आवश्यक सॉफ्टवेयर और इलास्टिक्स खोज को स्थापित करने के लिए सिस्टम आवश्यकताएँ

ईएस को न केवल उच्च-प्रदर्शन सर्वर पर, बल्कि एक लैपटॉप पर भी तैनात किया जा सकता है। लेकिन अगर हम एक उत्पादक वातावरण के बारे में बात कर रहे हैं, तो आपको एक अलग सर्वर का उपयोग करना चाहिए और कुछ सिफारिशों का पालन करना चाहिए जो विचार करने योग्य हैं।

2.1। राम

ES के लिए सबसे महत्वपूर्ण संसाधन RAM है। यह प्राथमिक संसाधन है जो सबसे पहले खत्म होने की संभावना है। न्यूनतम स्वीकार्य आकार 8Gb है, अनुशंसित 16 से 64 जीबी तक है। अधिक की अनुमति है अगर वास्तव में एक आवश्यकता है।

सॉर्टिंग और एकत्रीकरण बड़ी मात्रा में मेमोरी का उपभोग कर सकते हैं, इसलिए इसकी पर्याप्त आपूर्ति होना महत्वपूर्ण है। 64 जीबी रैम के साथ एक मशीन एक आदर्श समाधान है, लेकिन 32 जीबी और 16 जीबी वाली मशीनें भी आम हैं। यदि मशीन पर 8 जीबी या उससे कम स्थापित किया जाता है, तो इससे विपरीत परिणाम हो सकते हैं (अंत में, आपको ऐसी कई "छोटी" मशीनों) की आवश्यकता हो सकती है। 64 जीबी से अधिक का उपयोग करने की अपनी विशेषताएं भी हैं।

2.2। सी पी यू

ईएस, एक नियम के रूप में, प्रोसेसर की बहुत अधिक आवश्यकताएं नहीं हैं, इसलिए इसकी पसंद अन्य संसाधनों की तुलना में कम महत्वपूर्ण नहीं है।

लेकिन आपको नियम का पालन करना चाहिए। आपको कई कोर के साथ एक आधुनिक प्रोसेसर चुनना चाहिए। आमतौर पर, क्लस्टर में सर्वर दो से आठ-कोर मशीनों का उपयोग करते हैं।

यदि आपके पास कई कोर के साथ तेज प्रोसेसर या प्रोसेसर के बीच कोई विकल्प है, तो आपको बाद का चयन करना चाहिए। कई कोर द्वारा दी जाने वाली अतिरिक्त समानता थोड़ी अधिक घड़ी आवृत्ति की तुलना में अधिक परिणाम देगी।

2.3। डिस्क

ईएस के त्वरित संचालन के लिए डिस्क भी एक महत्वपूर्ण संसाधन है। क्लस्टर का उपयोग करते समय यह महत्वपूर्ण है और बड़ी मात्रा में अनुक्रमित डेटा वाले क्लस्टर के लिए दोगुना महत्वपूर्ण है।

डिस्क सर्वर पर सबसे धीमा सबसिस्टम है, जिसका अर्थ है कि गहन रिकॉर्डिंग वाले क्लस्टर डिस्क पर एक उच्च भार डाल सकते हैं, जो बदले में, सर्वर की अड़चन बन जाता है। यदि ठोस-राज्य ड्राइव का उपयोग करना संभव है, तो उन्हें उपयोग करना आवश्यक है, क्योंकि वे किसी भी घूमने वाले मीडिया से कहीं बेहतर हैं। SSD समर्थन वाले होस्ट में क्वेरी और इंडेक्सिंग प्रदर्शन दोनों में उल्लेखनीय वृद्धि होती है।

यदि आप हार्ड डिस्क (एचडीडी) का उपयोग करने का इरादा रखते हैं, तो उच्च-प्रदर्शन सर्वर डिस्क (15,000 आरपीएम की स्पिंडल गति के साथ डिस्क) का उपयोग करना उचित है।

RAID 0 का उपयोग कताई डिस्क और एसएसडी दोनों के लिए डिस्क की गति बढ़ाने का एक प्रभावी तरीका है। मिररिंग या समता के साथ RAID विकल्पों का उपयोग करने की कोई आवश्यकता नहीं है, क्योंकि उच्च उपलब्धता प्रतिकृति के माध्यम से ईएस में बनाई गई है।

2.4। I / O अनुसूचक

यदि आप ठोस राज्य ड्राइव का उपयोग कर रहे हैं, तो आपको यह सुनिश्चित करना चाहिए कि ऑपरेटिंग सिस्टम के I / O शेड्यूलर को सही तरीके से कॉन्फ़िगर किया गया है। जब डेटा को डिस्क पर लिखा जा रहा है, तो I / O अनुसूचक तय करता है कि वास्तव में डिस्क पर डेटा भेजा गया है या नहीं। ज्यादातर मामलों में, डिफ़ॉल्ट cfq अनुसूचक का उपयोग किया जाता है (पूरी तरह से ईमानदार कतार)।

यह अनुसूचक प्रत्येक प्रक्रिया के लिए समय स्लॉट आवंटित करता है और फिर डिस्क में इन विभिन्न कतारों के वितरण का अनुकूलन करता है। यह एचडीडी के साथ काम करने के लिए अनुकूलित है: घूर्णन प्लेटों की प्रकृति का मतलब है कि भौतिक स्थान के आधार पर डेटा को डिस्क पर लिखना अधिक कुशल है।

हालांकि, यह ठोस राज्य ड्राइव के लिए अप्रभावी है, क्योंकि वे घूर्णन प्लेटों का उपयोग नहीं करते हैं। इसके बजाय, एक समय सीमा या शून्य का उपयोग करें। डेडलाइन शेड्यूलर इस बात पर निर्भर करता है कि रिकॉर्डिंग कितनी देर से रुकी हुई है, जबकि नोप सिर्फ एक साधारण फीफो कतार है।

ये साधारण परिवर्तन सही अनुसूचक के साथ थ्रूपुट लिखने में काफी सुधार कर सकते हैं।

2.5। नेटवर्क

एक वितरित प्रणाली में प्रदर्शन के लिए एक तेज और विश्वसनीय नेटवर्क महत्वपूर्ण है। कम विलंबता यह सुनिश्चित करती है कि नोड्स आसानी से डेटा का आदान-प्रदान कर सकते हैं, जबकि उच्च थ्रूपुट डेटा को स्थानांतरित करने और पुनर्प्राप्त करने में मदद करता है।

आधुनिक डेटा सेंटर नेटवर्क (1 GbE, 10 GbE) विशाल बहुमत वाले समूहों के लिए पर्याप्त हैं।

कई डेटा केंद्रों को जोड़ने वाले क्लस्टर से बचा जाना चाहिए, भले ही डेटा केंद्र निकटता में स्थित हों। निश्चित रूप से बड़े भौगोलिक दूरी वाले समूहों से बचें।

ईएस क्लस्टर्स मान लेते हैं कि सभी नोड समान हैं। लंबी देरी वितरित सिस्टम में समस्याओं को बढ़ाती है और डिबगिंग और रिज़ॉल्यूशन को मुश्किल बनाती है।

2.6। सामान्य सिफारिशें

यह "मध्यम" और "बड़ी" मशीनों को वरीयता देने के लायक है, केवल ईएस शुरू करने की लागत को खत्म करने के लिए कम-प्रदर्शन मशीनों से बचना। एक ही समय में, वास्तव में विशाल मशीनों से बचा जाना चाहिए: वे अक्सर संसाधनों के असंतुलित उपयोग के लिए नेतृत्व करते हैं (उदाहरण के लिए, सभी मेमोरी का उपयोग किया जाता है, लेकिन केंद्रीय प्रोसेसर नहीं) और मशीन पर कई नोड्स चलाने के लिए आवश्यक होने पर लॉजिस्टिक जटिलता जोड़ सकते हैं।

3. निष्कर्ष

यह पता लगाने के बाद कि इलास्टिसर्च क्या है, इसके प्रमुख फायदे और स्थापना आवश्यकताएं, हम डॉक्सविजन में आगे के विन्यास के लिए ES की स्थापना के साथ आगे बढ़ सकते हैं।

इसे कैसे स्थापित करें और कॉन्फ़िगरेशन करें, साथ ही चेक इंडेक्सिंग के बारे में, अर्थात। डॉक्सविजन में काम करने की क्षमता, मेरे सहयोगी के प्रकाशन को यहां पढ़ें ।

दिलचस्प विषय? तब आप इस लिंक का उपयोग कर सकते हैं और अधिक जानकारी प्राप्त कर सकते हैं ! और यहां आप पाठ्यक्रमों के लिए पंजीकरण कर सकते हैं।

स्केलिंग खोजें। Elasticsearch स्थापना के लिए इसके फायदे और बुनियादी आवश्यकताएं