📰 🥗 👨🏾‍✈️ हाईलोअड ++, मिखाइल मकरोव, मैक्सिम चेर्नेत्सोव (इंटरसिवेज़): ज़ैबिक्स, एक सर्वर पर 100kNVPS ⬇️ 😋 👨🏾‍🎤

अगला हाईलोअड ++ सम्मेलन 6 और 7 अप्रैल, 2020 को सेंट पीटर्सबर्ग में होगा। विवरण और टिकट यहां देखें । हाईलाड ++ मॉस्को 2018. मॉस्को हॉल। 9 नवंबर, दोपहर 3 बजे। सार और प्रस्तुति ।

* मॉनिटरिंग - ऑनलाइन और एनालिटिक्स।
* ZABBIX प्लेटफॉर्म की मुख्य सीमाएं।
* स्केलिंग एनालिटिक्स स्टोरेज के लिए समाधान।
* ZABBIX सर्वर अनुकूलन।
* यूआई अनुकूलन।
* 40k एनवीपीएस से अधिक भार वाले सिस्टम के संचालन में अनुभव।
* संक्षेप में निष्कर्ष।

मिखाइल मकरोव (इसके बाद - एमएम): - सभी को नमस्कार!

मैक्सिम चेर्नेत्सोव (इसके बाद - एमसीएच): - शुभ दोपहर!

MM: - मुझे मैक्सिम से मिलवाते हैं। मैक्स एक प्रतिभाशाली इंजीनियर है, सबसे अच्छा नेटवर्कर जिसे मैं जानता हूं। मैक्सिम नेटवर्क और सेवाओं, उनके विकास और संचालन से संबंधित है।

एमसीएच: - और मैं माइकल के बारे में बात करना चाहूंगा। माइकल एक सी डेवलपर है। उन्होंने हमारी कंपनी के लिए कुछ अत्यधिक लोड किए गए ट्रैफ़िक प्रसंस्करण समाधान लिखे। हम उराल में रहते हैं और चेल्याबिंस्क के गंभीर किसानों के शहर में, इंटेरसवाज़ कंपनी में काम करते हैं। हमारी कंपनी 16 शहरों में एक मिलियन लोगों के लिए इंटरनेट और केबल टेलीविजन सेवाओं की प्रदाता है।

MM:- और यह कहने योग्य है कि Intersvyaz सिर्फ एक प्रदाता की तुलना में बहुत अधिक है, यह एक आईटी कंपनी है। हमारे अधिकांश निर्णय हमारे आईटी विभाग द्वारा किए जाते हैं।

A: ट्रैफ़िक को प्रोसेस करने वाले सर्वर से, कॉल सेंटर और मोबाइल एप्लिकेशन तक। आईटी विभाग में बहुत, बहुत विविध दक्षताओं वाले लगभग 80 लोग हैं।

Zabbix और इसकी वास्तुकला के बारे में

MCH: - और अब मैं एक व्यक्तिगत रिकॉर्ड सेट करने की कोशिश करूंगा और एक मिनट में कहूंगा कि Zabbix क्या है (इसके बाद - "Zabbiks")।

ज़ैबिक्स खुद को उद्यम स्तर पर एक निगरानी प्रणाली "बॉक्स से बाहर" के रूप में रखता है। इसमें कई जीवन-सरलीकृत विशेषताएं हैं: उन्नत वृद्धि नियम, एकीकरण के लिए एपीआई, मेजबान और मेट्रिक्स के समूहीकरण और ऑटो-डिटेक्शन। ज़ैबिक्स में तथाकथित स्केलिंग टूल हैं - प्रॉक्सी। Zabbix एक ओपन सोर्स सिस्टम है।

संक्षेप में वास्तुकला के बारे में। हम कह सकते हैं कि इसमें तीन घटक होते हैं:

सर्वर। सी। में लिखा है। धाराओं के बीच जटिल प्रसंस्करण और सूचना के प्रसारण के साथ। सभी प्रसंस्करण इसमें जगह लेता है: डेटाबेस को बचाने के लिए प्राप्त करने से।
सभी डेटा डेटाबेस में संग्रहीत है। Zabbix MySQL, PostreSQL और Oracle का समर्थन करता है।
वेब इंटरफ़ेस PHP में लिखा है। अधिकांश प्रणालियों पर, यह अपाचे सर्वर के साथ आता है, लेकिन nginx + php बंडल में अधिक कुशलता से काम करता है।

आज हम अपनी कंपनी के जीवन से जुबिक्स से जुड़ी एक कहानी बताना चाहेंगे ...

Intersvyaz कंपनी की जीवन कहानी। हमारे पास क्या है और क्या आवश्यक है?

5 या 6 महीने पहले। एक बार काम करने के बाद ...

MCH: - मिशा, नमस्कार! खुशी है कि मैं आपको पकड़ने में कामयाब रहा - एक बातचीत है। हमें फिर से निगरानी की समस्या थी। एक बड़ी दुर्घटना के दौरान, सब कुछ धीमा हो गया, और नेटवर्क की स्थिति के बारे में कोई जानकारी नहीं थी। दुर्भाग्य से, यह पहली बार दोहराया नहीं गया है। मुझे आपकी मदद चाहिए। आइए किसी भी परिस्थिति में हमारी निगरानी का काम करें!

MM: - लेकिन चलो पहले सिंक्रोनाइज़ करें। मैंने एक-दो साल से वहां नहीं देखा। जहां तक मुझे याद है, हमने नागियोस को मना कर दिया और 8 साल पहले ज़ैबिक्स में बदल दिया। और अब हमारे पास 6 शक्तिशाली सर्वर और लगभग एक दर्जन प्रॉक्सी हैं। क्या मैं कुछ भी भ्रमित कर रहा हूँ?

मातृ एवं शिशु स्वास्थ्य:- करीब ही। 15 सर्वर, जिनमें से कुछ वर्चुअल मशीन हैं। सबसे महत्वपूर्ण बात, यह हमें उस समय नहीं बचाता है जब हमें इसकी सबसे अधिक आवश्यकता होती है। एक दुर्घटना की तरह - सर्वर धीमा हो रहा है और कुछ भी दिखाई नहीं दे रहा है। हमने कॉन्फ़िगरेशन को अनुकूलित करने की कोशिश की, लेकिन यह इष्टतम प्रदर्शन लाभ नहीं देता है।

एमएम: - मैं देख रहा हूं। क्या आपने कुछ देखा, क्या आपने निदान से कुछ खोदा?

मातृ एवं शिशु स्वास्थ्य:- पहली चीज जो आपको निपटानी है वह सिर्फ डेटाबेस है। MySQL को लगातार लोड किया जाता है, नए मेट्रिक्स को संरक्षित किया जाता है, और जब ज़ैबिक्स घटनाओं का एक समूह बनाना शुरू करता है, तो डेटाबेस कई घंटों के लिए शाब्दिक रूप से अपने आप में चला जाता है। मैंने आपको पहले से ही कॉन्फ़िगरेशन को अनुकूलित करने के बारे में बताया था, लेकिन इस साल शाब्दिक रूप से हमने हार्डवेयर को अपडेट किया: SSD RAID-ahs पर सर्वर और डिस्क सरणियों पर सौ से अधिक गीगाबाइट मेमोरी हैं - इसे रैखिक रूप से बढ़ने का कोई मतलब नहीं है। हम क्या करें?

एमएम: - मैं देख रहा हूं। सामान्य तौर पर, MySQL एक LTP डेटाबेस है। जाहिरा तौर पर, यह हमारे आकार के मैट्रिक्स के संग्रह को संग्रहीत करने के लिए उपयुक्त नहीं है। चलिए इसका पता लगाते हैं।

एमसीएच: - चलो!

हैकाथॉन के परिणामस्वरूप ज़ैबिक्स और क्लिकहाउस एकीकरण

कुछ समय बाद, हमें दिलचस्प डेटा प्राप्त हुआ:

हमारे डेटाबेस में अधिकांश स्थान मैट्रिक्स के संग्रह द्वारा कब्जा कर लिया गया था और 1% से कम कॉन्फ़िगरेशन, टेम्पलेट्स और सेटिंग्स के लिए उपयोग किया गया था। उस समय तक, एक वर्ष से अधिक समय से हम Clickhouse पर आधारित बिग डेटा समाधान का संचालन कर रहे थे। आंदोलन की दिशा हमारे लिए स्पष्ट थी। हमारे वसंत हैकाथॉन में, उन्होंने सर्वर और फ्रंटएंड के लिए क्लिकहाउस के साथ ज़ैबिक्स के एकीकरण को लिखा। उस समय, ज़ैबिक्स में पहले से ही इलास्टिकसर्च के लिए समर्थन था, और हमने उनकी तुलना करने का फैसला किया।

Clickhouse और Elasticsearch की तुलना करें

MM: - तुलना के लिए, हमने Zabbix सर्वर द्वारा प्रदान किए गए सिस्टम को कैसे व्यवहार करेंगे, इस पर वही भार उत्पन्न किया। हमने 1000 लाइनों के बैचों में डेटा लिखा, CURL का उपयोग किया। हमने पहले सुझाव दिया था कि Zabbix जो लोड प्रोफ़ाइल करता है, उसके लिए Clickhouse अधिक प्रभावी होगा। परिणाम हमारी अपेक्षाओं को पार कर गए:

एक ही परीक्षण की शर्तों के तहत, Clickhouse ने तीन गुना अधिक डेटा लिखा। एक ही समय में, दोनों सिस्टम डेटा को पढ़ते समय बहुत कुशलता से (संसाधनों की एक छोटी राशि) खपत करते हैं। लेकिन रिकॉर्डिंग करते समय "इलास्टिक्स" को बड़ी मात्रा में प्रोसेसर की आवश्यकता होती है:

कुल मिलाकर, प्रोसेसर की खपत और गति में क्लिकहाउस काफी इलास्टिक्स से अधिक हो गया। उसी समय, डेटा संपीड़न के कारण, "क्लिकहाउस" हार्ड डिस्क पर 11 गुना कम उपयोग करता है और लगभग 30 गुना कम डिस्क संचालन करता है:

एमसीएच: - हां, "क्लिकहाउस" पर डिस्क सबसिस्टम के साथ काम करना बहुत प्रभावी है। ठिकानों के नीचे, आप विशाल एसएटीए डिस्क का उपयोग कर सकते हैं और प्रति सेकंड सैकड़ों हजारों लाइनों की एक लिखित गति प्राप्त कर सकते हैं। सिस्टम "बॉक्स से बाहर" तेज, प्रतिकृति का समर्थन करता है, इसे कॉन्फ़िगर करना बहुत आसान है। हम एक वर्ष के लिए इसके संचालन से अधिक खुश हैं।

संसाधनों का अनुकूलन करने के लिए, आप मौजूदा मुख्य आधार के बगल में "क्लिकहाउस" स्थापित कर सकते हैं और इस तरह बहुत सारे प्रोसेसर समय और डिस्क संचालन को बचा सकते हैं। हमने मौजूदा "क्लिकहाउस" समूहों के मैट्रिक्स का संग्रह निकाल लिया है:

हमने मुख्य MySQL डेटाबेस को इतना उतार दिया कि हम इसे Zabbix सर्वर के साथ एक ही मशीन पर जोड़ सकते हैं और MySQL के लिए समर्पित सर्वर को छोड़ सकते हैं।

ज़ाबिक्स में मतदान कैसे काम करता है?

4 महीने पहले

MM: - ठीक है, आप आधार के साथ समस्याओं के बारे में भूल सकते हैं?

एमसीएच: - यह सुनिश्चित करने के लिए है! एक और समस्या जिसे हमें हल करने की आवश्यकता है वह है धीमा डेटा संग्रह। अब हमारी सभी 15 प्रॉक्सी एसएनएमपी और मतदान प्रक्रियाओं से भरी हुई हैं। और नए और नए सर्वर स्थापित करने के अलावा और कोई नहीं है।

एमएम: - महान। लेकिन पहले मुझे बताएं कि ज़ाबिक्स में मतदान कैसे काम करता है।

एमसीएच: - संक्षेप में, 20 प्रकार के मैट्रिक्स और उन्हें प्राप्त करने के एक दर्जन तरीके हैं। ज़ैबिक्स "अनुरोध-प्रतिक्रिया" मोड में या तो डेटा एकत्र कर सकता है, या "ट्रैपर इंटरफ़ेस" के माध्यम से नए डेटा की उम्मीद कर सकता है।

यह ध्यान देने योग्य है कि मूल ज़ैबिक्स में यह विधि (ट्रैपर) सबसे तेज़ है।

लोड संतुलन के लिए परदे के पीछे हैं:

प्रॉक्सी ज़ैबिक्स सर्वर के समान संग्रह कार्य कर सकता है, इससे कार्य प्राप्त कर सकता है और ट्रैपर इंटरफ़ेस के माध्यम से एकत्रित मैट्रिक्स भेज सकता है। यह आधिकारिक रूप से अनुशंसित लोड संतुलन विधि है। इसके अलावा, प्रॉक्सी एक दूरस्थ बुनियादी ढांचे की निगरानी के लिए उपयोगी है जो NAT या एक धीमी चैनल के माध्यम से काम करता है:

MM: - वास्तुकला के साथ सब कुछ स्पष्ट है। हमें स्रोत को देखना चाहिए ...

एक दो दिन बाद

कैसे झपकी की जीत जीता की कहानी

MM: - ऐसा लगता है कि मैंने कुछ खोदा।

एमसीएच: - मुझे बताओ!

MM: - मैंने पाया कि उपलब्धता जांच के दौरान, Zabbix एक बार में 128 होस्ट तक की जांच करता है। मैंने इस आंकड़े को 500 तक बढ़ाने की कोशिश की और उनके पिंग (पिंग) में अंतर-पैकेट अंतराल को हटा दिया - इससे दो के कारक द्वारा प्रदर्शन में वृद्धि हुई। लेकिन मुझे बड़ी संख्या चाहिए।

एमसीएच: - मेरे अभ्यास में, मुझे कभी-कभी हजारों मेजबानों की उपलब्धता की जांच करनी पड़ती है, और मैंने कुछ भी नहीं देखा है। मुझे यकीन है कि यह सबसे तेज़ तरीका है। चलो यह कोशिश करते हैं! आपको एक पुनरावृत्ति में मेजबानों की संख्या में काफी वृद्धि करने की आवश्यकता है।

MM: - पांच सौ से अधिक की जाँच करें? 600?

एमसीएच: - कम से कम कुछ हजार।

MM:- ठीक है। सबसे महत्वपूर्ण बात जो मैं कहना चाहता था: मैंने पाया कि ज़ाबिक्स में अधिकांश मतदान सिंक्रोनाइज़ किया गया था। हमें इसे एसिंक्रोनस रूप से फिर से करना होगा फिर हम मतदाताओं द्वारा एकत्र किए गए मीट्रिक की संख्या में नाटकीय रूप से वृद्धि कर सकते हैं, खासकर अगर हम एक पुनरावृत्ति में मैट्रिक्स की संख्या बढ़ाते हैं।

एमसीएच: - महान! और कब?

एमएम: - हमेशा की तरह, कल।

MCH: - हमने फैपिंग और नैम्प के दोनों संस्करणों की तुलना की:

बड़ी संख्या में मेजबानों पर, नैम्प से पांच गुना अधिक कुशल होने की उम्मीद थी। चूंकि नैंप केवल उपलब्धता और प्रतिक्रिया समय के तथ्य की जांच करता है, इसलिए हमने नुकसान की गणना ट्रिगर्स को हस्तांतरित कर दी और उपलब्धता जांच अंतराल को काफी कम कर दिया। हमने 4 हजार प्रति यात्रा के क्षेत्र में नैम्प के लिए मेजबान की इष्टतम संख्या को पाया। Nmap ने हमें उपलब्धता जांच के लिए सीपीयू की लागत को तीन गुना कम करने और अंतराल को 120 सेकंड से घटाकर 10 करने की अनुमति दी।

मतदान का अनुकूलन

MM: - फिर हम मतदाताओं के लिए गए। हम मुख्य रूप से SNMP हटाने और एजेंटों में रुचि रखते थे। ज़ैबिक्स में, मतदान को समान रूप से किया गया था और सिस्टम की दक्षता बढ़ाने के लिए विशेष उपाय किए गए थे। तुल्यकालिक मोड में, मेजबान अनुपलब्धता महत्वपूर्ण मतदान में गिरावट का कारण बनती है। राज्यों की एक पूरी प्रणाली है, विशेष प्रक्रियाएं हैं - तथाकथित अगम्य-परागक, जो केवल दुर्गम मेजबानों के साथ काम करते हैं:

यह एक टिप्पणी है जो राज्य मैट्रिक्स को प्रदर्शित करती है, सिस्टम के प्रभावी रहने के लिए संक्रमण प्रणाली की जटिलता की आवश्यकता होती है। इसके अलावा, तुल्यकालिक मतदान स्वयं धीमा है:

यही कारण है कि एक दर्जन प्रॉक्सी पर हजारों मतदाता धागे हमारे लिए आवश्यक मात्रा में डेटा एकत्र नहीं कर सके। अतुल्यकालिक कार्यान्वयन ने न केवल थ्रेड्स की संख्या के साथ समस्याओं को हल किया, बल्कि दुर्गम मेजबानों की राज्य प्रणाली को भी सरल बनाया, क्योंकि मतदान के एक पुनरावृत्ति में किसी भी संख्या की जाँच के लिए, अधिकतम प्रतीक्षा समय 1 टाइमआउट था: इसके

अलावा, हमने एसएनएमपी के लिए मतदान प्रणाली को संशोधित और बेहतर बनाया। प्रश्नों। तथ्य यह है कि अधिकांश एक ही समय में कई एसएनएमपी अनुरोधों का जवाब नहीं दे सकते हैं। इसलिए, हमने एक हाइब्रिड मोड बनाया जब एसएनएमपी एक ही मेजबान का मतदान एसिंक्रोनस रूप से करता है:

यह पूरे मेजबान बंडल के लिए किया जाता है। अंत में यह मोड पूरी तरह से अतुल्यकालिक की तुलना में धीमा नहीं है, क्योंकि डेढ़ सौ एसएनएमपी मूल्यों का मतदान अभी भी 1 टाइमआउट की तुलना में बहुत तेज है।

हमारे प्रयोगों से पता चला कि एक पुनरावृत्ति में अनुरोधों की इष्टतम संख्या एसएनएमपी मतदान के साथ लगभग 8 हजार है। कुल मिलाकर, अतुल्यकालिक मोड में संक्रमण ने 200 बार, कई सौ बार मतदान प्रदर्शन में तेजी लाने की अनुमति दी।

एमसीएच: - प्राप्त मतदान अनुकूलन ने दिखाया कि हम न केवल सभी प्रॉक्सी से छुटकारा पा सकते हैं, बल्कि कई चेक के अंतराल को भी कम कर सकते हैं, और लोड को साझा करने के लिए प्रॉक्सी की आवश्यकता नहीं होगी।

करीब तीन महीने पहले

आर्किटेक्चर बदलें - लोड बढ़ाएं!

MM: - ठीक है, मैक्स, क्या यह उत्पादक होने का समय है? मुझे एक शक्तिशाली सर्वर और एक अच्छे इंजीनियर की आवश्यकता है।

एमसीएच: - ठीक है, हम योजना बनाते हैं। यह 5,000 मीट्रिक प्रति सेकंड की दर से जमीन पर आने का समय है। एमसीएच

अपग्रेड के बाद सुबह

: - मिशा, हमने अपडेट किया, लेकिन सुबह वापस चला गया ... अनुमान लगाओ कि आपने क्या गति प्राप्त की?

MM: - हजार २० अधिकतम।

एमसीएच: - हाँ, २५! दुर्भाग्य से, हम वहीं हैं जहां हमने शुरुआत की थी।

MM: - और तो? क्या आपको कोई निदान मिला?

एमसीएच: - हां, बिल्कुल! यहाँ, उदाहरण के लिए, एक दिलचस्प शीर्ष:

MM: - चलो देखते हैं। मैं देखता हूं कि हमने भारी संख्या में मतदान सूत्र आजमाए:

लेकिन साथ ही साथ हम प्रणाली का आधे हिस्से में भी उपयोग नहीं कर पाए।

और समग्र प्रदर्शन काफी छोटा है, प्रति सेकंड लगभग 4 हजार मीट्रिक:

क्या कुछ और है?

एमसीएच: - हां, मतदाताओं में से एक की धारा:

एमएम: - यह स्पष्ट रूप से यहां देखा गया है कि मतदान प्रक्रिया "अर्धशतक" की प्रतीक्षा कर रही है। ये ताले हैं:

एमसीएच: - यह स्पष्ट नहीं है।

MM: - देखिए, यह एक ऐसी स्थिति की तरह है, जहाँ धागों का एक गुच्छा संसाधनों के साथ काम करने की कोशिश कर रहा है, जो कि एक समय में एक ही काम कर सकता है। फिर वे सभी कर सकते हैं इस संसाधन को समय से साझा करें:

और इस तरह के संसाधन के साथ काम करने की कुल उत्पादकता एक कोर की गति से सीमित होती है:

इस समस्या को हल करने के दो तरीके हैं।

अपग्रेड मशीन का लोहा, तेज गुठली पर स्विच करें:

या आर्किटेक्चर को बदलें और , एक ही समय में , लोड करें:

MCH: - वैसे तो, हम एक परीक्षण मशीन पर एक मुकाबले की तुलना में कम कोर का उपयोग करते हैं, लेकिन वे कोर प्रति आवृत्ति आवृत्ति में 1.5 गुना तेज होंगे!

MM: - क्या यह स्पष्ट है? आपको सर्वर कोड को देखना होगा।

Zabbix सर्वर में डेटा पथ

एमसीएच: - समझने के लिए, हमने विश्लेषण करना शुरू किया कि डेटा को ज़ैबिक्स सर्वर के अंदर कैसे प्रसारित किया जाता है:

कूल तस्वीर, सही? आइए इसके माध्यम से कदम से कदम कम या ज्यादा स्पष्ट करें। डेटा संग्रह के लिए ज़िम्मेदार धाराएँ और सेवाएँ हैं:

वे सॉकेट के माध्यम से एकत्रित मैट्रिक्स को प्रीप्रोसेसर प्रबंधक में स्थानांतरित करते हैं, जहाँ वे कतारबद्ध होते हैं:

प्रीप्रोसेसर प्रबंधक "अपने कर्मचारियों को डेटा स्थानांतरित करता है जो प्रीप्रोसेसिंग निर्देशों को निष्पादित करते हैं और उन्हें उसी सॉकेट के माध्यम से वापस करते हैं:

उसके बाद, प्रीप्रोसेसर -मानगर उन्हें इतिहास कैश में सहेजता है:

वहां से, उन्हें इतिहास-सिंकर्स द्वारा उठाया जाता है जो बहुत सारे कार्य करते हैं: उदाहरण के लिए, ट्रिगर्स की गणना करना, मूल्य कैश भरना और, सबसे महत्वपूर्ण बात, इतिहास की दुकान में मैट्रिक्स को बचाना। सामान्य तौर पर, प्रक्रिया जटिल और बहुत भ्रामक है।

MM: - पहली चीज जो हमने देखी, वह यह है कि ज्यादातर थ्रेड्स तथाकथित "कॉन्फ़िगरेशन कैश" (एक मेमोरी क्षेत्र जहां सभी सर्वर कॉन्फ़िगरेशन संग्रहीत हैं) के लिए प्रतिस्पर्धा करते हैं। विशेष रूप से बहुत सारे ताले डेटा संग्रह के लिए जिम्मेदार धाराओं द्वारा किए जाते हैं:

... क्योंकि कॉन्फ़िगरेशन स्टोर न केवल उनके मापदंडों के साथ मैट्रिक्स, बल्कि कतारें भी हैं, जहां से मतदाता जानकारी लेते हैं कि आगे क्या करना है। जब बहुत सारे मतदाता होते हैं, और एक कॉन्फ़िगरेशन को ब्लॉक करता है, बाकी अनुरोधों के लिए इंतजार कर रहे हैं:

मतदाताओं को संघर्ष नहीं करना चाहिए

इसलिए, पहली चीज जो हमने की थी, कतार को 4 भागों में विभाजित किया गया था और मतदाताओं को सुरक्षित रूप से इन कतारों को रोकने की अनुमति दी गई थी, इन भागों को एक ही समय में:

कॉन्फ़िगरेशन कैश के लिए यह हटा दी गई प्रतियोगिता और मतदाताओं की गति में काफी वृद्धि हुई। लेकिन तब हमें इस तथ्य का सामना करना पड़ा कि प्रीप्रोसेसर मैनेजर नौकरी की कतार जमा करने लगे:

प्रीप्रोसेसर प्रबंधक को प्राथमिकता देने में सक्षम होना चाहिए

यह तब हुआ जब उसके पास उत्पादकता की कमी थी। तब वह जो कुछ भी कर सकता था, वह डेटा संग्रह प्रक्रियाओं से अनुरोधों को जमा करना और उनके बफर को जोड़ना जब तक वह सभी मेमोरी और क्रैश नहीं खाता:

इस समस्या को हल करने के लिए, हमने एक दूसरा सॉकेट जोड़ा, जिसे श्रमिकों के लिए विशेष रूप से आवंटित किया गया था:

इस प्रकार , प्रीप्रोसेसर-मैनेजर को अपने काम को प्राथमिकता देने का अवसर मिला और बफर के बढ़ने की स्थिति में, कार्य को खाने को धीमा करना है, श्रमिकों को इस बफर को चुनने का अवसर प्रदान करना है:

फिर हमने पाया कि मंदी के कारणों में से एक यह था क्योंकि श्रमिक खुद के लिए प्रतिस्पर्धा कर रहे थे। उनके काम के लिए महत्वपूर्ण संसाधन। हमने इस समस्या को बग-फिक्स के साथ पंजीकृत किया है, और ज़ैबिक्स के नए संस्करणों में इसे पहले ही हल कर दिया गया है:

हम सॉकेट की संख्या बढ़ाते हैं - हमें परिणाम मिलता है

इसके अलावा, प्रीप्रोसेसर प्रबंधक स्वयं एक संकीर्ण कड़ी बन गया, क्योंकि यह एक एकल धागा है। यह कोर की गति पर आराम करता है, प्रति सेकंड लगभग 70 हजार मीट्रिक की अधिकतम गति देता है:

इसलिए, हमने सॉकेट्स, श्रमिकों के चार सेटों के साथ चार बनाए:

और इसने हमें गति को लगभग 130 हजार मीट्रिक तक बढ़ाने की अनुमति दी:

विकास की अशुद्धता को इस तथ्य से समझाया गया है कि कैश के लिए प्रतिस्पर्धा थी। कहानियों। उसके लिए, 4 प्रीप्रोसेसर प्रबंधकों और ऐतिहासिक सिंकरों ने प्रतिस्पर्धा की। इस बिंदु पर, हमें एक परीक्षण मशीन पर प्रति सेकंड लगभग 130 हजार मीट्रिक प्राप्त हुए, जो प्रोसेसर पर लगभग 95% का उपयोग करता है: 2.5 %

पहले

स्नैम्प-समुदाय के इनकार ने एनवीपी को डेढ़ गुना बढ़ा दिया

MM: - मैक्स, मुझे एक नई टेस्ट मशीन चाहिए! हम अब वर्तमान में फिट नहीं हैं।

एमसीएच: - और अब क्या है?

MM: - अब - 130k एनवीपी और एक "शेल्फ" प्रोसेसर।

एमसीएच: - वाह! ठंडा! रुको, मेरे दो सवाल हैं। मेरी गणना के अनुसार, हमारी आवश्यकता प्रति सेकंड 15-20 हजार मीट्रिक क्षेत्र में है। हमें और क्यों चाहिए?

MM: - मैं काम को अंत तक पूरा करना चाहता हूं। मैं देखना चाहता हूं कि हम इस प्रणाली से कितना निचोड़ सकते हैं।

एमसीएच: - लेकिन ...

एमएम: - लेकिन यह व्यापार के लिए बेकार है।

एमसीएच: - मैं देखता हूं। और दूसरा प्रश्न: हमारे पास अब क्या है, क्या हम बिना डेवलपर की मदद के खुद का समर्थन कर सकते हैं?

MM:- मैं नहीं सोचता। कॉन्फ़िगरेशन कैश को बदलना एक समस्या है। यह अधिकांश थ्रेड्स में परिवर्तन से संबंधित है और इसे बनाए रखना मुश्किल है। सबसे अधिक संभावना है, उसका समर्थन करना बहुत मुश्किल होगा।

एमसीएच: - फिर आपको किसी प्रकार के विकल्प की आवश्यकता होती है।

MM: - ऐसा एक विकल्प है। हम नए लॉकिंग सिस्टम को छोड़ते हुए, तेजी से कोर पर जा सकते हैं। हमें अभी भी 60-80 हजार मेट्रिक्स का प्रदर्शन मिलता है। इस मामले में, हम बाकी कोड छोड़ सकते हैं। क्लिकहाउस, अतुल्यकालिक मतदान काम करेगा और इसे बनाए रखना आसान होगा।

एमसीएच: - महान! मैं इस पर ध्यान केन्द्रित करना चाहता हूं।

सर्वर साइड को अनुकूलित करने के बाद, हम अंततः नए कोड को उत्पादक में चलाने में सक्षम थे। हमने तेज़ गुठली वाली मशीन पर स्विच करने और कोड में परिवर्तनों की संख्या को कम करने के पक्ष में परिवर्तनों का हिस्सा छोड़ दिया। हमने कॉन्फ़िगरेशन को भी सरल किया और, यदि संभव हो तो, मैक्रो को डेटा तत्वों में छोड़ दिया, क्योंकि वे अतिरिक्त ताले का स्रोत हैं।

उदाहरण के लिए, स्नेप-कम्युनिटी मैक्रो की अस्वीकृति, जो अक्सर प्रलेखन और उदाहरणों में पाई जाती है, हमारे मामले में हमें लगभग 1.5 गुना तक एनवीपी को गति देने की अनुमति मिली।

दो दिनों के उत्पादन में

घटना का इतिहास पॉप-अप निकालें

एमसीएच: - मिशा, हम दो दिनों के लिए सिस्टम का उपयोग करते हैं, और सब कुछ काम करता है। लेकिन केवल जब सब कुछ काम करता है! हमने नेटवर्क के एक बड़े हिस्से के हस्तांतरण के साथ काम करने की योजना बनाई थी, और फिर से अपने हाथों से हमने जाँच की कि यह बढ़ गया था, कि यह नहीं था।

MM: - यह नहीं हो सकता! हमने 10 बार सब कुछ चेक किया। सर्वर भी नेटवर्क की दुर्गमता को तुरंत पूरा करता है।

एमसीएच: - हां, मैं सब कुछ समझता हूं: सर्वर, बेस, टॉप, ऑसैट, लॉग्स - सब कुछ तेज है ... लेकिन हम वेब इंटरफेस को देखते हैं, और हमारे पास सर्वर पर "शेल्फ" में प्रोसेसर है और यह:

एमएम: - मुझे दिखाई देता है। आइए वेब देखें। हमने पाया कि ऐसी स्थिति में जहां बड़ी संख्या में सक्रिय घटनाएं हुईं, अधिकांश परिचालन विजेट बहुत धीरे-धीरे काम करना शुरू कर रहे हैं:

इसका कारण सूची में प्रत्येक आइटम के लिए उत्पन्न होने वाली घटनाओं के इतिहास के साथ पॉप-अप की पीढ़ी थी। इसलिए, हमने इन खिड़कियों को बनाने से इनकार कर दिया (कोड में 5 पंक्तियों पर टिप्पणी की), और इससे हमारी समस्याएं हल हो गईं।

विजेट लोडिंग का समय, यहां तक कि जब पूरी तरह से दुर्गम, कुछ मिनटों से हमारे लिए स्वीकार्य 10-15 सेकंड तक कम हो गया था, और इतिहास को अभी भी समय पर क्लिक करके देखा जा सकता है:

काम के बाद। 2 महीने पहले

MCH: - मीशा, क्या तुम जा रही हो? हमें बात करनी होगी।

MM: - नहीं जा रहा है। Zabbix के साथ फिर से कुछ?

एमसीएच: - अरे नहीं, आराम करो! मैं सिर्फ इतना कहना चाहता था: सब कुछ काम करता है, धन्यवाद! मेरे साथ बीयर।

ज़ाबिक्स प्रभावी है

Zabbix एक काफी बहुमुखी और समृद्ध प्रणाली और कार्य है। यह बॉक्स के बाहर छोटे प्रतिष्ठानों के लिए इस्तेमाल किया जा सकता है, लेकिन जरूरतों की वृद्धि के साथ इसे अनुकूलित करना होगा। मीट्रिक का एक बड़ा संग्रह संग्रहीत करने के लिए, उचित संग्रहण का उपयोग करें:

आप Elastixerch के साथ एकीकरण के रूप में अंतर्निहित उपकरणों का उपयोग कर सकते हैं या इतिहास को पाठ फ़ाइलों में अपलोड कर सकते हैं (चौथे संस्करण से उपलब्ध);
आप Clickhouse के साथ हमारे अनुभव और एकीकरण का लाभ उठा सकते हैं।

मैट्रिक्स को इकट्ठा करने की गति में अत्यधिक वृद्धि करने के लिए, उन्हें असिंक्रोनस रूप से इकट्ठा करें और उन्हें ट्रैपर इंटरफ़ेस के माध्यम से ज़ैबिक्स सर्वर पर स्थानांतरित करें; या आप Zabbix के अतुल्यकालिक मतदाताओं के लिए पैच का उपयोग कर सकते हैं।

Zabbix C में लिखा जाता है और काफी प्रभावी है। कई संकीर्ण वास्तुशिल्प स्थानों का समाधान इसकी उत्पादकता को और अधिक बढ़ाने की अनुमति देता है, और हमारे अनुभव में, एकल-प्रोसेसर मशीन पर 100 हजार से अधिक मीट्रिक प्राप्त करता है।

वही ज़ाबिक्स पैच

MM: - मैं कुछ बिंदु जोड़ना चाहता हूं। संपूर्ण वर्तमान रिपोर्ट, सभी परीक्षण, नंबर हमारे साथ उपयोग किए जाने वाले कॉन्फ़िगरेशन के लिए दिए गए हैं। अब हम इसमें से प्रति सेकंड लगभग 20 हज़ार मीट्रिक ले रहे हैं। यदि आप यह समझने की कोशिश कर रहे हैं कि क्या यह आपके लिए काम करेगा - तो आप तुलना कर सकते हैं। आज के बारे में उन्होंने जो बात की वह गीथहब पर एक पैच के रूप में पोस्ट की गई है: github.com/miklert/zabbix

the पैच:

Clickhouse (Zabbix सर्वर और फ्रंटेंड दोनों) के साथ पूर्ण एकीकरण;
प्रीप्रोसेसर प्रबंधक के साथ समस्याओं को हल करना;
अतुल्यकालिक मतदान।

पैच lts सहित सभी संस्करण 4 के साथ संगत है। सबसे अधिक संभावना है, न्यूनतम परिवर्तनों के साथ, यह 3.4 संस्करण पर काम करेगा।

ध्यान देने के लिए आपको धन्यवाद।

प्रशन

दर्शकों से सवाल (इसके बाद - ए): - शुभ दोपहर! कृपया मुझे बताएं, क्या आपके पास ज़ैबिक्स टीम के साथ गहन बातचीत की योजना है या क्या वे आपके साथ हैं ताकि यह एक पैच नहीं है, लेकिन ज़ैबिक्स का सामान्य व्यवहार है?

MM: - हां, हम निश्चित रूप से परिवर्तनों का हिस्सा होंगे। कुछ होगा, कुछ पैच में रहेगा।

A: - उत्कृष्ट रिपोर्ट के लिए आपका बहुत-बहुत धन्यवाद! मुझे बताओ, कृपया, पैच लगाने के बाद, ज़ैबिक्स की तरफ से समर्थन बना रहेगा और उच्च संस्करणों में अपग्रेड कैसे जारी रखा जाएगा? क्या आपके पैच 4.2, 5.0 के बाद Zabbix को अपडेट करना संभव होगा?

MM:- मैं समर्थन के बारे में नहीं कह सकता अगर मैं ज़ैबिक्स का तकनीकी समर्थन करता, तो मैं शायद ना कहता, क्योंकि यह किसी और का कोड है। जैसा कि कोड बेस 4.2 के लिए है, हमारी स्थिति यह है: "हम समय के साथ जाएंगे, और हम अगले संस्करण पर अपडेट होंगे।" इसलिए, कुछ समय के लिए हम पैच को अपडेट किए गए संस्करणों में अपलोड करेंगे। मैंने रिपोर्ट में पहले ही कहा था: संस्करणों के साथ परिवर्तनों की संख्या अभी भी काफी कम है। मुझे लगता है कि 3.4 से 4 में संक्रमण ने हमें ले लिया, ऐसा लगता है, लगभग 15 मिनट। कुछ वहाँ बदल गया है, लेकिन बहुत महत्वपूर्ण नहीं है।

ए: - तो आप अपने पैच को बनाए रखने की योजना बनाते हैं और भविष्य में किसी तरह से अपडेट प्राप्त करने पर आप इसे सुरक्षित रूप से उत्पादन पर लगा सकते हैं?

MM: - हम इसकी दृढ़ता से अनुशंसा करते हैं। यह हमारे लिए बहुत सारी समस्याओं का हल करता है।

मातृ एवं शिशु स्वास्थ्य:- एक बार फिर, मैं उन परिवर्तनों पर जोर देना चाहूंगा जो वास्तुकला से संबंधित नहीं हैं और ताले, कतारों से संबंधित नहीं हैं - वे मॉड्यूलर हैं, वे अलग-अलग मॉड्यूल में हैं। यहां तक कि मामूली बदलाव के साथ अपने दम पर, उन्हें काफी आसानी से बनाए रखा जा सकता है।

MM: - यदि विवरण दिलचस्प हैं, तो "Clickhouse" तथाकथित इतिहास पुस्तकालय का उपयोग करता है। यह अप्रशिक्षित है - यह इलास्टिक के समर्थन की एक प्रति है, अर्थात यह विन्यास योग्य है। मतदान केवल मतदाताओं को बदलता है। हमें विश्वास है कि यह लंबे समय तक काम करेगा।

A: - बहुत बहुत धन्यवाद। लेकिन मुझे बताइए कि क्या इसमें कोई बदलाव किया गया है?

MM:- प्रलेखन एक पैच है। जाहिर है, "Clickhouse" की शुरुआत के साथ, नए प्रकार के मतदाताओं की शुरूआत के साथ, नए कॉन्फ़िगरेशन विकल्प उत्पन्न होते हैं। अंतिम स्लाइड के लिंक में इसका उपयोग करने के तरीके का संक्षिप्त विवरण है।

नप के साथ भरने की जगह के बारे में

A: - आपने आखिर इसे कैसे लागू किया? क्या आप विशिष्ट उदाहरण दे सकते हैं: क्या यह आपकी स्ट्रैपर्स और एक बाहरी स्क्रिप्ट है? आखिर इतनी जल्दी इतने सारे मेजबानों की जाँच क्या होती है? आप इन मेजबानों को कैसे प्राप्त करते हैं? क्या नैम्प को किसी तरह उन्हें खिलाने, कहीं से लाने, कुछ डालने, कुछ शुरू करने की जरूरत है? ..

MM:- ठंडा। बहुत सही सवाल! बात यह है। हमने ICMP चेक्स के लिए लाइब्रेरी (ICMP पिंग, Zabbix का हिस्सा) को संशोधित किया, जो पैकेट - यूनिट (1) की संख्या को इंगित करता है, और कोड नैम्प का उपयोग करने की कोशिश करता है। यही है, यह ज़ैबिक्स का आंतरिक कार्य है, यह अदरक का आंतरिक कार्य बन गया है। तदनुसार, किसी ट्रॉपर के सिंक्रनाइज़ेशन या उपयोग की आवश्यकता नहीं है। यह जानबूझकर सिस्टम को सुसंगत छोड़ने और दो आधार प्रणालियों के सिंक्रनाइज़ेशन में संलग्न नहीं होने के लिए किया गया था: क्या जांचना, मतदाता के माध्यम से भरना, और अगर हम में भराव टूट गया है? .. यह बहुत सरल है।

A: - क्या यह प्रॉक्सी के लिए भी काम करता है?

एमएम: - हां, लेकिन हमने जांच नहीं की। पोलिंग कोड Zabbix और सर्वर दोनों में समान है। कार्य करना चाहिए। मैं फिर से जोर देता हूं: सिस्टम का प्रदर्शन ऐसा है कि हमें प्रॉक्सी की आवश्यकता नहीं है।

एमसीएच: - प्रश्न का सही उत्तर है: "आपको ऐसी प्रणाली के साथ प्रॉक्सी की आवश्यकता क्यों है?" केवल नाटो के कारण या कुछ धीमी गति से चैनल के माध्यम से निगरानी करने के लिए ...

A: - और आप Zabbix का उपयोग एक एलर्जेन के रूप में करते हैं, अगर मैं सही ढंग से समझता हूं। या ग्राफिक्स (जहां संग्रह परत है) आपने किसी अन्य सिस्टम के लिए छोड़ दिया, जैसे कि ग्राफाना? या आप इस कार्यक्षमता का उपयोग नहीं कर रहे हैं?

MM: - मैं एक बार फिर जोर दूंगा: हमने पूर्ण एकीकरण किया है। हम "क्लिकहाउस" में इतिहास डालते हैं, लेकिन एक ही समय में php के दृश्य को बदल दिया। Php-frontend "Clickhouse" पर जाता है और वहाँ से सभी ग्राफिक्स करता है। उसी समय, ईमानदार होने के लिए, हमारे पास एक ऐसा हिस्सा है जो उसी "Clickhouse" से, उसी Zabbix डेटा से, अन्य ग्राफिक डिस्प्ले सिस्टम में डेटा बनाता है।

एमसीएच: - "ग्राफन" में भी।

संसाधनों के आवंटन का निर्णय कैसे किया गया?

A: - थोड़ा सा आंतरिक रसोईघर साझा करें। यह निर्णय कैसे लिया गया कि संसाधनों को गंभीर उत्पाद प्रसंस्करण के लिए आवंटित किया जाना चाहिए? ये सामान्य रूप से, कुछ जोखिम हैं। और कृपया मुझे बताएं, इस तथ्य के संदर्भ में कि आप नए संस्करणों का समर्थन करने जा रहे हैं: यह निर्णय प्रबंधन के दृष्टिकोण से कैसे उचित है?

MM: - जाहिर है, हमने कहानी का नाटक बहुत अच्छी तरह से नहीं बताया। हमने अपने आप को एक ऐसी स्थिति में पाया जहाँ कुछ किया जाना था, और अनिवार्य रूप से दो समानांतर आदेश दिए गए:

एक नए तरीकों का उपयोग करके एक निगरानी प्रणाली शुरू करने में लगा था: एक सेवा के रूप में निगरानी, खुले स्रोत के समाधान का एक मानक सेट जिसे हम गठबंधन करते हैं और फिर नई निगरानी प्रणाली के साथ काम करने के लिए व्यवसाय प्रक्रिया को बदलने की कोशिश करते हैं।
समानांतर में, हमारे पास एक उत्साही प्रोग्रामर था जो यह (अपने बारे में) कर रहा था। ऐसा हुआ कि वह जीत गया।

A: - और टीम का आकार क्या है?

एमसीएच: - वह आपके सामने है।

A: - अर्थात, हमेशा की तरह, एक जुनून की जरूरत है?

MM: - मुझे नहीं पता कि एक उत्साही व्यक्ति क्या है।

ए: - इस मामले में, जाहिरा तौर पर, आप। बहुत-बहुत धन्यवाद, आप मस्त हैं।

MM: - धन्यवाद।

Zabbix के लिए पैच के बारे में

ए: - एक प्रणाली के लिए जो परदे के पीछे का उपयोग करता है (उदाहरण के लिए, कुछ वितरित प्रणालियों में), क्या यह आपके निर्णय के अनुकूल और पैच करने के लिए संभव है, मतदाता, परदे के पीछे और आंशिक रूप से ज़ाबिक्स के पूर्वप्रकारक; और उनकी बातचीत? क्या कई प्रॉक्सी के साथ सिस्टम के लिए मौजूदा विकास को अनुकूलित करना संभव है?

MM: - मुझे पता है कि Zabbix सर्वर को प्रॉक्सी का उपयोग करके इकट्ठा किया जाता है (यह संकलन करता है और कोड प्राप्त होता है)। हमने इस उत्पाद में परीक्षण नहीं किया। मुझे इस पर यकीन नहीं है, लेकिन, मेरी राय में, प्रीप्रोसेसर प्रबंधक प्रॉक्सी में उपयोग नहीं किया जाता है। प्रॉक्सी का काम Zabbix से मैट्रिक्स का एक सेट लेना है, उन्हें (यह कॉन्फ़िगरेशन, स्थानीय डेटाबेस भी लिखता है) भरें और इसे Zabbix सर्वर पर लौटा दें। तब सर्वर स्वयं इसे प्राप्त होने पर प्रीप्रोसेसिंग करेगा।

समीपता में रुचि समझ में आती है। हम इसे सत्यापित करेंगे। यह एक दिलचस्प विषय है।

ए: - विचार यह था: यदि आप मतदाताओं को पैच कर सकते हैं, तो उन्हें सर्वर के साथ प्रॉक्सी और पैच इंटरैक्शन के लिए पैच किया जा सकता है, और प्रीप्रोसेसर को सर्वर पर केवल इन उद्देश्यों के लिए अनुकूलित किया जा सकता है।

MM: - मुझे लगता है कि सब कुछ सरल है। आप कोड लेते हैं, पैच को लागू करते हैं, फिर इसे आवश्यकतानुसार कॉन्फ़िगर करें - प्रॉक्सी सर्वर इकट्ठा करें (उदाहरण के लिए, ODBC के साथ) और सिस्टम को पैच कोड वितरित करें। जहां आवश्यक हो - जहां आवश्यक हो, वहां सर्वरों को इकट्ठा करें।

ए: - इसके अलावा, आपको सर्वर पर प्रॉक्सी ट्रांसमिशन को पैच करना नहीं होगा, सबसे अधिक संभावना है?

एमसीएच: - नहीं, यह मानक है।

MM:- दरअसल, विचारों में से एक ध्वनि नहीं थी। हमने हमेशा विचारों के विस्फोट और परिवर्तन की संख्या के बीच संतुलन बनाए रखा, समर्थन में आसानी।

विज्ञापन का एक सा :)

हमारे साथ रहने के लिए धन्यवाद। क्या आप हमारे लेख पसंद करते हैं? अधिक दिलचस्प सामग्री देखना चाहते हैं? एक ऑर्डर देकर या $ 4.99 से डेवलपर्स के लिए अपने दोस्तों के क्लाउड-आधारित VPS की सिफारिश करके हमें समर्थन दें, आपके द्वारा आविष्कार किया गया एंट्री-लेवल सर्वर का एक अनूठा एनालॉग: VPS (KVM) E5-2697 3 (6 करोड़) 10GB DDR4 480GB SSD 1Gbps के बारे में पूरी सच्चाई $ 19 या सर्वर को कैसे विभाजित करें? (विकल्प RAID1 और RAID10 के साथ उपलब्ध हैं, 24 कोर तक और 40GB DDR4 तक)।

डेल R730xd एम्स्टर्डम में इक्विनिक्स टीयर IV डेटा सेंटर में 2 गुना सस्ता है? केवल हमारे पास 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV नीदरलैंड के 199 डॉलर में से है!डेल R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $ 99 से! इन्फ्रास्ट्रक्चर Bldg का निर्माण कैसे करें के बारे में पढ़ें । एक पैसा के लिए 9,000 यूरो की लागत डेल R730xd E5-2650 v4 सर्वर का उपयोग कर वर्ग सी?

हाईलोअड ++, मिखाइल मकरोव, मैक्सिम चेर्नेत्सोव (इंटरसिवेज़): ज़ैबिक्स, एक सर्वर पर 100kNVPS