यह कहानी है कि हम किराने के वातावरण में कंटेनरों का उपयोग कैसे करते हैं, खासकर कुबेरनेट्स के तहत। लेख कंटेनरों से मैट्रिक्स और लॉग के संग्रह के लिए समर्पित है, साथ ही साथ चित्रों का निर्माण भी है।

हम फिनटेक कंपनी Exness से हैं, जो B2B और B2C के लिए ऑनलाइन ट्रेडिंग और फिनटेक उत्पादों के लिए सेवाएं विकसित करती है। हमारे R & D में कई अलग-अलग टीमें हैं, विकास विभाग में 100+ कर्मचारी हैं।

हम उस टीम का प्रतिनिधित्व करते हैं जो हमारे डेवलपर्स द्वारा कोड एकत्र करने और चलाने के लिए मंच के लिए जिम्मेदार है। विशेष रूप से, हम अनुप्रयोगों से मैट्रिक्स, लॉग, और ईवेंट एकत्र करने, भंडारण और प्रदान करने के लिए जिम्मेदार हैं। वर्तमान में, हम उत्पाद पर्यावरण में लगभग तीन हजार डॉकटर कंटेनरों का संचालन करते हैं, हमारे 50 टीबी बड़े डेटा भंडारण का समर्थन करते हैं और हमारे बुनियादी ढांचे के आसपास निर्मित वास्तु समाधान प्रदान करते हैं: कुबेरनेट्स, रंचर और विभिन्न सार्वजनिक क्लाउड प्रदाता।

हमारी प्रेरणा

क्या जल रहा है? कोई जवाब नहीं दे सकता। चूल्हा कहाँ है? इसे समझना कठिन है। यह आग कब लगी? आप पता लगा सकते हैं, लेकिन तुरंत नहीं।

कुछ कंटेनर खड़े क्यों होते हैं जबकि अन्य गिर जाते हैं? किस कंटेनर को दोष देना था? वास्तव में, कंटेनरों के बाहर समान हैं, लेकिन प्रत्येक के अंदर अपने स्वयं के नियो हैं।

हमारे डेवलपर्स साक्षर लोग हैं। वे अच्छी सेवाएं देते हैं जो कंपनी को लाभान्वित करते हैं। लेकिन वहाँ fakapy जब अनुप्रयोगों के साथ कंटेनर बेतरतीब ढंग से चलते हैं। एक कंटेनर बहुत अधिक सीपीयू खपत करता है, दूसरा नेटवर्क का उपभोग करता है, तीसरा I / O संचालन का उपभोग करता है, और चौथा आमतौर पर अस्पष्ट है कि यह सॉकेट्स के साथ क्या करता है। यह सब गिरता है, और जहाज डूब जाता है।

एजेंटों

यह समझने के लिए कि अंदर क्या चल रहा है, हमने एजेंटों को सीधे कंटेनरों में रखने का फैसला किया।

ये एजेंट्स ऐसे कार्यक्रम हैं जो कंटेनर को ऐसी स्थिति में रखते हैं कि वे एक दूसरे को तोड़ते नहीं हैं। एजेंट मानकीकृत हैं, और यह कंटेनर हैंडलिंग के लिए एक मानकीकृत दृष्टिकोण की अनुमति देता है।

हमारे मामले में, एजेंटों को एक मानक प्रारूप में लॉग प्रदान करना चाहिए, टैग किया हुआ और ट्रॉटिंग के साथ। उन्हें हमें मानकीकृत मैट्रिक्स भी प्रदान करनी चाहिए जो व्यावसायिक अनुप्रयोगों के मामले में विस्तार योग्य हैं।

एजेंटों का मतलब ऑपरेशन और रखरखाव के लिए उपयोगिताओं का भी है, विभिन्न ऑर्केस्ट्रेशन सिस्टम में काम करने में सक्षम, विभिन्न छवियों (डेबियन, अल्पाइन, सेंटोस, आदि) का समर्थन करना।

अंत में, एजेंटों को डॉक फ़ाइलों सहित एक साधारण CI / CD का समर्थन करना चाहिए। अन्यथा, जहाज अलग हो जाएगा, क्योंकि कंटेनरों को "घुमावदार" रेल पर वितरित किया जाना शुरू हो जाएगा।

असेंबली प्रक्रिया और लक्ष्य डिवाइस छवि

सब कुछ मानकीकृत और प्रबंधनीय होने के लिए, आपको कुछ मानक असेंबली प्रक्रिया का पालन करना होगा। इसलिए, हमने कंटेनरों द्वारा कंटेनरों को इकट्ठा करने का फैसला किया - ऐसी पुनरावृत्ति।

यहां कंटेनरों का प्रतिनिधित्व ठोस आकृति द्वारा किया जाता है। उसी समय, उन्होंने उन में वितरण लगाने का फैसला किया ताकि "जीवन रास्पबेरी न लगे।" ऐसा क्यों किया गया था, हम नीचे वर्णन करेंगे।

परिणाम एक बिल्ड टूल है - एक निश्चित संस्करण का एक कंटेनर, जो वितरण के कुछ संस्करणों और स्क्रिप्ट के कुछ संस्करणों को संदर्भित करता है।

हम इसका प्रयोग कैसे करते हैं? हमारे पास डॉकटर हब है जिसमें कंटेनर निहित है। बाहरी निर्भरता से छुटकारा पाने के लिए हम इसे अपने सिस्टम के अंदर मिरर करते हैं। परिणामस्वरूप कंटेनर पीले रंग में चिह्नित है। हम कंटेनर में स्थापित करने के लिए एक टेम्पलेट बनाते हैं जो हमें चाहिए सभी वितरण और स्क्रिप्ट। उसके बाद, हम एक छवि एकत्र करते हैं जो ऑपरेशन के लिए तैयार है: डेवलपर्स ने कोड और कुछ विशेष निर्भरताएं इसमें डाल दीं।

यह दृष्टिकोण अच्छा क्यों है?

सबसे पहले, बिल्ड टूल्स का पूर्ण संस्करण नियंत्रण - बिल्ड कंटेनर, स्क्रिप्ट और वितरण संस्करण।
दूसरे, हमने मानकीकरण हासिल किया है: उसी तरह हम टेम्पलेट, इंटरमीडिएट बनाते हैं और ऑपरेशन छवि के लिए तैयार होते हैं।
तीसरा, कंटेनर हमें पोर्टेबिलिटी प्रदान करते हैं। आज हम Gitlab का उपयोग करते हैं, और कल हम TeamCity या जेनकिंस पर स्विच करेंगे और उसी तरह हम अपने कंटेनरों को लॉन्च करने में सक्षम होंगे।
चौथा, निर्भरता कम से कम करना। यह कोई संयोग नहीं है कि हम कंटेनर में वितरण डालते हैं, क्योंकि यह हमें इंटरनेट से हर बार डाउनलोड नहीं करने देता है।
पांचवीं, विधानसभा की गति में वृद्धि हुई है - छवियों की स्थानीय प्रतियों की उपलब्धता से आप समय डाउनलोड करने में बर्बाद नहीं कर सकते हैं, क्योंकि स्थानीय छवि है।

दूसरे शब्दों में, हमने एक नियंत्रित और लचीली विधानसभा प्रक्रिया हासिल की है। हम पूर्ण संस्करण के साथ किसी भी कंटेनर के निर्माण के लिए समान उपकरणों का उपयोग करते हैं।

हमारी निर्माण प्रक्रिया कैसे काम करती है

असेंबली को एक कमांड के साथ लॉन्च किया जाता है, इस प्रक्रिया को इमेज (लाल रंग में हाइलाइट) में किया जाता है। डेवलपर के पास डॉकटर-फ़ाइल (पीले रंग में हाइलाइट किया गया) है, हम इसे वैरिएबल को मानों के साथ बदलकर प्रस्तुत करते हैं। और जिस तरह से हम शीर्ष लेख और पाद लेख जोड़ते हैं - ये हमारे एजेंट हैं।

हैडर संबंधित छवियों से वितरण जोड़ता है। और पाद हमारी सेवाओं को अंदर स्थापित करता है, कार्यभार, लॉगिंग और अन्य एजेंटों के लॉन्च को कॉन्फ़िगर करता है, प्रवेश बिंदु को बदलता है, आदि।

हमने लंबे समय तक सोचा कि क्या सुपरवाइजर सेट करना है। अंत में, उन्होंने फैसला किया कि हमें उसकी ज़रूरत है। S6 चुनें। पर्यवेक्षक कंटेनर का नियंत्रण प्रदान करता है: यह आपको मुख्य प्रक्रिया में गिरावट की स्थिति में इसे कनेक्ट करने की अनुमति देता है और कंटेनर को दोबारा बनाए बिना मैनुअल नियंत्रण प्रदान करता है। लॉग और मैट्रिक्स एक कंटेनर के अंदर चलने वाली प्रक्रियाएं हैं। उन्हें भी किसी तरह नियंत्रित करने की आवश्यकता है, और हम एक पर्यवेक्षक की मदद से ऐसा करते हैं। अंत में, एस 6 हाउसकीपिंग, सिग्नल प्रोसेसिंग और अन्य कार्यों का ध्यान रखता है।

चूंकि हम ऑर्केस्ट्रेशन की विभिन्न प्रणालियों का उपयोग करते हैं, विधानसभा और लॉन्च के बाद, कंटेनर को समझना चाहिए कि वह किस वातावरण में है और स्थिति पर कार्य करता है। उदाहरण के लिए:
यह हमें एक छवि को इकट्ठा करने और विभिन्न ऑर्केस्ट्रेशन सिस्टम में लॉन्च करने की अनुमति देता है, और इसे इस ऑर्केस्ट्रेशन सिस्टम की बारीकियों को ध्यान में रखते हुए लॉन्च किया जाएगा।

एक ही कंटेनर के लिए, हमें डोकर और कुबेरनेट्स में अलग-अलग प्रक्रिया के पेड़ मिलते हैं:

पेलोड को एसबीआई पर्यवेक्षक के तहत निष्पादित किया जाता है। कलेक्टर और घटनाओं पर ध्यान दें - ये हमारे एजेंट हैं जो लॉग और मैट्रिक्स के लिए जिम्मेदार हैं। Kubernetes उनके पास नहीं है, लेकिन Docker के पास है। क्यों?

यदि आप "चूल्हा" (इसके बाद - कुबेरनेट्स पॉड) के विनिर्देश को देखते हैं, तो हम देखेंगे कि इवेंट कंटेनर को चूल्हा में निष्पादित किया जाता है, जिसमें एक अलग कलेक्टर कंटेनर होता है जो मैट्रिक्स और लॉग को इकट्ठा करने का कार्य करता है। हम कुबेरनेट्स की क्षमताओं का उपयोग कर सकते हैं: एक चूल्हा में कंटेनर चलाना, एक ही प्रक्रिया में और / या नेटवर्क स्पेस में। वास्तव में अपने एजेंटों का परिचय दें और कुछ कार्य करें। और अगर डॉकटर में एक ही कंटेनर लॉन्च किया जाता है, तो इसे आउटपुट पर सभी समान सुविधाएं प्राप्त होंगी, अर्थात यह लॉग और मेट्रिक्स वितरित करने में सक्षम होगा, क्योंकि एजेंट अंदर लॉन्च किए जाएंगे।

मेट्रिक्स और लॉग्स

मैट्रिक्स और लॉग का वितरण एक मुश्किल काम है। उसके फैसले के कई पहलू हैं।
पेलोड को पूरा करने के लिए बुनियादी ढांचे का निर्माण किया जाता है, न कि लॉग्स के बड़े पैमाने पर वितरण के लिए। यही है, इस प्रक्रिया को कंटेनर संसाधनों के लिए न्यूनतम आवश्यकताओं के साथ किया जाना चाहिए। हम अपने डेवलपर्स की मदद करने का प्रयास करते हैं: "डॉकर हब कंटेनर लें, इसे लॉन्च करें, और हम लॉग वितरित कर सकते हैं।"

दूसरा पहलू लॉग की मात्रा की सीमा है। यदि कई कंटेनरों में लॉग की मात्रा में वृद्धि की स्थिति है (एप्लिकेशन लूप में स्टैक-ट्रेस प्रदर्शित करता है), सीपीयू, संचार चैनलों, लॉग प्रोसेसिंग सिस्टम पर लोड बढ़ता है, और यह मेजबान के पूरे और अन्य कंटेनरों के रूप में मेजबान के संचालन को प्रभावित करता है, कभी-कभी यह होता है। मेजबान का "पतन"।

तीसरा पहलू - आपको यथासंभव बॉक्स से बाहर कई मैट्रिक्स संग्रह विधियों का समर्थन करने की आवश्यकता है। फाइलों को पढ़ने और पोलिंग प्रोमिथियस-एंडपॉइंट से लेकर विशिष्ट एप्लिकेशन प्रोटोकॉल का उपयोग करने तक।

और आखिरी पहलू - आपको संसाधन की खपत को कम करना होगा।

हमने टेलीग्राफ नामक एक ओपन-सोर्स गो सॉल्यूशन चुना। यह एक सार्वभौमिक कनेक्टर है जो 140 से अधिक प्रकार के इनपुट चैनल (इनपुट प्लग इन) और 30 प्रकार के आउटपुट (आउटपुट प्लग इन) का समर्थन करता है। हमने इसे अंतिम रूप दिया और अब हम बताएंगे कि कुबेरनेट्स के साथ इसका उपयोग कैसे किया जाता है।

मान लीजिए कि एक डेवलपर एक भार को हटाता है और कुबेरनेट को एक चूल्हा बनाने के लिए अनुरोध प्राप्त होता है। इस बिंदु पर, कलेक्टर नामक एक कंटेनर स्वचालित रूप से प्रत्येक पॉड के लिए बनाया जाता है (हम म्यूटेशन वेबहूक का उपयोग करते हैं)। कलेक्टर हमारे एजेंट हैं। शुरुआत में, यह कंटेनर प्रोमेथियस और लॉग संग्रह प्रणाली के साथ काम करने के लिए खुद को कॉन्फ़िगर करता है।

ऐसा करने के लिए, वह चूल्हा के एनोटेशन का उपयोग करता है, और अपनी सामग्री के आधार पर, प्रोमेथियस के अंतिम बिंदु बनाता है, कहता है;
चूल्हा के विनिर्देश और कंटेनरों की विशिष्ट सेटिंग्स के आधार पर, यह तय करता है कि लॉग कैसे वितरित करें।

हम डॉकर एपीआई के माध्यम से लॉग एकत्र करते हैं: यह डेवलपर्स के लिए उन्हें स्टडआउट या स्टडर में डालने के लिए पर्याप्त है, और फिर कलेक्टर इसे पता लगाएगा। संभव मेजबान भीड़ को रोकने के लिए कुछ देरी से लॉग को चंक द्वारा एकत्र किया जाता है।

कंटेनरों में कार्यभार के उदाहरणों (प्रक्रियाओं) पर मैट्रिक्स एकत्र किए जाते हैं। सब कुछ टैग किया गया है: नामस्थान, के तहत, और इसी तरह, और फिर प्रोमेथियस प्रारूप में परिवर्तित हो गया - और संग्रह के लिए उपलब्ध हो जाता है (लॉग को छोड़कर)। इसके अलावा, हम कफका और आगे लॉग, मैट्रिक्स और ईवेंट भेजते हैं:

लॉग ग्रेलॉग पर उपलब्ध हैं (दृश्य विश्लेषण के लिए);
लॉन्ग-टर्म स्टोरेज के लिए लॉग्स, मेट्रिक्स, इवेंट्स को क्लिकहाउस में भेजा जाता है।

इसी तरह, AWS में सब कुछ काम करता है, केवल हम क्लाउडवाच के साथ काफ्का से ग्रेग्लॉग की जगह ले रहे हैं। हम वहां लॉग भेजते हैं, और सब कुछ बहुत आसानी से निकल जाता है: यह तुरंत स्पष्ट हो जाता है कि क्लस्टर और कंटेनर किसके हैं। Google Stackdriver के लिए भी यही सच है। यही है, हमारी योजना काफ़्का के साथ-साथ क्लाउड में दोनों-आधार पर काम करती है।

यदि हमारे पास पॉड्स के साथ कुबेरनेट्स नहीं हैं, तो योजना थोड़ी अधिक जटिल है, लेकिन यह समान सिद्धांतों पर काम करती है।

कंटेनर के अंदर एक ही प्रक्रिया की जाती है, वे S6 का उपयोग करके ऑर्केस्ट्रेटेड होते हैं। सभी समान प्रक्रियाएं एक ही कंटेनर के अंदर चल रही हैं।

आखिरकार

हमने लॉग में और मैट्रिक्स एकत्र करने और वितरित करने के विकल्पों के साथ, ऑपरेशन में छवियों को इकट्ठा करने और लॉन्च करने के लिए एक पूर्ण समाधान बनाया है:

छवियों के संयोजन के लिए एक मानकीकृत दृष्टिकोण विकसित किया, इस पर विकसित सीआई-टेम्पलेट;
डेटा संग्रह एजेंट हमारे टेलीग्राफ के एक्सटेंशन हैं। हमने उन्हें उत्पादन में अच्छी तरह से चलाया;
हम फली में एजेंटों के साथ कंटेनरों को लागू करने के लिए म्यूटेशन वेबहूक का उपयोग करते हैं;
कुबेरनेट्स / Rancher पारिस्थितिकी तंत्र में एकीकृत;
हम विभिन्न ऑर्केस्ट्रेशन सिस्टम में एक ही कंटेनर को निष्पादित कर सकते हैं और उस परिणाम को प्राप्त कर सकते हैं जिसकी हमें उम्मीद है;
एक पूरी तरह से गतिशील कंटेनर प्रबंधन विन्यास बनाया।

सह-लेखक: इल्या प्रुडनिकोव

K8s के लिए उत्पादन-तैयार छवियां