🍡 👩🏽‍💼 💇🏿 भारी भार वाले गोलंग अनुप्रयोगों को डिबग करना या हमने कुबेरनेट्स में एक समस्या की तलाश की जो वहां नहीं थी 👨🏽 👼🏻 ✌🏽

कुबेरनेट्स के आधुनिक दुनिया में, एक तरह से या किसी अन्य, किसी को सॉफ़्टवेयर त्रुटियों का सामना करना पड़ता है जो आपके या आपके सहयोगी द्वारा नहीं किए जाते हैं, लेकिन आपको उन्हें हल करना होगा। यह लेख गोलंग की दुनिया में एक नवागंतुक की मदद कर सकता है और कुबेरनेट्स अपने स्वयं के और विदेशी सॉफ़्टवेयर को डीबग करने के कुछ तरीके समझ सकते हैं।

मेरा नाम विक्टर यागोफारोव है, मैं डोमक्लिक में कुबेरनेट्स क्लाउड विकसित कर रहा हूं, और आज मैं इस बारे में बात करना चाहता हूं कि हमने अपने उत्पादन k8s (कुबेरनेट्स) क्लस्टर के प्रमुख घटकों में से एक के साथ समस्या को कैसे हल किया।

हमारे लड़ाकू क्लस्टर में (लेखन के समय):

1890 पॉड्स और 577 सेवाओं को लॉन्च किया गया था (वास्तविक माइक्रोसर्विसेज की संख्या भी इस आंकड़े के क्षेत्र में है)
Ingress- नियंत्रकों लगभग 6k RPS की सेवा करते हैं और उसी राशि के बारे में Ingress सीधे hostPort पर जाता है ।

मुसीबत

कुछ महीने पहले, हमारे पॉड्स ने DNS नामों को हल करने में समस्या का अनुभव करना शुरू किया। तथ्य यह है कि DNS मुख्य रूप से यूडीपी पर काम करता है, और लिनक्स कर्नेल में कंवर्टर और यूडीपी के साथ कुछ समस्याएं हैं । DN8 जब k8s सेवा के सेवा पतों को एक्सेस कर रहा है, तो केवल कॉनसेक रेस के साथ समस्या को बढ़ाता है । यह जोड़ने योग्य है कि समस्या के समय हमारे क्लस्टर में DNS सर्वर, CoreDNS की ओर लगभग 40k RPS थे।

यह क्लस्टर के प्रत्येक कार्यकर्ता नोड पर समुदाय द्वारा विशेष रूप से बनाए गए नोडलोकल DNS (नोडेलोकेल्ड) स्थानीय कोडिंग सर्वर का उपयोग करने का निर्णय लिया गया था , जो अभी भी बीटा में है और सभी समस्याओं को हल करने के लिए डिज़ाइन किया गया है। संक्षेप में: क्लस्टर DNS से कनेक्ट करते समय UDP से छुटकारा पाएं, NAT निकालें, अतिरिक्त कैश परत जोड़ें।

कार्यान्वयन nodelocaldns के पहले पुनरावृत्ति में हमने संस्करण 1.15.4 ( घन के संस्करण के साथ भ्रमित न होने के लिए ) का उपयोग किया, जो «कुबेरनेट्स-इंस्टॉलर» कुबेस्प्रय के साथ आया था - हम साउथब्रिज से हमारे फोर्क फोर्क फोर्क के बारे में बात कर रहे हैं।

परिचय के तुरंत बाद, समस्याएं शुरू हो गईं: मेमोरी बह गई और चूल्हा स्मृति सीमा (ओओएम-किल) के अनुसार फिर से शुरू हुआ । इसे पुनः आरंभ करने के समय, होस्ट पर सभी ट्रैफ़िक खो गया था, क्योंकि सभी पॉड्स /etc/resolv.conf में नोडेलोकल्डन के आईपी पते के बिल्कुल समान थे।

यह स्थिति निश्चित रूप से सभी के अनुकूल नहीं थी, और हमारी ओपीएस टीम ने इसे खत्म करने के लिए कई उपाय किए।

चूंकि मैं खुद गोलंग के लिए नया हूं, इसलिए मुझे इस सभी तरह से जाने और इस अद्भुत प्रोग्रामिंग भाषा में डिबगिंग अनुप्रयोगों से परिचित होने के लिए बहुत दिलचस्पी थी।

हम इसका हल ढूंढ रहे हैं

तो चलते हैं!

संस्करण 1.15.7 देव क्लस्टर में डाउनलोड किया गया था , जिसे पहले से ही बीटा माना जाता है, और 1.15.4 के रूप में अल्फा नहीं है, लेकिन मायके में DNS (40k RPS) में ऐसा ट्रैफ़िक नहीं है। यह दुख की बात है।

इस प्रक्रिया में, हमने कुबेस्प्रे से नोडेलोक्लेड्स को एकजुट किया और अधिक सुविधाजनक रोलिंग आउट के लिए एक विशेष हेलम चार्ट लिखा । उसी समय, उन्होंने कुबसप्रय के लिए एक प्लेबुक लिखी, जो आपको घंटे के द्वारा पूरे क्लस्टर राज्य को पचाने के बिना क्यूबलेट सेटिंग्स को बदलने की अनुमति देता है ; इसके अलावा, यह पॉइंटवाइज़ (कम संख्या में नोड्स पर पहले जाँच) किया जा सकता है।

इसके बाद, हमने nodelocaldns के संस्करण को 1.15.7 से लुढ़का दिया। स्थिति, अफसोस, दोहराया गया था। स्मृति बह रही थी।

आधिकारिक nodelocaldns रिपॉजिटरी का संस्करण 1.15 के साथ टैग किया गया था। 8, लेकिन किसी कारण से मैं इस संस्करण पर डॉकटर नहीं बना सका और सोचा कि मैंने अभी तक आधिकारिक डॉकटर छवि एकत्र नहीं की है, इसलिए इस संस्करण का उपयोग नहीं किया जाना चाहिए। यह एक महत्वपूर्ण बिंदु है, और हम इस पर लौटेंगे।

डिबगिंग: स्टेज 1

एक लंबे समय के लिए मैं समझ नहीं सकता है सिद्धांत रूप में nodelocaldns की मेरी संस्करण इकट्ठा करने के लिए कैसे, क्योंकि Makefile से शलजम डोकर छवि के भीतर से समझ से बाहर त्रुटियों के साथ दुर्घटनाग्रस्त हो गया, और मैं वास्तव में समझ में नहीं आया कैसे चालाकी से एक के साथ एक गो-परियोजना का निर्माण करने के govendor तुरंत निर्देशिका में एक अजीब तरीके से बाहर रखी कई अलग डीएनएस सर्वर विकल्पों के लिए। बात यह है कि मैंने गो सीखना शुरू किया था जब सामान्य आउट-ऑफ-बॉक्स निर्भरता संस्करण पहले से ही दिखाई दिया था ।

पावेल सेलिवानोव ने समस्या के साथ मेरी बहुत मदद की।pauljammजिसके लिए उन्हें बहुत-बहुत धन्यवाद। मैं अपने संस्करण को इकट्ठा करने में कामयाब रहा।

इसके बाद, हमने पिफिट प्रोफाइलर को खराब कर दिया , युवती पर असेंबली का परीक्षण किया और इसे ठेस पहुंचाया ।

चैट टीम के एक सहकर्मी ने वास्तव में प्रोफाइलिंग को समझने में मदद की ताकि आप आसानी से सीएलआई यूआरएल के माध्यम से लाभकारी उपयोगिता से चिपक सकें और ब्राउज़र में इंटरेक्टिव मेनू का उपयोग करके मेमोरी और प्रोसेस थ्रेड्स का अध्ययन कर सकें, जिसके लिए उन्हें बहुत धन्यवाद भी।

पहली नज़र में, प्रोफाइलर के आउटपुट के आधार पर, प्रक्रिया अच्छी तरह से कर रही थी - अधिकांश मेमोरी स्टैक पर आवंटित की गई थी और ऐसा लगता है, गो-रुटीन द्वारा लगातार उपयोग किया गया था ।

लेकिन कुछ बिंदु पर यह स्पष्ट हो गया कि "स्वस्थ" लोगों की तुलना में नोडेलोकल्डन के "बुरे" श्रोताओं में बहुत सारे धागे सक्रिय थे। और धागे कहीं गायब नहीं हुए, लेकिन स्मृति में लटका रहा। इस समय, पावेल सेलिवानोव के कूबड़ कि "धागे बह रहे हैं" पुष्टि की गई थी।

डिबगिंग: स्टेज 2

यह दिलचस्प हो गया कि ऐसा क्यों हो रहा है (थ्रेड्स बह रहे हैं), और नोडेलॉल्डनड्स प्रक्रिया के अध्ययन में अगला चरण शुरू हो गया है।

स्टेटिक एनालाइजर कोड स्टैटिकचेक से पता चला कि लाइब्रेरी में एक धागा बनाने के चरण में कुछ समस्याएं हैं , जिसका उपयोग नोडेलोकोल्डन्स में किया जाता है (यह इंकलुडा कोरडएनएस, जो कि इंकॉडलोड नोडलडॉन्स'ओम)। जैसा कि मैं इसे समझता हूं, कुछ जगहों पर संरचना के लिए एक संकेतक प्रेषित नहीं किया गया है , लेकिन उनके मूल्यों की एक प्रति है ।

यह "खराब" प्रक्रिया का एक coredump बनाने का निर्णय लिया गया था , जो कि gcore उपयोगिता का उपयोग कर रहा था और देख रहा था कि अंदर क्या था।

जीडीबी-जैसे डीएलवी टूल के साथ कोरडंप में अटकनामुझे इसकी शक्ति का एहसास हुआ, लेकिन मुझे एहसास हुआ कि मैं बहुत लंबे समय तक इस तरह से एक कारण की तलाश करूंगा। इसलिए, मैंने गोलैंड आईडीई में कोरडंप लोड किया और प्रक्रिया मेमोरी की स्थिति का विश्लेषण किया।

डिबगिंग: स्टेज 3

कार्यक्रम की संरचना का अध्ययन करना बहुत दिलचस्प था, उन्हें बनाने वाले कोड को देखकर। लगभग 10 मिनट में यह स्पष्ट हो गया कि कई गो-रूटीन टीसीपी कनेक्शनों के लिए किसी प्रकार की संरचना बनाते हैं, उन्हें झूठे के रूप में चिह्नित करते हैं और उन्हें कभी नहीं हटाते हैं (40k आरपीएस के बारे में याद रखें?)।

स्क्रीनशॉट में आप कोड के समस्याग्रस्त भाग और संरचना को देख सकते हैं जिसे यूडीपी सत्र बंद होने पर मंजूरी नहीं दी गई थी।

इसके अलावा, coredump से, आरपीएस के ऐसे कई अपराधी इन संरचनाओं में आईपी पते से ज्ञात हुए (धन्यवाद हमारे क्लस्टर में अड़चन खोजने में मदद करने के लिए धन्यवाद :)।

फेसला

इस समस्या के खिलाफ लड़ाई के दौरान, मैंने कुबेरनेट्स समुदाय के सहयोगियों की मदद से पाया कि 1.15.8 नोडलोकल्डन्स की आधिकारिक डॉकर छवि अभी भी मौजूद है (और मेरे पास वास्तव में टेढ़े हाथ हैं और किसी तरह गलत काम करने वालों को खींच लिया है, या WIFI शरारती था पल खींचो)।

इस संस्करण में, उनके द्वारा उपयोग किए जाने वाले पुस्तकालयों के संस्करण बहुत "परेशान" हैं: विशेष रूप से, "अपराधी" "अपहृत" लगभग 20 संस्करण!

इसके अलावा, नए संस्करण में पहले से ही पिफिट के माध्यम से प्रोफाइलिंग के लिए समर्थन है और इसे कॉन्फ़िगरमैप के माध्यम से सक्षम किया गया है, आपको कुछ भी आश्वस्त करने की आवश्यकता नहीं है।

एक नया संस्करण पहले देव में और फिर उत्पादों में डाउनलोड किया गया था।
III ... विजय !
प्रक्रिया ने सिस्टम को अपनी मेमोरी लौटना शुरू कर दिया और समस्याएं बंद हो गईं।

नीचे दिए गए ग्राफ़ में आप चित्र देख सकते हैं: “स्मोकर का DNS बनाम। एक स्वस्थ व्यक्ति का डीएनएस। "

जाँच - परिणाम

निष्कर्ष सरल है: आप जो कई बार कर रहे हैं उसे दोहराएं और समुदाय की मदद का तिरस्कार न करें। परिणामस्वरूप, हमने कई दिनों तक समस्या पर अपना अधिक समय बिताया, लेकिन हमें कंटेनरों में डीएनएस फेल-सेफ ऑपरेशन मिला। इस बिंदु तक पढ़ने के लिए धन्यवाद :)

उपयोगी लिंक्स:

1. www.freecodecamp.org/news/how-i-investigated-memory-leaks-in-go-use-pprof-on-a-large-codebase-4bec4325e192
2 । habr.com/en/company/roistat/blog/413175
3. rakyll.org

भारी भार वाले गोलंग अनुप्रयोगों को डिबग करना या हमने कुबेरनेट्स में एक समस्या की तलाश की जो वहां नहीं थी