😎 💅🏿 🦏 कुबेरनेट्स में डीएनएस के साथ समस्याएं। सार्वजनिक पोस्टमार्टम 🔷 🤦🏽 🚣🏿

ध्यान दें perev।: यह प्रीप्ले के इंजीनियरिंग ब्लॉग से सार्वजनिक पोस्टमार्टम का अनुवाद है । यह कुबेरनेट समूह में एक समस्या का वर्णन करता है जिसके कारण कुछ उत्पादन सेवाओं में कुछ गिरावट आई।

यह लेख उन लोगों के लिए उपयोगी हो सकता है जो पोस्ट-मार्टम के बारे में थोड़ा और सीखना चाहते हैं या भविष्य में डीएनएस के साथ कुछ संभावित समस्याओं को रोक सकते हैं।

यह DNS नहीं है।
ऐसा नहीं हो सकता है कि यह DNS है।
यह DNS था

प्री-पोस्टमार्ट और प्रीप्ले में प्रक्रियाओं के बारे में थोड़ा सा

पोस्टमार्टम बिक्री कार्यालय में एक खराबी या एक घटना का वर्णन करता है। पोस्टमार्टम में घटनाओं का कालक्रम, उपयोगकर्ता पर प्रभाव, मूल कारण, कार्यों और सीखे गए सबक शामिल हैं।

एसआरई की मांग

पिज्जा के साथ साप्ताहिक बैठकों में, तकनीकी टीम के सर्कल में, हम विभिन्न जानकारी साझा करते हैं। ऐसी बैठकों में से एक सबसे महत्वपूर्ण हिस्सा पोस्टमार्टम है, जो अक्सर स्लाइड के साथ एक प्रस्तुति और घटना का गहन विश्लेषण होता है। इस तथ्य के बावजूद कि हम पोस्टमार्टम के बाद "ताली" नहीं बजाते हैं, हम " दोष के बिना" ( दोषरहित सीम ) एक संस्कृति विकसित करने की कोशिश करते हैं । हमारा मानना है कि पोस्टमार्टम को लिखना और प्रस्तुत करना भविष्य में इसी तरह की घटनाओं को रोकने में हमारी (और न केवल) मदद कर सकता है, यही कारण है कि हम उन्हें साझा करते हैं।

घटना में शामिल व्यक्तियों को महसूस करना चाहिए कि वे सजा या प्रतिशोध के डर के बिना इसके बारे में विस्तार से बात कर सकते हैं। कोई सेंसर नहीं! पोस्टमार्टम लिखना एक सजा नहीं है, बल्कि पूरी कंपनी के लिए सीखने का अवसर है।

CALMS & DevOps रखें: S शेयरिंग के लिए है

कुबेरनेट्स में डीएनएस के साथ समस्याएं। पोस्टमार्टम किया

दिनांक: 02/28/2020

लेखक: अमेट यू।, आंद्रेई एस।, इगोर के।, एलेक्सी पी।

स्थिति: पूर्ण

संक्षिप्त: कुबेरनेट्स क्लस्टर

प्रभाव में कुछ सेवाओं के लिए DNS (26 मिनट) की आंशिक अनुपलब्धता , सेवाओं ए के लिए 15,000 ईवेंट खो गए थे। B और C

मूल कारण: Kube- प्रॉक्सी सही ढंग से कॉनट्रैक टेबल से पुरानी प्रविष्टि को हटा नहीं सका, इसलिए कुछ सेवाओं ने अभी भी गैर-मौजूद सबमिशन से कनेक्ट करने का प्रयास किया

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...

ट्रिगर: कारण Kubernetes-क्लस्टर के अंदर कम लोड करने के लिए, CoreDNS-autoscaler तीन से दो को deploymenta में फली की संख्या कम

निर्णय: एक और तैनाती अनुप्रयोगों नई नोड्स के निर्माण की पहल की, CoreDNS-autoscaler क्लस्टर सेवा है, जो अधिलेखित conntrack तालिका उकसाया के लिए अधिक डेक जोड़ा

जांच : प्रोमेथियस मॉनिटरिंग ने सेवाओं A, B और C के लिए बड़ी संख्या में 5xx त्रुटियों का पता लगाया और Kibana में ऑन-ड्यूटी इंजीनियरों 5xx त्रुटियों के लिए कॉल शुरू किया

क्रिया

अधिनियम	एक प्रकार	उत्तरदायी	कार्य
CoreDNS के लिए ऑटोस्कोलर अक्षम करें	रोका	आमेट यू।	DevOps-695
कैशिंग DNS सर्वर स्थापित करें	कमी	मैक्स वी।	DevOps-665
कंवर्टर मॉनिटरिंग कॉन्फ़िगर करें	रोका	आमेट यू।	DevOps-674

सीख सीखी

क्या ठीक रहा:

निगरानी ने स्पष्ट रूप से काम किया। प्रतिक्रिया त्वरित और संगठित थी।

, conntrack
, ()
, DNS,

CoreDNS-autoscaler, conntrack

(EET)


22:13	CoreDNS-autoscaler
22:18
22:21
22:39
22:40	5xx ,

समय का पता लगाने के लिए: 4 मिनट।
कार्रवाई पूरी करने का समय: 21 मिनट।
ठीक करने का समय: 1 मिनट

अतिरिक्त जानकारी

CoreDNS लॉग्स:

I0228 20:13:53.507780       1 event.go:221] Event(v1.ObjectReference{Kind:"Deployment", Namespace:"kube-system", Name:"coredns", UID:"2493eb55-3dc0-11ea-b3a2-02bb48f8c230", APIVersion:"apps/v1", ResourceVersion:"132690686", FieldPath:""}): type: 'Normal' reason: 'ScalingReplicaSet' Scaled down replica set coredns-6cbb6646c9 to 2

किबाना के लिंक (कट आउट), ग्राफाना (कट आउट)
जहां लिनक्स कन्वर्टर अब आपका दोस्त नहीं है
क्यूब-प्रॉक्सी सूक्ष्मताएं: आंतरायिक कनेक्शन रीसेट को डीबग करना
Racy contrack और DNS लुकअप टाइमआउट

प्रोसेसर उपयोग को कम करने के लिए, लिनक्स कर्नेल इस तरह के एक चीज़ का उपयोग करता है। संक्षेप में, यह एक उपयोगिता है जिसमें NAT प्रविष्टियों की एक सूची है जो एक विशेष तालिका में संग्रहीत हैं। जब अगला पैकेट उसी पॉड से पहले की ही तरह आता है, तो अंतिम आईपी पते को पुनर्गणना नहीं किया जाएगा, लेकिन इसे कॉनट्रैक टेबल से लिया जाएगा।

कैसे काम करता है

सारांश

यह कुछ उपयोगी लिंक के साथ हमारे पोस्टमार्टम में से एक का एक उदाहरण था। विशेष रूप से इस लेख में हम अन्य कंपनियों के लिए उपयोगी हो सकने वाली जानकारी साझा करते हैं। इसीलिए हम गलतियाँ करने से नहीं डरते और इसीलिए हम अपने पोस्टमार्टम को सार्वजनिक करते हैं। यहाँ कुछ और दिलचस्प सार्वजनिक पोस्टमार्टम विषय हैं:

गिटलैब: 31 जनवरी के डेटाबेस आउटेज का पोस्टमॉर्टम
ड्रॉपबॉक्स: आउटेज पोस्टमार्टम
Spotify: DNS के साथ Spotify का प्यार / नफरत का रिश्ता
इस हिस्टोग्राम और कुबेरनेट्स विफलता कथा भंडार से कई अन्य
SRE बुक के साथ एक सार्वजनिक पोस्टमार्टम का एक उदाहरण भी

कुबेरनेट्स में डीएनएस के साथ समस्याएं। सार्वजनिक पोस्टमार्टम