🦑 🔥 🎗️ कुबेरनेट्स में लांग डीएनएस संकल्प ✋🏼 🧚🏻 👌🏾

यह आलेख कुबेरनेट्स में DNS मुद्दों पर केंद्रित है जो हमारी टीम का सामना करना पड़ा। जैसा कि यह निकला, कभी-कभी यह समस्या शुरू की तुलना में बहुत गहरी है।

परिचय

हमेशा एक क्षण आता है जब परिस्थितियां पहले से ही डिबग किए गए कार्यों में हस्तक्षेप करती हैं, हमें कुछ बदलने के लिए मजबूर करती हैं। इसलिए हमारी छोटी टीम को सभी प्रयुक्त अनुप्रयोगों को कुबेरनेट्स में स्थानांतरित करने के लिए मजबूर किया गया था। कई कारण थे, उद्देश्य और बहुत नहीं, लेकिन कहानी, वास्तव में, उस बारे में नहीं है।

चूंकि किसी ने पहले कुबेरनेट्स का सक्रिय रूप से उपयोग नहीं किया था, क्लस्टर को कई बार फिर से बनाया गया था, यही वजह है कि हमारे पास हस्तांतरित अनुप्रयोगों की गुणवत्ता का मूल्यांकन करने का समय नहीं था। और इसलिए, चौथे हस्तांतरण के बाद, जब सभी मुख्य शंकु पहले से ही भरे हुए हैं, सभी कंटेनरों को इकट्ठा किया जाता है और सभी तैनाती लिखी जाती हैं, तो आप किए गए कार्यों का विश्लेषण कर सकते हैं और अंत में, अन्य कार्यों के लिए आगे बढ़ सकते हैं।

11 घंटे, कार्य दिवस की शुरुआत। निगरानी प्रणाली में अनुप्रयोगों में से एक से संदेशों का एक भाग का अभाव है।

निदान

आवेदन को हाल ही में एक क्लस्टर में स्थानांतरित किया गया था और इसमें एक साधारण कार्यकर्ता शामिल था, जो हर कुछ मिनट में एक बार डेटाबेस में चढ़ जाता था, इसे परिवर्तनों के लिए जाँचता था और यदि कोई हो, तो बस को एक संदेश भेजा। परीक्षण की शुरुआत से पहले और इसके पूरा होने के बाद, एप्लिकेशन लॉग को एक संदेश लिखता है। कोई समानता नहीं, कोई मल्टीटास्किंग नहीं, एकमात्र कंटेनर में एकमात्र चूल्हा।

करीब से निरीक्षण करने पर, यह स्पष्ट हो गया कि लॉग कंसोल में हैं, लेकिन इलास्टिक में वे अब नहीं हैं।

: Elasticsearch- , Kubernetes, Kibana. Elastic Serilog.Sinks.Elasticsearch, - Nginx ( , Elasticsearch , ). Nginx , .

Serilog, , Serilog selflog . , Serilog:

Serilog.Debugging.SelfLog.Enable(msg =>
{
  Serilog.Log.Logger.Error($"Serilog self log: {msg}");
});

, , . Kibana.

> Caught exception while preforming bulk operation to Elasticsearch: Elasticsearch.Net.ElasticsearchClientException: Maximum timeout reached while retrying request. Call: Status code unknown from: POST /_bulk

Elasticsearch , Elasticsearch . , HttpClient . , , .

, , . . , API Kubernetes, 5-10 100-150 . HTTP . .

– , , HTTP .

, , bash-, google.com :

while true;
do curl -w "%{time_total}\n" -o /dev/null -s "https://google.com/";
sleep 1;
done

– 5 .

, :

apiVersion: v1
kind: ConfigMap
metadata:
  name: ubuntu-test-scripts
data:
  loop.sh: |-
    apt-get update;
    apt-get install -y curl;
    while true;
    do echo $(date)'\n';
    curl -w "@/etc/script/curl.txt" -o /dev/null -s "https://google.com/";
    sleep 1;
    done
  curl.txt: |-
    lookup:        %{time_namelookup}\n
    connect:       %{time_connect}\n
    appconnect:    %{time_appconnect}\n
    pretransfer:   %{time_pretransfer}\n
    redirect:      %{time_redirect}\n
    starttransfer: %{time_starttransfer}\n
    total:         %{time_total}\n
---
apiVersion: v1
kind: Pod
metadata:
  name: ubuntu-test
  labels:
      app: ubuntu-test
spec:
  containers:
  - name: test
    image: ubuntu
    args: [/bin/sh, /etc/script/loop.sh]
    volumeMounts:
    - name: config
      mountPath: /etc/script
      readOnly: true
  volumes:
  - name: config
    configMap:
      defaultMode: 0755
      name: ubuntu-test-scripts

– google.com curl. , /dev/null, curl.

, , . – DNS ( – ). Kubernetes 1.14, , , .

, :

, – DNS-lookup, 99% – 5 . , .

, — 5 seconds dns resolve kubernetes.

, :

issue weave.

, :

( , – 2017 , , , ) .
DNS lookup. , 10-15 .
, DNS- VIP, DNAT.
.

– race conditions conntraking Linux SNAT DNAT. Tobias Klausmann 2009 , Linux 5.0 , .

, Kubernetes DNS, race condition .

glibc ( Ubuntu, Debian . .), :

glibc UDP (A AAAA). UDP connectionless , connect(2) , conntrack .
DNS- Kubernetes VIP DNAT iptables.
DNAT , netfilter :
a. nf_conntrack_in: conntrack hash object .
b. nf_nat_ipv4_fn: conntrack.
c. nf_conntrack_confirm: , .
UDP . , DNS-. , . - insert_failed, .

, workaround:

DNS- nameserver. LocalDNS cache
Weave tc(8) - AAAA DNS
single-request-reopen resolv.conf

, .

Kubernetes 1.9, pod dnsConfig, resolv.conf.

pod, glibc A AAAA , race condition.

spec:
  dnsConfig:
    options:
    - name: single-request-reopen

, — glibc (, alpine, musl), resolv.conf .

PS हमारे मामले में, इस प्रक्रिया को स्वचालित करने के लिए, सबसे सरल म्यूटिंग वेबहूक लिखा गया था, जो क्लस्टर में सभी नए पॉड्स के लिए इस कॉन्फ़िगरेशन अनुभाग को स्वचालित रूप से नीचे रखता है। दुर्भाग्य से, मैं कोड प्रदान नहीं कर सकता।

कुबेरनेट्स में लांग डीएनएस संकल्प

परिचय

निदान

More articles: