👨‍⚕️ 🏽 🌙 लॉगहाउस 0.3 - कुबेरनेट्स में हमारे लॉगिंग सिस्टम का लंबे समय से प्रतीक्षित अपडेट 🕵️ 🧝🏾 👩🏻‍🌾

फ्लंट में मुख्य रूप से कुबेरनेट्स के लिए कई ओपन सोर्स विकास हैं, और लॉगहाउस सबसे लोकप्रिय में से एक है। यह K8s में हमारा केंद्रीय लॉगिंग टूल है, जिसे 2 साल से अधिक समय पहले पेश किया गया था।

जैसा कि हमने लॉग के बारे में एक हालिया लेख में उल्लेख किया है , इसे शोधन की आवश्यकता थी, और इसकी प्रासंगिकता केवल समय के साथ बढ़ी। आज हम लॉगहाउस के नए संस्करण को शुरू करने की कृपा कर रहे हैं - v0.3.0 । उसके बारे में विवरण - कट के नीचे।

नुकसान

हम इस समय कई कुबेरनेट समूहों में लॉगहाउस का उपयोग कर रहे हैं, और सामान्य तौर पर, यह समाधान खुद को और विभिन्न ग्राहकों को सूट करता है, जिनके लिए हम पहुंच प्रदान करते हैं।

इसका मुख्य लाभ इसका सरल और सहज ज्ञान युक्त इंटरफ़ेस है, डेटाबेस में डेटा सम्मिलित करते समय SQL प्रश्नों, अच्छी संपीड़न और कम संसाधन खपत को निष्पादित करने की क्षमता, साथ ही भंडारण के दौरान कम ओवरहेड। ऑपरेशन के दौरान लॉगहाउस में

सबसे दर्दनाक समस्याएं :

एक मर्ज तालिका द्वारा शामिल विभाजन तालिका का उपयोग;
बफर की कमी जो लॉग के फटने को सुचारू करती है;
आउटडेटेड और संभावित रूप से कमजोर वेब पैनल मणि
पुरानी धाराप्रवाह ( loghouse-fluentd: नवीनतम एक समस्याग्रस्त रत्न के कारण शुरू नहीं हुई)।

इसके अलावा, GitHub पर कई महत्वपूर्ण मुद्दे जमा हुए हैं , जिन्हें मैं हल करना चाहूंगा।

लॉगहाउस में बड़े बदलाव 0.3.0

वास्तव में, हमने पर्याप्त परिवर्तन जमा किए हैं, लेकिन हम सबसे महत्वपूर्ण लोगों को उजागर करेंगे। उन्हें 3 मुख्य समूहों में विभाजित किया जा सकता है:

लॉग स्टोरेज और डेटाबेस स्कीमा में सुधार;
लॉग संग्रह में सुधार;
निगरानी की उपस्थिति।

1. लॉग स्टोरेज और डेटाबेस डिज़ाइन में सुधार

प्रमुख नवाचार:

लॉग स्टोरेज योजनाएं बदल गई हैं, एकल तालिका के साथ काम करने के लिए संक्रमण और विभाजन तालिकाओं की अस्वीकृति पूरी हो गई है ।
नवीनतम संस्करणों के ClickHouse में निर्मित आधार सफाई तंत्र को लागू किया जाना शुरू हो गया है ।
अब आप क्लस्टर मोड में भी बाहरी क्लिकहाउस संस्थापन का उपयोग कर सकते हैं ।

एक वास्तविक परियोजना में पुराने और नए सर्किट के प्रदर्शन की तुलना करें । यहां लोकप्रिय ऑनलाइन संसाधन dtf.ru के एप्लिकेशन लॉग में अद्वितीय URL की खोज करने का एक उदाहरण है :

SELECT 
    string_fields.values[indexOf(string_fields.names, 'path')] AS path, 
    count(*) AS count
FROM logs
WHERE (namespace = 'kube-nginx-ingress') AND ((string_fields.values[indexOf(string_fields.names, 'vhost')]) LIKE '%foobar.baz%') AND (date = '2020-02-29')
GROUP BY string_fields.values[indexOf(string_fields.names, 'path')]
ORDER BY count DESC
LIMIT 20

चयन लाखों रिकॉर्डों पर होता है। पुरानी योजना 20 सेकंड में काम करती है:

नई - 14 में:

यदि आप हमारे हेल्म-चार्ट का उपयोग करते हैं , तो लॉगहाउस को अपडेट करते समय डेटाबेस स्वचालित रूप से नए प्रारूप में माइग्रेट हो जाएगा। अन्यथा, आपको मैन्युअल रूप से माइग्रेशन करना होगा। प्रक्रिया प्रलेखन में वर्णित है । संक्षेप में, बस चलाएं:

DO_DB_DEPLOY=true rake create_logs_tables

इसके अलावा, हमने ClickHouse तालिकाओं के लिए TTL का उपयोग करना शुरू कर दिया । यह आपको उस डेटाबेस से डेटा को स्वचालित रूप से हटाने की अनुमति देता है जो निर्दिष्ट समय अंतराल से पुराना है:

CREATE TABLE logs
(
....
)
  ENGINE = MergeTree()
  PARTITION BY (date)
  ORDER BY (timestamp, nsec, namespace, container_name)
  TTL date + toIntervalDay(14)
  SETTINGS index_granularity = 32768;

डेटाबेस स्कीमा के उदाहरण और सीएच क्लस्टर के साथ काम करने के उदाहरण सहित ClickHouse के लिए कॉन्फ़िगर किया जा सकता है, दस्तावेज में पाया जा सकता है ।

लॉग संग्रह में सुधार हुआ

प्रमुख नवाचार:

एक बफ़र जोड़ा गया है जो बड़ी संख्या में लॉग दिखाई देने पर फट से चिकनी करने के लिए डिज़ाइन किया गया है।
सीधे आवेदन से लॉगहाउस में लॉग भेजने की क्षमता को लागू किया : JSON प्रारूप में टीसीपी और यूडीपी पर।

लॉगहाउस में लॉगहाउस की बैटरी logs_bufferडेटाबेस स्कीमा में जोड़ा गया एक नया टेबल है । यह तालिका स्मृति में है, अर्थात रैम में संग्रहीत (एक विशेष प्रकार का बफर है ); यह वह है जो आधार पर लोड को सुचारू करना चाहिए। इसे जोड़ने पर टिप के लिए धन्यवाद।Sovigod!

अनुप्रयोग से लॉगहाउस में सीधे लागू किए गए लॉग लॉग आपको नेटकैट के माध्यम से भी ऐसा करने की अनुमति देता है:

echo '{"log": {"level": "info", "msg": "hello world"}}' | nc fluentd.loghouse 5170

इन लॉग को नामस्थान में देखा जा सकता है जहां लॉगहाउस स्ट्रीम में स्थापित है net:

भेजे जाने वाले डेटा के लिए आवश्यकताएँ न्यूनतम हैं: संदेश एक फ़ील्ड के साथ एक वैध JSON होना चाहिए log। क्षेत्र log, बदले में, एक स्ट्रिंग या नेस्टेड JSON हो सकता है।

लॉगिंग सबसिस्टम की निगरानी

एक महत्वपूर्ण सुधार प्रोमेथियस के माध्यम से धाराप्रवाह की निगरानी था। अब लॉगहाउस ग्राफाना के लिए एक पैनल के साथ आता है, जो सभी बुनियादी मैट्रिक्स प्रदर्शित करता है, जैसे:

धाराप्रवाह श्रमिकों की संख्या;
ClickHouse को भेजे गए घटनाओं की संख्या;
प्रतिशत में मुफ्त बफर आकार।

प्रलेखन में Grafana का पैनल कोड देखा जा सकता है ।

ClickHouse के लिए पैनल एक तैयार उत्पाद के आधार पर बनाया गया है - f1yegor से , जिसके लिए लेखक को बहुत धन्यवाद।

जैसा कि आप देख सकते हैं, पैनल ClickHouse से कनेक्शन की संख्या, बफर का उपयोग, पृष्ठभूमि कार्यों की गतिविधि और मर्ज की संख्या प्रदर्शित करता है। यह प्रणाली की स्थिति को समझने के लिए पर्याप्त है:

धाराप्रवाह के लिए पैनल धाराप्रवाह के सक्रिय उदाहरणों को दर्शाता है। यह उन लोगों के लिए विशेष रूप से महत्वपूर्ण है जो नहीं चाहते हैं / बिल्कुल भी लॉग नहीं खो सकते हैं:

पॉड्स की स्थिति के अलावा, पैनल क्लिकहाउस में लॉग भेजने के लिए कतार पर लोड दिखाता है। बदले में, आप समझ सकते हैं कि ClickHouse लोड को संभाल रहा है या नहीं। ऐसे मामलों में जहां लॉग नहीं खोया जा सकता है, यह पैरामीटर भी महत्वपूर्ण हो जाता है।

प्रोमेथियस ऑपरेटर की हमारी आपूर्ति के लिए पैनलों के उदाहरणों को तेज किया गया है, हालांकि, उन्हें सेटिंग्स में चर के माध्यम से आसानी से संशोधित किया जाता है।

अंत में, लॉगहाउस मॉनिटरिंग कार्य के हिस्से के रूप में, हमने पेरकोना लैब्स द्वारा जारी की गई clickhouse_exporter 0.1.0 के साथ एक वर्तमान डॉकर छवि को एक साथ रखा , क्योंकि मूल clickhouse_exporter के लेखक ने अपने भंडार को छोड़ दिया।

भविष्य की योजनाएं

कुबेरनेट्स में एक क्लिकहाउस क्लस्टर को तैनात करना संभव है।
लॉग अतुल्यकालिक के चयन के साथ काम करें और इसे बैकएंड के रूबी भाग से हटा दें।
Ruby- , .
, Go.
.

यह देखकर अच्छा लगा कि लॉगहाउस प्रोजेक्ट ने अपने दर्शकों को पाया, न केवल गिटहब (600+) में सितारों को जीता, बल्कि वास्तविक उपयोगकर्ताओं को अपनी सफलताओं और समस्याओं के बारे में बात करने के लिए प्रोत्साहित किया।

2 साल से अधिक समय पहले लॉगहाउस बनाने के बाद, हम इसकी संभावनाओं के बारे में सुनिश्चित नहीं थे, यह उम्मीद करते हुए कि बाजार और / या ओपन सोर्स समुदाय सबसे अच्छा समाधान पेश करेंगे। हालाँकि, आज हम देखते हैं कि यह एक व्यवहार्य मार्ग है, जिसे हम स्वयं अभी भी कई सेवारत कुबेरनेट समूहों पर चुनते हैं और उपयोग करते हैं।

हम लॉगहाउस को बेहतर बनाने और विकसित करने में किसी भी सहायता के लिए तत्पर हैं। यदि आप लॉगहाउस में कुछ याद कर रहे हैं - टिप्पणियों में लिखें। इसके अलावा, निश्चित रूप से, हम GitHub पर सक्रिय होने के लिए खुश होंगे ।

पुनश्च

हमारे ब्लॉग में भी पढ़ें:

लॉगहाउस 0.3 - कुबेरनेट्स में हमारे लॉगिंग सिस्टम का लंबे समय से प्रतीक्षित अपडेट