🔨 🐴 😆 थानोस - स्केलेबल प्रोमेथियस 👼 👨🏼‍🔬 ✊🏼

लेख का अनुवाद विशेष रूप से पाठ्यक्रम के छात्रों के लिए तैयार किया गया था "DevOps प्रथाओं और उपकरण" ।

(Fabian Reinartz) — , Go . Prometheus Kubernetes SIG instrumentation. production- SoundCloud CoreOS. Google.

(Bartek Plotka) — Improbable. . Intel, Mesos production- SRE Improbable. . : Golang, open source .

हमारे प्रमुख स्पेटियलओएस उत्पाद को देखकर, आप अनुमान लगा सकते हैं कि इम्प्रिबेबल को दर्जनों कुबेरनेट समूहों के साथ अत्यधिक गतिशील वैश्विक क्लाउड बुनियादी ढांचे की आवश्यकता है। हम प्रोमेथियस मॉनिटरिंग सिस्टम का उपयोग करने वाले पहले लोगों में से एक थे । प्रोमेथियस वास्तविक समय में लाखों मीट्रिक ट्रैक करने में सक्षम है और आवश्यक जानकारी प्राप्त करने के लिए एक शक्तिशाली क्वेरी भाषा के साथ आता है।

सादगी और विश्वसनीयता प्रोमेथियस इसके मुख्य लाभों में से एक है। हालाँकि, एक निश्चित पैमाने से गुज़रने के बाद, हमें कई कमियों का सामना करना पड़ा। इन समस्याओं को हल करने के लिए, हमने थानोस को विकसित किया- इम्प्रूवबल द्वारा बनाई गई एक ओपन सोर्स परियोजना, मौजूदा प्रोमेथियस क्लस्टर को ऐतिहासिक डेटा के असीमित भंडार के साथ एकल निगरानी प्रणाली में बदलने के लिए है। थानोस यहाँ जीथब पर उपलब्ध है ।

बेहतर से ताजा खबर के साथ तारीख तक रहें।

थानोस के साथ हमारे लक्ष्य

एक निश्चित पैमाने पर, समस्याएं पैदा होती हैं जो वेनिला प्रोमेथियस की क्षमताओं से परे जाती हैं। ऐतिहासिक डेटा की मज़बूती और आर्थिक रूप से पेटाबाइट्स को कैसे स्टोर करें? क्या यह अनुरोध के जवाब समय के पक्षपात के बिना किया जा सकता है? क्या एकल एपीआई अनुरोध के साथ विभिन्न प्रोमेथियस सर्वरों पर स्थित सभी मैट्रिक्स तक पहुंच संभव है? क्या प्रोमेथियस हा का उपयोग करके एकत्र किए गए प्रतिकृति डेटा को किसी तरह जोड़ना संभव है?

इन मुद्दों को हल करने के लिए, हमने थानोस बनाया। निम्नलिखित अनुभागों का वर्णन है कि हमने इन मुद्दों पर कैसे संपर्क किया और उन लक्ष्यों को समझाया जो हमने अपनाए थे।

प्रोमेथियस के कई उदाहरणों से डेटा छोड़ना (वैश्विक प्रश्न)

प्रोमेथियस शार्क को एक कार्यात्मक दृष्टिकोण प्रदान करता है। यहां तक कि एक प्रोमेथियस सर्वर लगभग सभी उपयोग मामलों में क्षैतिज तेज करने की कठिनाइयों से मुक्त उपयोगकर्ताओं के लिए पर्याप्त मापनीयता प्रदान करता है।

यद्यपि यह एक उत्कृष्ट परिनियोजन मॉडल है, लेकिन अक्सर एक एकल एपीआई या यूआई - वैश्विक दृश्य के माध्यम से विभिन्न प्रोमेथियस सर्वर पर डेटा तक पहुंचने की आवश्यकता होती है। बेशक, एक ग्रेफाना पैनल में कई अनुरोध प्रदर्शित करना संभव है, लेकिन प्रत्येक अनुरोध को केवल एक प्रोमेथियस सर्वर पर निष्पादित किया जा सकता है। दूसरी ओर, थानोस के साथ, आप एकाधिक प्रोमेथियस सर्वर से डेटा को क्वेरी और एग्रीगेट कर सकते हैं, क्योंकि वे सभी अंतिम बिंदु से सुलभ हैं।

पहले, इम्प्रूबल के वैश्विक दृष्टिकोण को प्राप्त करने के लिए, हमने अपने प्रोमेथियस उदाहरणों को एक बहु-स्तरीय में व्यवस्थित कियापदानुक्रमित संघ । इसका मतलब था कि प्रत्येक पत्ती सर्वर से मेट्रिक्स के एक हिस्से को इकट्ठा करने वाला एक प्रोमेथियस मेटा सर्वर,

जो समस्याग्रस्त साबित हुआ, कॉन्फ़िगरेशन को जटिल बनाता है, विफलता का एक अतिरिक्त संभावित बिंदु जोड़कर और सही डेटा के साथ फ़ेडरेटेड समापन बिंदु प्रदान करने के लिए जटिल नियम लागू करता है। इसके अलावा, इस तरह का फेडरेशन आपको वास्तविक वैश्विक दृष्टिकोण प्राप्त करने की अनुमति नहीं देता है, क्योंकि सभी डेटा एक एपीआई अनुरोध से सुलभ नहीं हैं।

निकटता से संबंधित यह प्रोमेथियस उच्च-उपलब्धता (एचए) सर्वरों पर एकत्रित डेटा की एकल प्रस्तुति है। प्रोमेथियस हा मॉडल स्वतंत्र रूप से दो बार डेटा एकत्र करता है, जो इतना सरल है कि यह सरल नहीं हो सकता है। हालांकि, दोनों थ्रेड्स के संयुक्त और काटे गए प्रतिनिधित्व का उपयोग करना अधिक सुविधाजनक होगा।

बेशक, अत्यधिक उपलब्ध प्रोमेथियस सर्वर की आवश्यकता है। बेहतर करने योग्य, हम हर मिनट डेटा की निगरानी के बारे में वास्तव में गंभीर हैं, लेकिन प्रति क्लस्टर प्रोमेथियस का एक उदाहरण होना विफलता का एक एकल बिंदु है। किसी भी कॉन्फ़िगरेशन त्रुटि या हार्डवेयर विफलता संभावित डेटा के नुकसान में परिणाम कर सकती है। यहां तक कि सरल तैनाती से मेट्रिक्स के संग्रह में मामूली गड़बड़ हो सकती है, क्योंकि पुनरारंभ करना स्क्रैपिंग अंतराल से काफी लंबा हो सकता है।

ऐतिहासिक डेटा का विश्वसनीय भंडारण

सस्ता, तेज और दीर्घकालिक मैट्रिक्स भंडारण हमारा सपना है (अधिकांश प्रोमेथियस उपयोगकर्ताओं द्वारा साझा किया गया है)। बेहतर करने योग्य में, हमें नौ दिनों के लिए मैट्रिक्स के लिए भंडारण अवधि निर्धारित करने के लिए मजबूर किया गया था (प्रोमेथियस 1.8 के लिए)। यह स्पष्ट सीमाएँ जोड़ता है कि हम कितनी दूर वापस देख सकते हैं।

इस संबंध में प्रोमेथियस 2.0 बेहतर है, क्योंकि समय श्रृंखला की संख्या अब समग्र सर्वर प्रदर्शन को प्रभावित नहीं करती है ( प्रोमेथियस 2 के बारे में कुबेकॉन कीनोट देखें )। हालांकि, प्रोमेथियस एक स्थानीय ड्राइव पर डेटा संग्रहीत करता है। यद्यपि अत्यधिक कुशल डेटा संपीड़न स्थानीय SSD के उपयोग को काफी कम कर सकता है, फिर भी सहेजे गए ऐतिहासिक डेटा की मात्रा पर एक सीमा है।

बेहतर करने पर, हम विश्वसनीयता, सादगी और लागत के बारे में भी परवाह करते हैं। बड़ी स्थानीय ड्राइव को संचालित करना और बैक अप लेना अधिक कठिन होता है। वे अधिक महंगे हैं और अधिक बैकअप टूल की आवश्यकता होती है, जो अनावश्यक जटिलता की ओर जाता है।

downsampling

जैसे ही हमने ऐतिहासिक डेटा के साथ काम करना शुरू किया, हमने महसूस किया कि ओ-बड़े के साथ मूलभूत कठिनाइयाँ हैं जो प्रश्नों को धीमा और धीमा कर देती हैं यदि हम हफ्तों, महीनों और वर्षों तक डेटा के साथ काम करते हैं।

इस समस्या का एक मानक समाधान है डाउनसम्पलिंग - सिग्नल को डाउनसम्पलिंग करना। डाउनसमलिंग के द्वारा, हम एक बड़ी समय सीमा के लिए "स्केल डाउन" कर सकते हैं और समान संख्या में नमूने बनाए रख सकते हैं, जो हमें अनुरोधों की जवाबदेही बनाए रखने की अनुमति देता है।

पुराने डेटा को डाउनस्म्पलिंग करना किसी भी दीर्घकालिक भंडारण समाधान की अपरिहार्य आवश्यकता है और वेनिला प्रोमेथियस से परे है।

अतिरिक्त लक्ष्य

थानोस परियोजना के प्रारंभिक लक्ष्यों में से एक किसी भी मौजूदा प्रोमेथियस प्रतिष्ठानों के साथ समेकित रूप से एकीकृत करना था। दूसरा लक्ष्य न्यूनतम प्रवेश बाधा के साथ सरल ऑपरेशन था। किसी भी निर्भरता को छोटे और बड़े दोनों उपयोगकर्ताओं के लिए आसानी से संतुष्ट होना चाहिए, जिसका अर्थ है कम आधार लागत।

थानोस आर्किटेक्चर

हमारे लक्ष्यों को पिछले अनुभाग में सूचीबद्ध किए जाने के बाद, आइए उन पर काम करें और देखें कि थानोस इन समस्याओं को कैसे हल करता है।

वैश्विक दृश्य

प्रोमेथियस के मौजूदा उदाहरणों के शीर्ष पर एक वैश्विक दृश्य प्राप्त करने के लिए, हमें सभी सर्वरों के साथ एकल अनुरोध प्रविष्टि बिंदु को जोड़ने की आवश्यकता है। यह वही है जो थानोस सिडकार घटक करता है । यह प्रत्येक प्रोमेथियस सर्वर के बगल में तैनात है और एक प्रॉक्सी के रूप में कार्य करता है, स्टोर के gRPC इंटरफ़ेस के माध्यम से स्थानीय प्रोमेथियस डेटा की सेवा करता है, जिससे आप लेबल और समय सीमा के अनुसार समय श्रृंखला डेटा का चयन कर सकते हैं।

दूसरी ओर, एक सांख्यिकीय क्षैतिज रूप से स्केलेबल Querier घटक है जो मानक Prometheus HTTP एपीआई के माध्यम से PromQL अनुरोधों का जवाब देने की तुलना में थोड़ा अधिक करता है। घटक क्वियर, सिडकार और अन्य थानोस गॉसिप प्रोटोकॉल के माध्यम से संवाद करते हैं ।

एक अनुरोध प्राप्त करते समय, क्वियर इसी स्टोर एपीआई सर्वर से जुड़ता है, जो कि हमारे सिडकर के लिए है, और इसी प्रोमेथियस सर्वर से समय श्रृंखला डेटा प्राप्त करता है।
उसके बाद, यह उत्तरों को जोड़ता है और उन पर एक प्रॉमसेल क्वेरी करता है। Querier, Disjoint डेटा और डुप्लिकेट डेटा दोनों को Prometheus HA सर्वर से जोड़ सकता है।

यह हमारी पहेली के थोक को हल करता है - एक ही दृश्य में पृथक प्रोमेथियस सर्वर से डेटा का संयोजन। वास्तव में, थानोस का उपयोग केवल इस अवसर के लिए किया जा सकता है। मौजूदा प्रोमेथियस सर्वरों को कोई बदलाव करने की आवश्यकता नहीं है!

असीमित शैल्फ जीवन!

हालाँकि, अभी या बाद में हम प्रोमेथियस के सामान्य भंडारण समय से परे जाने वाले डेटा को सहेजना चाहेंगे। ऐतिहासिक डेटा स्टोर करने के लिए, हमने ऑब्जेक्ट स्टोरेज को चुना है। यह किसी भी क्लाउड के साथ-साथ स्थानीय डेटा केंद्रों में व्यापक रूप से उपलब्ध है और बहुत ही किफायती है। इसके अलावा, लगभग किसी भी वस्तु का भंडारण प्रसिद्ध S3 एपीआई के माध्यम से सुलभ है।

प्रोमेथियस लगभग हर दो घंटे में रैम से डिस्क पर डेटा लिखता है। संग्रहीत डेटा के ब्लॉक में निश्चित अवधि के लिए सभी डेटा होते हैं और अपरिवर्तनीय होता है। यह बहुत सुविधाजनक है, क्योंकि थानोस सिडकार केवल प्रोमेथियस डेटा कैटलॉग को देख सकता है और, जैसा कि नए ब्लॉक दिखाई देते हैं, उन्हें वस्तु भंडारण बाल्टी में लोड करें।

डिस्क पर लिखने के तुरंत बाद ऑब्जेक्ट स्टोरेज पर डाउनलोड करना आपको "स्क्रैपर" (प्रोमेथियस और थानोस सिडार) की सरलता को सरल रखने की अनुमति देता है। जो समर्थन, लागत और सिस्टम डिज़ाइन को सरल करता है।

जैसा कि आप देख सकते हैं, डेटा का बैकअप लेना बहुत सरल है। लेकिन ऑब्जेक्ट स्टोरेज में डेटा क्वेरी के बारे में क्या?

थानोस स्टोर घटक ऑब्जेक्ट स्टोरेज से डेटा प्राप्त करने के लिए एक प्रॉक्सी के रूप में कार्य करता है। थानोस सिडकार की तरह, यह गपशप क्लस्टर में भाग लेता है और स्टोर एपीआई को लागू करता है। इस प्रकार, मौजूदा क्वियरियर इसे सिडकर के रूप में मान सकता है, समय श्रृंखला डेटा के एक अन्य स्रोत के रूप में - कोई विशेष कॉन्फ़िगरेशन की आवश्यकता नहीं है।

समय श्रृंखला डेटा ब्लॉक कई बड़ी फ़ाइलों से बना है। मांग पर उन्हें डाउनलोड करना काफी अक्षम होगा, और स्थानीय कैशिंग के लिए विशाल मेमोरी और डिस्क स्थान की आवश्यकता होती है।

इसके बजाय, स्टोर गेटवे जानता है कि प्रोमेथियस भंडारण प्रारूप को कैसे संभालना है। चतुर क्वेरी प्लानर और ब्लॉकों के केवल आवश्यक सूचकांक भागों के कैशिंग के लिए धन्यवाद, भंडारण फ़ाइलों को ऑब्जेक्ट करने के लिए HTTP अनुरोधों की न्यूनतम संख्या के लिए जटिल प्रश्नों को कम करना संभव हो गया। इस प्रकार, परिमाण के चार से छह आदेशों द्वारा अनुरोधों की संख्या को कम करना और प्रतिक्रिया समय प्राप्त करना संभव है जो आमतौर पर स्थानीय एसएसडी पर डेटा अनुरोधों से अलग करना मुश्किल होता है।

जैसा कि ऊपर चित्र में दिखाया गया है, थानोस क्वियर ने प्रोमेथियस भंडारण प्रारूप का उपयोग करके और संबंधित डेटा पक्ष को रखकर ऑब्जेक्ट संग्रहण में एकल डेटा अनुरोध की लागत को काफी कम कर दिया है। इस दृष्टिकोण का उपयोग करते हुए, हम कई एकल प्रश्नों को न्यूनतम संख्या में बल्क ऑपरेशन में जोड़ सकते हैं।

संघनन और पतन

नए टाइम सीरीज़ के डेटा ब्लॉक को ऑब्जेक्ट स्टोरेज में सफलतापूर्वक लोड करने के बाद, हम इसे "ऐतिहासिक" डेटा मानते हैं जो तुरंत स्टोर गेटवे के माध्यम से उपलब्ध हो जाता है।

हालांकि, कुछ समय बाद, एक स्रोत (प्रोमेथियस विद सिडेकर) से ब्लॉक जमा होते हैं और अब पूर्ण अनुक्रमण क्षमता का उपयोग नहीं करते हैं। इस समस्या को हल करने के लिए, हमने कॉम्पैक्टर नामक एक अन्य घटक पेश किया। यह बस वस्तु भंडार में ऐतिहासिक डेटा के लिए स्थानीय प्रोमेथियस संघनन तंत्र को लागू करता है और इसे एक साधारण आवधिक बैच की नौकरी के रूप में चलाया जा सकता है।

कुशल संपीड़न के लिए धन्यवाद, लंबी अवधि के लिए भंडार में एक क्वेरी डेटा आकार के संदर्भ में समस्याओं को पेश नहीं करती है। हालांकि, एक बिलियन मानों को अनपैक करने और उन्हें क्वेरी प्रोसेसर के माध्यम से चलाने की संभावित लागत अनिवार्य रूप से क्वेरी निष्पादन समय में तेज वृद्धि का कारण बनेगी। दूसरी ओर, चूंकि स्क्रीन के प्रति पिक्सेल में सैकड़ों डेटा बिंदु होते हैं, इसलिए पूर्ण रिज़ॉल्यूशन में डेटा की कल्पना करना भी असंभव हो जाता है। इस प्रकार, डाउनसमलिंग केवल संभव नहीं है, लेकिन सटीकता की ध्यान देने योग्य हानि नहीं होगी।

डेटा डाउन करने के लिए, कम्पेक्टर लगातार पाँच मिनट और एक घंटे के संकल्प के साथ डेटा को एकत्रित करता है। TSDB XOR संपीड़न का उपयोग करते हुए एन्कोड किए गए प्रत्येक कच्चे टुकड़े के लिए, विभिन्न प्रकार के एकत्रित डेटा संग्रहीत किए जाते हैं, जैसे कि एक ब्लॉक में न्यूनतम, अधिकतम या योग। यह Querier को स्वचालित रूप से उस समुच्चय का चयन करने की अनुमति देता है जो इस PromQL क्वेरी के लिए उपयुक्त है।

कम सटीकता के साथ डेटा का उपयोग करने के लिए, उपयोगकर्ता को किसी विशेष कॉन्फ़िगरेशन की आवश्यकता नहीं है। Querier स्वचालित रूप से अलग-अलग प्रस्तावों और कच्चे डेटा के बीच स्विच करता है क्योंकि उपयोगकर्ता अंदर और बाहर ज़ोम्स करता है। यदि वांछित है, तो उपयोगकर्ता अनुरोध में "चरण" पैरामीटर के माध्यम से इसे सीधे नियंत्रित कर सकता है।

चूंकि एक जीबी स्टोर करने की लागत छोटी है, डिफ़ॉल्ट रूप से थानोस पांच मिनट और एक घंटे के संकल्प के साथ मूल डेटा, डेटा को बचाता है। मूल डेटा को हटाने की कोई आवश्यकता नहीं है।

रिकॉर्डिंग नियम

यहां तक कि थानोस रिकॉर्डिंग नियमों के साथ निगरानी स्टैक का एक अनिवार्य हिस्सा है। वे अनुरोधों की जटिलता, विलंबता और लागत को कम करते हैं। वे उपयोगकर्ताओं को एकत्रित मीट्रिक डेटा प्राप्त करने के लिए भी सुविधाजनक हैं। थानोस प्रोमेथियस के वैनिला उदाहरणों पर आधारित है, इसलिए यह रिकॉर्डिंग नियमों को संग्रहीत करने और मौजूदा प्रोमेथियस सर्वर पर नियमों को अलर्ट करने के लिए पूरी तरह से स्वीकार्य है। हालाँकि, कुछ मामलों में यह पर्याप्त नहीं हो सकता है:

वैश्विक अलर्ट और नियम (उदाहरण के लिए, अलर्ट जब एक सेवा दो से अधिक तीन समूहों में होती है)।
स्थानीय भंडारण के बाहर डेटा के लिए नियम।
एक ही स्थान पर सभी नियम और सतर्क रखने की इच्छा।

इन सभी मामलों के लिए, थानोस में रूलर नामक एक अलग घटक शामिल है, जो थानोस क्वेरी के माध्यम से शासन और चेतावनी की गणना करता है। प्रसिद्ध स्टोरएपीआई प्रदान करके, क्वेरी नोड नए सिरे से गणना किए गए मीट्रिक तक पहुंच सकता है। बाद में, उन्हें ऑब्जेक्ट स्टोरेज में भी स्टोर किया जाता है और स्टोर गेटवे के माध्यम से उपलब्ध कराया जाता है।

थानोस की शक्ति

थानोस आपकी आवश्यकताओं के अनुकूल होने के लिए पर्याप्त लचीला है। साधारण प्रोमेथियस से पलायन करते समय यह विशेष रूप से उपयोगी है। आइए एक त्वरित नज़र डालें कि हमने थानोस के घटकों के बारे में क्या सीखा। यहां बताया गया है कि "वेनिला मैट्रिक्स स्टोरेज" की दुनिया में अपने वेनिला प्रोमेथियस को कैसे स्थानांतरित किया जाए:

अपने प्रोमेथियस सर्वर में थानोस सिडकार को जोड़ें - उदाहरण के लिए, कुबेरनेट्स पॉड में आसन्न कंटेनर।
डेटा देखने के लिए कई थानोस क्वियर प्रतिकृतियों का विस्तार करें। इस बिंदु पर, स्क्रैपर और क्वियरियर के बीच गॉसिप स्थापित करना आसान है। घटक इंटरैक्शन का परीक्षण करने के लिए मीट्रिक 'thanos_cluster_members' का उपयोग करें।

संभावित प्रोमेथियस हा प्रतिकृतियों से वैश्विक दृश्य और सहज डेटा कटौती प्रदान करने के लिए केवल ये दो चरण पर्याप्त हैं! बस अपने डैशबोर्ड को क्वियर HTTP एंडपॉइंट से कनेक्ट करें या सीधे थानोस यूआई इंटरफेस का उपयोग करें।

हालाँकि, यदि आपको मेट्रिक्स और दीर्घकालिक भंडारण का बैकअप लेने की आवश्यकता है, तो आपको तीन और चरण करने होंगे:

AWS S3 या GCS बाल्टी बनाएँ। इन बाल्टियों में डेटा कॉपी करने के लिए सिडकर कॉन्फ़िगर करें। अब आप स्थानीय डेटा संग्रहण को कम कर सकते हैं।
स्टोर गेटवे का विस्तार करें और इसे एक मौजूदा गपशप क्लस्टर से कनेक्ट करें। अब आप बैकअप में डेटा अनुरोध भेज सकते हैं!
संघनन और डाउनस्मैपलिंग का उपयोग करके लंबे समय तक क्वेरी के प्रदर्शन में सुधार करने के लिए कॉम्पेक्टर को तैनात करें।

यदि आप अधिक जानना चाहते हैं, तो हमारे उदाहरणों को प्रकट करने के लिए स्वतंत्र महसूस करें और शुरू करें !

केवल पाँच चरणों में, हमने प्रोमेथियस को एक विश्वसनीय निगरानी प्रणाली में बदल दिया है जिसमें वैश्विक दृष्टिकोण, असीमित भंडारण समय और मेट्रिक्स की संभावित उच्च उपलब्धता है।

पुल अनुरोध: हमें आपकी आवश्यकता है!

थानोस शुरू से ही एक ओपन सोर्स प्रोजेक्ट था। प्रोमेथियस के साथ सहज एकीकरण और थानोस के केवल भाग का उपयोग करने की क्षमता किसी भी अतिरिक्त प्रयास के बिना निगरानी प्रणाली को स्केल करने के लिए एक उत्कृष्ट विकल्प बनाती है।

हम हमेशा GitHub Pull अनुरोध और मुद्दों का स्वागत करते हैं। उसी समय, यदि आपके कोई प्रश्न या प्रतिक्रिया है या आप अपना अनुभव साझा करना चाहते हैं, तो जीथब इश्यूज़ या सुस्त इम्प्रैबल-एंग # थानोस के माध्यम से हमसे संपर्क करने के लिए स्वतंत्र महसूस करें ! यदि आप हम में सुधार करते हैं, तो हमसे संपर्क करने में संकोच न करें - हमारे पास हमेशा रिक्तियां हैं !

पाठ्यक्रम के बारे में अधिक जानें।

थानोस - स्केलेबल प्रोमेथियस