🚶🏾 🤚🏽 👬 कौंसुल + आईपबटेल =: 3 👩🏿‍🎨 🙀 ✌🏾

2010 में, Wargaming में 50 सर्वर और एक सरल नेटवर्क मॉडल था: बैकएंड, फ्रंटेंड और फ़ायरवॉल। सर्वरों की संख्या बढ़ी, मॉडल अधिक जटिल हो गया: स्टेजिंग, ACLs के साथ वीएलएएन को अलग कर दिया, फिर वीआरएफ के साथ वीपीएन, वीएलएएन को एसीएल से एल 2, एसीएल से एल 3 तक वीआरएफ। सिर घूम रहा है? ज्यादा मजा आएगा।

जब सर्वरों ने इतने विषम खंडों के साथ आँसू के बिना 16,000 काम करना शुरू किया, तो यह असंभव हो गया। इसलिए, वे एक अलग समाधान के साथ आए। हमने नेटफिल्टर स्टैक लिया, इसमें कंसूल को डेटा स्रोत के रूप में जोड़ा, और हमें तेजी से वितरित फ़ायरवॉल मिला। उन्होंने राउटर पर एसीएल को बदल दिया और बाहरी और आंतरिक फ़ायरवॉल के रूप में उपयोग किया। डायनेमिक टूल मैनेजमेंट के लिए, हमने BEFW सिस्टम विकसित किया, जिसका उपयोग हर जगह किया गया: उपयोगकर्ता की पहुंच को किराना नेटवर्क तक नियंत्रित करने से लेकर नेटवर्क सेगमेंट को एक दूसरे से अलग करने तक।

यह सब कैसे काम करता है और आपको इस प्रणाली पर बारीकी से ध्यान देना चाहिए, इवान एगारकोव (annmuor) - मिन्स्क कंपनी विकास केंद्र में रखरखाव इकाई के बुनियादी ढांचे के सुरक्षा समूह के प्रमुख। इवान एक SELinux प्रशंसक है, पर्ल से प्यार करता है, कोड लिखता है। आईबी समूह के प्रमुख के रूप में, वह नियमित रूप से लॉग, बैकअप और आर एंड डी के साथ काम करता है, ताकि वॉकरमैंस को हैकर्स से बचाया जा सके और कंपनी में सभी गेम सर्वर का संचालन सुनिश्चित किया जा सके।

इतिहास का संदर्भ

यह बताने से पहले कि हमने यह कैसे किया, मैं आपको बताता हूँ कि हम इस पर कैसे आए और इसकी आवश्यकता क्यों थी। ऐसा करने के लिए, हम 9 साल पहले स्थानांतरण करते हैं: 2010, केवल विश्व टैंक दिखाई दिया। Wargaming के लगभग 50 सर्वर थे।

कंपनी सर्वर का ग्रोथ ग्राफ।

हमारे पास एक नेटवर्क मॉडल था। उस समय के लिए यह इष्टतम था।

2010 में नेटवर्क मॉडल।

सामने के छोर पर बुरे लोग हैं जो हमें तोड़ना चाहते हैं, लेकिन इसमें एक फ़ायरवॉल है। बैकएंड पर कोई फ़ायरवॉल नहीं है, लेकिन वहां 50 सर्वर हैं, हम सभी उन्हें जानते हैं। सब कुछ अच्छा काम करता है।

4 वर्षों के लिए, सर्वर बेड़े 100 गुना बढ़ गया है, 5000 तक। पहला अलग-थलग नेटवर्क दिखाई दिया - चरण: वे उत्पादन में नहीं जा सकते हैं, और अक्सर ऐसी चीजें जो खतरनाक हो सकती हैं, वहां घूम रही थीं।

2014 में नेटवर्क मॉडल।

जड़ता से हमने लोहे के सभी समान टुकड़ों का उपयोग किया, और सभी काम अलग-अलग वीएलएएन पर किए गए: एसीएल को वीएलएएन को लिखा जाता है जो किसी भी कनेक्शन की अनुमति या निषेध करते हैं।

2016 में, सर्वरों की संख्या 8000 तक पहुंच गई। वॉरगामिंग ने अन्य स्टूडियो को अवशोषित किया, अतिरिक्त सहबद्ध नेटवर्क दिखाई दिए। वे हमारे लगते हैं, लेकिन काफी नहीं: वीएलएएन अक्सर भागीदारों के लिए काम नहीं करता है, आपको वीआरएफ के साथ वीपीएन का उपयोग करना होगा, अलगाव अधिक जटिल हो जाता है। ACL आइसोलेट्स का मिश्रण बढ़ता गया।

2016 में नेटवर्क मॉडल।

2018 की शुरुआत तक, कारों का बेड़ा 16,000 तक बढ़ गया। 6 खंड थे, और हमने बंद लोगों सहित बाकी की गिनती नहीं की, जिसमें वित्तीय डेटा संग्रहीत किए गए थे। कंटेनर नेटवर्क (कुबेरनेट्स), देवओपीएस, वीपीएन के माध्यम से जुड़े क्लाउड नेटवर्क हैं, उदाहरण के लिए, आईवीएस से। बहुत सारे नियम थे - चोट लगी।

2018 में नेटवर्क मॉडल और अलगाव के तरीके।

अलगाव के लिए हमने इस्तेमाल किया: एलएल 2 पर एसीएल के साथ वीएलएएन, एल 3 पर वीपीएफ के साथ वीआरएफ, वीपीएन और बहुत कुछ। बहुत ज्यादा।

समस्या

हर कोई ACL और VLAN के साथ रहता है। आम तौर पर क्या गलत है? हेरोल्ड, दर्द को छुपा रहा है, इस सवाल का जवाब देगा।

कई समस्याएं थीं, लेकिन पांच बड़े पैमाने पर थे।

नए नियमों के लिए ज्यामितीय कीमत बढ़ जाती है । प्रत्येक नया नियम पिछले एक से अधिक समय तक जोड़ा गया था, क्योंकि आपको पहले यह देखना था कि क्या ऐसा नियम पहले से था।
सेगमेंट के अंदर कोई फ़ायरवॉल नहीं है । खंडों को किसी तरह एक दूसरे से अलग कर दिया गया था, अंदर पहले से ही पर्याप्त संसाधन नहीं हैं।
नियम लंबे समय से लागू हैं। एक स्थानीय नियम ऑपरेटर एक घंटे में लिख सकता है। ग्लोबल में कई दिन लगे।
नियमों के ऑडिट में कठिनाई । अधिक सटीक रूप से, यह संभव नहीं था। पहले नियमों को 2010 में वापस लिखा गया था, और उनके अधिकांश लेखकों ने अब कंपनी के लिए काम नहीं किया।
बुनियादी ढांचे पर निम्न स्तर का नियंत्रण । यह मुख्य समस्या है - हम अच्छी तरह से नहीं जानते थे कि हमारे साथ क्या हो रहा है।

यह 2018 में नेटवर्क इंजीनियर की तरह लग रहा था जब उसने सुना: "हमें कुछ और एसीएल की आवश्यकता है।"

समाधान

2018 की शुरुआत में, इसके बारे में कुछ करने का फैसला किया गया था।

एकीकरण की कीमत लगातार बढ़ रही है। शुरुआती बिंदु यह था कि बड़े डेटा केंद्र अब पृथक वीएलएएन और एसीएल का समर्थन नहीं करते थे, क्योंकि उपकरणों पर मेमोरी बाहर भाग गई थी।

समाधान: मानव कारक को हटा दिया और अधिकतम तक पहुंच के प्रावधान को स्वचालित किया।

नए नियम लंबे समय तक लागू होते हैं। समाधान: नियमों के अनुप्रयोग को गति दें, इसे वितरित और समानांतर करें। ऐसा करने के लिए, आपको एक वितरित प्रणाली की आवश्यकता है ताकि नियम प्रति rsync या SFTP प्रति हजार प्रणालियों के बिना वितरित किए जाएं।

सेगमेंट के अंदर एक फ़ायरवॉल की कमी।जब एक ही नेटवर्क के भीतर अलग-अलग सेवाएँ दिखाई देती हैं, तो खंडों के अंदर फ़ायरवॉल हमारे लिए उड़ान भरने लगी। समाधान: होस्ट-आधारित फ़ायरवॉल का उपयोग करें। लगभग हर जगह हमारे पास लिनक्स है, और iptables हर जगह हैं, यह कोई समस्या नहीं है।

नियमों के ऑडिट में कठिनाई। समाधान: समीक्षा और प्रबंधन के लिए सभी नियमों को एक ही स्थान पर रखें, ताकि हम सब कुछ ऑडिट कर सकें।

बुनियादी ढांचे पर निम्न स्तर का नियंत्रण। समाधान: सभी सेवाओं और उनके बीच पहुंच की सूची लें।

यह तकनीकी की तुलना में प्रशासनिक प्रक्रिया का अधिक है। कभी-कभी हमारे पास प्रति सप्ताह 200-300 नए रिलीज होते हैं, विशेष रूप से पदोन्नति के दौरान और छुट्टियों पर। हालाँकि, यह केवल हमारे DevOps की एक टीम के लिए है। इतने सारे रिलीज के साथ, यह देखना असंभव है कि किस तरह के पोर्ट, आईपी, इंटीग्रेशन की जरूरत है। इसलिए, हमें विशेष रूप से प्रशिक्षित सेवा प्रबंधकों की आवश्यकता थी जिन्होंने टीमों का साक्षात्कार किया: "क्या है और आपने इसे क्यों उठाया?"

आखिरकार हमने जो लॉन्च किया, वह 2019 में नेटवर्क इंजीनियर की तरह लगने लगा।

कौंसल

हमने फैसला किया कि हम कंसूल में सेवा प्रबंधकों की मदद से जो कुछ भी मिला, उसे डालेंगे और वहीं से हम iptables नियम लिखेंगे।

हमने यह करने का फैसला कैसे किया?

हम सभी सेवाओं, नेटवर्क और उपयोगकर्ताओं को इकट्ठा करते हैं।
आइए उनके आधार पर iptables नियम बनाएं।
स्वचालित नियंत्रण।
...
फायदा।

कॉन्सल एक रिमोट एपीआई नहीं है, यह हर नोड पर काम कर सकता है और iptables को लिख सकता है। यह केवल स्वत: नियंत्रण के साथ आने के लिए बना हुआ है जो अतिरिक्त को साफ करेगा, और अधिकांश समस्याओं को हल किया जाएगा! हम बाकी की प्रक्रिया को अंतिम रूप देंगे।

कौंसल क्यों?

अच्छी तरह से स्थापित। 2014-15 में, हमने इसे वॉल्ट के बैकएंड के रूप में इस्तेमाल किया, जिसमें हम पासवर्ड स्टोर करते हैं।

डेटा नहीं खोता है । उपयोग के दौरान, कंसल ने किसी भी दुर्घटना में डेटा नहीं खोया। यह फ़ायरवॉल प्रबंधन प्रणाली के लिए एक बहुत बड़ा धन है।

पी 2 पी संचार परिवर्तन के प्रसार को तेज करता है । पी 2 पी के साथ, सभी परिवर्तन जल्दी से आते हैं, घंटों तक इंतजार करने की आवश्यकता नहीं होती है।

सुविधाजनक रीस्ट एपीआई। हमने Apache ZooKeeper पर भी विचार किया, लेकिन इसमें REST API नहीं है, आपको बैसाखी डालनी होगी।

यह एक कीस्टोर (KV), और एक निर्देशिका (सेवा डिस्कवरी) के रूप में काम करता है । आप तुरंत सेवाओं, कैटलॉग, डेटा केंद्रों को स्टोर कर सकते हैं। यह न केवल हमारे लिए, बल्कि पड़ोसी टीमों के लिए भी सुविधाजनक है, क्योंकि वैश्विक सेवा का निर्माण करते समय, हम बड़ा सोचते हैं।

गो में लिखा गया, जो कि वॉरगमिंग स्टैक का हिस्सा है। हमें इस भाषा से प्यार है, हमारे पास कई गो डेवलपर हैं।

शक्तिशाली एसीएल प्रणाली। कौंसल में, आप एसीएल का उपयोग कर सकते हैं कि कौन और क्या लिखना है। हम गारंटी देते हैं कि फ़ायरवॉल के नियम किसी और चीज़ के साथ ओवरलैप नहीं होंगे और हमें इससे कोई समस्या नहीं होगी।

लेकिन कंसुल की अपनी कमियां हैं।

यदि आपके पास व्यवसाय संस्करण नहीं है, तो यह डेटा सेंटर के भीतर पैमाना नहीं है। इसे महासंघ द्वारा ही बढ़ाया जाता है।
नेटवर्क गुणवत्ता और सर्वर लोड पर बहुत निर्भर है। यदि नेटवर्क में कोई भी अंतराल है, उदाहरण के लिए, असमान गति के लिए, कंसुल एक सर्वर के रूप में सामान्य रूप से कार्य नहीं करेगा। यह पी 2 पी कनेक्शन और अपडेट वितरण मॉडल के कारण है।
पहुँच निगरानी के साथ कठिनाइयाँ । कांसुल की स्थिति में कह सकते हैं कि सब कुछ ठीक है, लेकिन वह लंबे समय से मर चुका है।

हमने कंसुल के संचालन के दौरान इनमें से अधिकांश समस्याओं को हल किया, इसलिए हमने इसे चुना। कंपनी के पास एक वैकल्पिक बैकएंड की योजना है, लेकिन हमने सीखा है कि समस्याओं से कैसे निपटें और अभी भी कंसुल के साथ रह रहे हैं।

कैसे काम करता है

सशर्त डेटा केंद्र में, हम सर्वर स्थापित करते हैं - तीन से पांच तक। एक या दो सर्वर काम नहीं करेंगे: वे एक कोरम को व्यवस्थित करने और यह तय करने में सक्षम नहीं होंगे कि कौन सही है, कौन गलत है, जब डेटा मेल नहीं खाता है। पांच से अधिक कोई मतलब नहीं है, प्रदर्शन छोड़ देंगे।

ग्राहक किसी भी क्रम में सर्वर से कनेक्ट होते हैं: एक ही एजेंट, केवल एक ध्वज के साथ server = false।

उसके बाद, क्लाइंट पी 2 पी कनेक्शनों की एक सूची प्राप्त करते हैं और आपस में कनेक्शन बनाते हैं।

वैश्विक स्तर पर, हम कई डेटा केंद्रों को आपस में जोड़ रहे हैं। वे पी 2 पी भी कनेक्ट करते हैं और संवाद करते हैं।

जब हम किसी अन्य डेटा केंद्र से डेटा एकत्र करना चाहते हैं, तो अनुरोध सर्वर से सर्वर पर जाता है। ऐसी योजना को सर्फ़ प्रोटोकॉल कहा जाता है । कंसूल की तरह सर्फ़ प्रोटोकॉल, HashiCorp द्वारा विकसित किया गया है।

कंसल के बारे में कुछ महत्वपूर्ण तथ्य

कंसल के पास अपने काम का वर्णन करने वाले दस्तावेज हैं। मैं केवल उन चुनिंदा तथ्यों को दूंगा जो जानने योग्य हैं।

कॉन्सल सर्वर मतदाताओं में से स्वामी का चयन करते हैं । कॉन्सल प्रत्येक डेटा सेंटर के लिए सर्वर की सूची से विज़ार्ड का चयन करता है, और सभी अनुरोध केवल उसी पर जाते हैं, चाहे सर्वर की संख्या कितनी भी हो। विज़ार्ड को लटका देने से पुन: चुनाव नहीं होता है। यदि विज़ार्ड का चयन नहीं किया गया है, तो अनुरोध किसी के द्वारा नहीं किए जाते हैं।

क्या आप क्षैतिज स्केलिंग चाहते हैं? माफ़ी पर नहीं।

एक अन्य डेटा सेंटर के लिए एक अनुरोध मास्टर से मास्टर तक जाता है, भले ही यह किस सर्वर पर आया हो। चयनित मास्टर को लोड का 100% प्राप्त होता है, आगे के अनुरोधों पर लोड को छोड़कर। सभी डेटा सेंटर सर्वर में डेटा की अप-टू-डेट कॉपी होती है, लेकिन केवल एक ही उत्तर होता है।

स्केल करने का एकमात्र तरीका क्लाइंट पर बासी मोड को सक्षम करना है।

बासी मोड में, आप कोरम के बिना प्रतिक्रिया कर सकते हैं। यह एक ऐसी विधा है जिसमें हम डेटा संगति से इनकार करते हैं, लेकिन हम सामान्य से थोड़ा तेज पढ़ते हैं और कोई भी सर्वर प्रतिक्रिया करता है। स्वाभाविक रूप से, रिकॉर्डिंग केवल मास्टर के माध्यम से होती है।

कॉन्सल डेटा केंद्रों के बीच डेटा की प्रतिलिपि नहीं बनाता है । महासंघ को इकट्ठा करते समय, प्रत्येक सर्वर के पास केवल अपना डेटा होगा। दूसरों के लिए, वह हमेशा किसी और की ओर मुड़ता है।

लेनदेन के बाहर संचालन की परमाणुता की गारंटी नहीं है । याद रखें कि न केवल आप कुछ बदल सकते हैं। यदि आप इसे अलग तरह से चाहते हैं, तो एक लॉक के साथ लेनदेन करें।

ब्लॉकिंग ऑपरेशन ब्लॉकिंग की गारंटी नहीं देते हैं । अनुरोध मास्टर से मास्टर तक जाता है, और सीधे नहीं, इसलिए इस बात की कोई गारंटी नहीं है कि जब आप लॉक करेंगे तो लॉक काम करेगा, उदाहरण के लिए, किसी अन्य डेटा सेंटर में।

ACLs (कई मामलों में) पहुंच की गारंटी नहीं देता है । ACL काम नहीं कर सकता क्योंकि यह महासंघ के एक डेटा केंद्र में संग्रहीत है - ACL डेटा सेंटर (प्राथमिक DC) में। यदि डीसी आपको जवाब नहीं देता है, तो एसीएल काम नहीं करेगा।

एक होवरिंग विज़ार्ड पूरे फेडरेशन को फ्रीज कर देगा । उदाहरण के लिए, महासंघ में 10 डेटा केंद्र हैं, और एक में एक बुरा नेटवर्क है, और एक मास्टर गिरता है। हर कोई जो उसके साथ संवाद करता है वह एक चक्र में फंस गया है: एक अनुरोध किया जा रहा है, इसका कोई जवाब नहीं है, धागा लटका हुआ है। यह पता लगाना संभव नहीं होगा कि ऐसा कब होगा, सिर्फ एक या दो घंटे में पूरा संघ गिर जाएगा। आप इसके बारे में कुछ नहीं कर सकते।

स्थिति, कोरम और चुनाव एक अलग धागे में संसाधित होते हैं। पुन: चयन नहीं होगा, स्थिति कुछ भी नहीं दिखाएगी। आपको लगता है कि आपके पास एक जीवित कौंसल है, आप पूछते हैं, और कुछ भी नहीं होता है - कोई जवाब नहीं है। इसके अलावा, स्थिति से पता चलता है कि सब कुछ ठीक है।

हमने इस समस्या का सामना किया, हमें इससे बचने के लिए डेटा केंद्रों के विशिष्ट भागों का पुनर्निर्माण करना पड़ा।

वाणिज्य उद्यम के व्यावसायिक संस्करण में कुछ कमियां नहीं हैं । इसके कई उपयोगी कार्य हैं: मतदान, वितरण, स्केलिंग। केवल एक "लेकिन" है - एक वितरित प्रणाली के लिए एक लाइसेंसिंग प्रणाली बहुत महंगा है।

जीवन हैक: rm -rf /var/lib/consul- एजेंट के सभी रोगों का इलाज। यदि आपके लिए कुछ काम नहीं करता है, तो बस अपना डेटा हटा दें और कॉपी से डेटा डाउनलोड करें। सबसे अधिक संभावना है, कौंसुल काम करेगा।

Befw

अब बात करते हैं कि हमने कौंसल में क्या जोड़ा।

BEFW - के लिए एक संक्षिप्त बिस्तर और पावती ई nd एफ का गुस्सा डब्ल्यू सब। किसी भी उत्पाद को नाम देना आवश्यक था जब मैंने पहला परीक्षण करने के लिए भंडार का निर्माण किया। यह नाम बना हुआ है।

नियम टेम्प्लेट

नियम iptables सिंटैक्स में लिखे गए हैं।

-एन बीईएफडब्ल्यू
-पुलिस डीआरओपी
-एक INPUT राज्य - राज्य संबंधित, स्थापित -j ACCEPT
-एक INPUT -i लो -j ACCEPT
-एक INPUT -j BEFW

हम BEFW श्रृंखला के लिए सभी जाने, सिवाय ESTABLISHED, RELATEDऔर स्थानीय होस्ट। टेम्पलेट कुछ भी हो सकता है, यह सिर्फ एक उदाहरण है।

BEFW किसके लिए उपयोगी है?

सेवाएं

हमारे पास एक सेवा है, इसमें हमेशा एक बंदरगाह होता है, जिस पर यह काम करता है। हमारे नोड से, हम स्थानीय रूप से एजेंट से पूछ सकते हैं और पता लगा सकते हैं कि हमारे पास किसी तरह की सेवा है। आप टैग भी लगा सकते हैं।

कोई भी सेवा जो चल रही है और कॉन्सुल के साथ पंजीकृत है, एक iptables नियम में बदल जाती है। हमारे पास SSH - ओपन पोर्ट 22 है। बैश स्क्रिप्ट सरल है: कर्ल और आईपीटेबल्स, और कुछ नहीं चाहिए।

ग्राहकों

सभी के लिए उपयोग कैसे खोलें, लेकिन चुनिंदा रूप से? सेवा के नाम से, केवी भंडार में आईपी सूची जोड़ें।

उदाहरण के लिए, हम चाहते हैं कि दसवें नेटवर्क से सभी लोग SSH_TCP_22 सेवा का उपयोग करने में सक्षम हों। एक छोटा TTL फ़ील्ड जोड़ें? और अब हमारे पास अस्थायी अनुमति है, उदाहरण के लिए, एक दिन के लिए।

पहुंच

हम सेवाओं और ग्राहकों को जोड़ते हैं: हमारे पास एक सेवा है, प्रत्येक केवी-भंडारण के लिए तैयार है। अब हम सभी को नहीं, बल्कि चुनिंदा तरीके से पहुंच प्रदान करते हैं।

समूह

यदि हर बार हम एक्सेस के लिए हजारों आईपी लिखते हैं, तो हम थक जाएंगे। चलो समूहों के साथ आते हैं - केवी में एक अलग सबसेट। हम इसे एलियास (या समूह) कहेंगे और हम एक ही सिद्धांत के अनुसार समूहों को संग्रहीत करेंगे।

कनेक्ट करें: अब हम विशेष रूप से पी 2 पी पर नहीं, बल्कि पूरे समूह या कई समूहों पर एसएसएच खोल सकते हैं। इसी तरह, टीटीएल है - आप समूह में जोड़ सकते हैं और अस्थायी रूप से समूह से निकाल सकते हैं।

एकीकरण

हमारी समस्या मानव कारक और स्वचालन है। अब तक हमने इसे वैसे ही हल किया है।

हम कठपुतली के साथ काम करते हैं, और सिस्टम (एप्लिकेशन कोड) से संबंधित सभी चीजों को इसमें स्थानांतरित करते हैं। Puppetdb (नियमित PostgreSQL) उन सेवाओं की सूची संग्रहीत करता है जो वहां चल रही हैं, आप उन्हें संसाधन प्रकार द्वारा पा सकते हैं। वहां आप पा सकते हैं कि कौन कहाँ जाता है। हमारे पास इसके लिए एक पुल अनुरोध और मर्ज अनुरोध प्रणाली भी है।

हमने befw-sync लिखा, सबसे सरल समाधान जो डेटा ट्रांसफर करने में मदद करता है। सबसे पहले, सिंक कुकीज़ कठपुतली पर जाएं। HTTP API को वहां कॉन्फ़िगर किया गया है: हम पूछते हैं कि हमारे पास क्या सेवाएँ हैं, क्या करने की आवश्यकता है। फिर वे कौंसल से अनुरोध करते हैं।

क्या एकीकरण है? हां: उन्होंने नियम लिखे, पुल अनुरोध स्वीकार करने की अनुमति दी। कुछ पोर्ट की आवश्यकता है या कुछ समूह में एक होस्ट जोड़ना है? पुल अनुरोध, समीक्षा - कोई और नहीं "200 अन्य एसीएल ढूंढें और इसके बारे में कुछ करने की कोशिश करें।"

अनुकूलन

एक खाली नियम श्रृंखला के साथ लोकलहोस्ट पिंग 0.075 एमएस लेता है।

इस श्रृंखला में 10,000 iptables जोड़ें। नतीजतन, पिंग 5 गुना बढ़ जाएगा: iptables पूरी तरह से रैखिक है, प्रत्येक पते को संसाधित करने में कुछ समय लगता है।

फ़ायरवॉल के लिए, जिसमें हम हजारों ACL को स्थानांतरित करते हैं, हमारे पास कई नियम हैं, और यह देरी का परिचय देता है। गेमिंग प्रोटोकॉल के लिए, यह बुरा है।

लेकिन अगर हम ipset पिंग में 10,000 एड्रेस डालेंगे तो और भी कम हो जाएगा।

मुद्दा यह है कि ipset के लिए "O" (एल्गोरिथम जटिलता) हमेशा 1 है, चाहे कितने भी नियम हों। सच है, एक सीमा है - 65535 से अधिक नियम नहीं हो सकते हैं। अभी के लिए, हम इस के साथ रहते हैं: आप उन्हें जोड़ सकते हैं, उनका विस्तार कर सकते हैं, एक में दो ipsets बना सकते हैं।

भंडारण

पुनरावृत्ति प्रक्रिया की तार्किक निरंतरता ipset में सेवा के लिए ग्राहक जानकारी का भंडारण है।

अब हमारे पास समान एसएसएच है, और हम तुरंत 100 आईपी नहीं लिखते हैं, लेकिन हम निम्नलिखित नियम के साथ संवाद करने के लिए ipset नाम सेट करते हैं DROP। आप नियम को फिर से परिभाषित कर सकते हैं "कौन यहाँ नहीं है, वह DROP है", लेकिन अधिक स्पष्ट रूप से।

अब हमारे पास नियम और सेट हैं। मुख्य कार्य नियम लिखने से पहले एक सेट बनाना है, क्योंकि अन्यथा iptables नियम नहीं लिखेंगे।

सामान्य योजना

आरेख के रूप में, मैंने जो कुछ भी कहा वह ऐसा दिखता है।

कठपुतली के लिए, सब कुछ मेजबान को भेजा जाता है, सेवाएं यहां हैं, ipset वहां है, और जो भी पंजीकृत नहीं है, वहां अनुमति नहीं है।

अनुमति दें इनकार करें

दुनिया को जल्दी से बचाने के लिए या जल्दी से किसी को बंद करने के लिए, सभी जंजीरों की शुरुआत में हमने दो ipset बनाए: rules_allowऔर rules_deny। यह काम किस प्रकार करता है?

उदाहरण के लिए, बॉट वाला कोई व्यक्ति हमारे वेब पर लोड बनाता है। पहले, लॉग द्वारा इसके आईपी को खोजने के लिए आवश्यक था, इसे नेटवर्क इंजीनियरों को देखें ताकि वे यातायात के स्रोत को खोज सकें और इसे प्रतिबंधित कर सकें। अब यह अलग दिखता है।

हम वाणिज्य दूतावास के लिए जाते हैं, 2.5 एस प्रतीक्षा करें, और आप कर रहे हैं। चूंकि कंसल जल्दी से पी 2 पी के माध्यम से वितरित करता है, यह दुनिया में कहीं भी, हर जगह काम करता है।

एक बार मैंने किसी तरह से WOT को पूरी तरह से रोक दिया, जिससे फ़ायरवॉल के साथ एक गलती हुई। rules_allow- ऐसे मामलों के खिलाफ यह हमारा बीमा है। अगर हमने कहीं फ़ायरवॉल के साथ कोई गलती की है, तो कहीं पर कुछ अवरुद्ध है, हम हमेशा 0.0/0सब कुछ जल्दी से बढ़ाने के लिए एक सशर्त भेज सकते हैं। फिर हम अपने हाथों से सब कुछ ठीक कर देंगे।

अन्य सेट

आप अंतरिक्ष में कोई अन्य सेट जोड़ सकते हैं $IPSETS$ ।

किस लिए? कभी-कभी किसी को एक ipset की आवश्यकता होती है, उदाहरण के लिए, क्लस्टर के कुछ हिस्से के वियोग का अनुकरण करने के लिए। सभी लोग कोई भी सेट ला सकते हैं, उन्हें कॉल कर सकते हैं और उन्हें कंसुल से लिया जाएगा। इसी समय, सेट दोनों iptables नियमों में भाग ले सकते हैं और एक टीम की तरह हो सकते हैं NOOP: स्थिरता को डेमॉन द्वारा समर्थित किया जाएगा।

उपयोगकर्ता

यह इस तरह हुआ करता था: एक नेटवर्क से जुड़ा उपयोगकर्ता और एक डोमेन के माध्यम से प्राप्त पैरामीटर। अगली पीढ़ी के फायरवॉल तक, सिस्को समझ नहीं पा रहा था कि उपयोगकर्ता कहाँ है और आईपी कहाँ है। इसलिए, होस्टनाम-मशीनों के माध्यम से ही पहुंच दी गई थी।

हमने क्या किया है? पता प्राप्त करने के समय में पहने गए। आमतौर पर यह dot1x, वाई-फाई या वीपीएन - सब कुछ RADIUS के माध्यम से जाता है। प्रत्येक उपयोगकर्ता के लिए, उपयोगकर्ता नाम से एक समूह बनाएं और उसमें टीटीएल के साथ एक आईपी डालें, जो उसके dhcp.lease के बराबर है - जैसे ही यह समाप्त होगा, नियम गायब हो जाएगा।

अब हम सेवाओं के साथ-साथ अन्य समूहों तक भी उपयोगकर्ता नाम से पहुंच खोल सकते हैं। जब वे बदलते हैं, तो हमने होस्टनाम के साथ दर्द से छुटकारा पा लिया, और नेटवर्क इंजीनियरों से भार उठा लिया क्योंकि उन्हें अब सिस्को की आवश्यकता नहीं थी। अब, इंजीनियर स्वयं अपने सर्वर तक पहुंच निर्धारित करते हैं।

इन्सुलेशन

समानांतर में, हमने इन्सुलेशन को अलग करना शुरू कर दिया। सेवा प्रबंधकों ने एक इन्वेंट्री ली, और हमने अपने सभी नेटवर्क का विश्लेषण किया। हम उन्हें एक ही समूह में विघटित करते हैं, और आवश्यक सर्वर पर समूहों को जोड़ा गया, उदाहरण के लिए, इनकार करने के लिए। अब वही स्टेजिंग आइसोलेशन उत्पादन में रूल्स_डेन में हो जाता है, लेकिन प्रोडक्शन में ही नहीं।

योजना जल्दी और सरल रूप से काम करती है: सर्वर से सभी एसीएल को हटा दें, हार्डवेयर को अनलोड करें, पृथक वीएलएएन की संख्या कम करें।

अखंडता नियंत्रण

पहले, हमारे लिए एक विशेष ट्रिगर ने काम किया, जिसने सूचित किया कि किसी ने अपने हाथों से फ़ायरवॉल नियम को बदल दिया है। मैंने एक विशाल फ़ायरवॉल नियम चेकर लिखा, यह मुश्किल था। अब अखंडता BEFW को नियंत्रित करती है। वह जोश से यह सुनिश्चित करता है कि वह जो नियम बनाता है वह नहीं बदलता है। यदि कोई फ़ायरवॉल के नियमों को बदलता है, तो वह सब कुछ वापस कर देगा। "मैंने जल्दी से घर से काम करने के लिए एक प्रॉक्सी को उठाया" - इस तरह के कोई विकल्प अब नहीं हैं।

BEFW सेवाओं से ipset को नियंत्रित करता है और befw.conf में सूची देता है, BEFW श्रृंखला में सेवा नियम। लेकिन अन्य जंजीरों और नियमों और अन्य ipset का पालन नहीं करता है।

दुर्घटना से सुरक्षा

BEFW हमेशा स्टेट.बिन की बाइनरी संरचना में सीधे अंतिम सफल स्थिति को बचाता है। अगर कुछ गलत हुआ, तो यह हमेशा इस स्थिति में वापस आ जाता है।

यह कॉन्सुल का अस्थिर बीमा है जब उसने डेटा नहीं भेजा या किसी ने गलती की और नियमों का इस्तेमाल किया जो लागू नहीं किया जा सका। ताकि हम किसी फ़ायरवॉल के बिना न बचे, बीईएफडब्लू अंतिम अवस्था में वापस आ जाएगा यदि किसी स्तर पर कोई त्रुटि होती है।

गंभीर परिस्थितियों में, यह एक गारंटी है कि हम एक कामकाजी फ़ायरवॉल के साथ बने रहेंगे। हम सभी ग्रे नेटवर्क इस उम्मीद में खोलते हैं कि एडमिन आएगा और उसे ठीक करेगा। किसी दिन मैं इसे विन्यास में निकालूंगा, लेकिन अभी हमारे पास तीन ग्रे नेटवर्क हैं: 10/8, 172/12 और 192.168 / 16। हमारे कौंसल के हिस्से के रूप में, यह एक महत्वपूर्ण विशेषता है जो आगे विकसित करने में मदद करती है।

: - BEFW. . GitHub.

मैं आपको उन बग के बारे में बताऊंगा जिनका हमने सामना किया।

ipset ऐड सेट 0.0.0.0/0। यदि आप ipset 0.0.0.0/0 में जोड़ते हैं तो क्या होता है? क्या सभी आईपी जोड़े जाएंगे? क्या इंटरनेट एक्सेस खोला जाएगा?

नहीं, हमें एक बग मिलता है जिसकी कीमत हमें दो घंटे डाउनटाइम में चुकानी पड़ती है। इसके अलावा, बग 2016 के बाद से काम नहीं कर रहा है, यह RedHat Bugzilla में # 1297092 नंबर के तहत आता है, और हमने इसे दुर्घटना से पाया - डेवलपर की रिपोर्ट से।

अब BEFW का एक सख्त नियम है, जो 0.0.0.0/0दो पते में बदल जाता है: 0.0.0.0/1और 128.0.0.0/1।

ipset रिस्टोर सेट <फाइल। जब आप इसे बताते हैं तो ipset क्या करता है restore? क्या आपको लगता है कि यह iptables की तरह ही काम करता है? डेटा पुनर्प्राप्त करें?

कुछ भी नहीं - वह एक मर्ज करता है, और पुराने पते गायब नहीं होते हैं, आप पहुंच को बंद नहीं करते हैं।

जब हमने अलगाव का परीक्षण किया तो हमें एक बग मिला। अब एक जटिल प्रणाली है - restoreबाहर किए जाने के बजाय create temp, फिर restore flush tempऔर restore temp। स्वैप के अंत में: परमाणुता के लिए, क्योंकि यदि आप पहली बार बाहर ले जाते हैं flushऔर उसी क्षण कुछ पैकेज आता है, तो इसे छोड़ दिया जाएगा और कुछ गलत हो जाएगा। इसलिए, थोड़ा काला जादू है।

consul kv get -datacenter = अन्य। जैसा कि मैंने कहा, हम सोचते हैं कि हम कुछ डेटा का अनुरोध कर रहे हैं, लेकिन हमें डेटा या कोई त्रुटि मिलेगी। हम इसे स्थानीय रूप से कौंसल के माध्यम से कर सकते हैं, लेकिन इस मामले में दोनों एक और दूसरे को लटकाएंगे।

स्थानीय वाणिज्य क्लाइंट HTTP एपीआई पर एक आवरण है। लेकिन यह सिर्फ लटका रहता है और या तो Ctrl + C, या Ctrl + Z का जवाब नहीं देता है, कोई बात नहीं, केवलkill -9सन्निकट कंसोल में। जब हम एक बड़े क्लस्टर का निर्माण कर रहे थे तब हम इस पार आए थे। लेकिन हमारे पास अभी भी कोई समाधान नहीं है, हम कॉन्सल में इस त्रुटि को ठीक करने की तैयारी कर रहे हैं।

कौंसल नेता जवाब नहीं दे रहे हैं। डेटा सेंटर में हमारे मास्टर जवाब नहीं देते हैं, हम सोचते हैं: "शायद, पुन: चयन एल्गोरिदम अब काम करेगा?"

नहीं, यह काम नहीं करेगा, और निगरानी कुछ भी नहीं दिखाएगी: कंसल कहेंगे कि एक प्रतिबद्धता सूचकांक है, एक नेता पाया गया है, सब कुछ ठीक है।

हम यह कैसे लड़ रहे हैं? service consul restartक्रोन में हर घंटे। यदि आपके पास 50 सर्वर हैं - तो कोई बड़ी बात नहीं। जब 16,000 होंगे, तो आप समझेंगे कि यह कैसे काम करता है।

निष्कर्ष

परिणामस्वरूप, हमें निम्नलिखित लाभ मिले:

सभी लिनक्स मशीनों का 100% कवरेज।
स्पीड।
स्वचालन
लोहा और नेटवर्क इंजीनियरों को गुलामी से मुक्त कराया।
एकीकरण के अवसर हैं जो लगभग अंतहीन हैं: यहां तक कि कुबेरनेट्स के साथ, यहां तक कि अंसिबल के साथ, यहां तक कि पायथन के साथ भी।

विपक्ष : कॉन्सल, जिसके साथ अब हम रहते हैं, और त्रुटि की बहुत अधिक कीमत है। एक उदाहरण के रूप में, एक बार शाम 6 बजे (रूस में प्राइम टाइम), मैंने नेटवर्क की सूचियों पर कुछ राज किया। हम तब BEFW में इन्सुलेशन का निर्माण कर रहे थे। मुझे कहीं गलती हुई थी, ऐसा लगता है, मैंने गलत मास्क का संकेत दिया, लेकिन सब कुछ दो सेकंड में गिर गया। मॉनिटरिंग लाइट्स, ड्यूटी ऑफिसर आता है: "सब कुछ हमारे साथ है!" विभाग का मुखिया उस समय गमगीन हो गया जब उसने व्यवसाय को समझाया कि ऐसा क्यों हुआ।

त्रुटि की कीमत इतनी अधिक है कि हम अपनी जटिल प्रोफिलैक्सिस प्रक्रिया के साथ आए। यदि आप इसे बड़े उत्पादन पर लागू करेंगे, तो आपको हर किसी के लिए कौंसल में एक मास्टर टोकन देने की आवश्यकता नहीं है। यह बुरी तरह से समाप्त हो जाएगा।

लागत।मैंने अकेले 400 घंटे के लिए कोड लिखा था। 4 लोगों की मेरी टीम का समर्थन करने के लिए महीने में 10 घंटे खर्च करते हैं। किसी भी नई पीढ़ी के फ़ायरवॉल की कीमत की तुलना में, यह मुफ़्त है।

योजनाएं। दीर्घावधि योजना, कंसल के अतिरिक्त या इसके बदले में वैकल्पिक परिवहन की खोज है। शायद यह काफ्का या ऐसा ही कुछ होगा। लेकिन आने वाले वर्षों में हम कंसुल पर रहेंगे।

तत्काल योजना: Fail2ban के साथ एकीकरण, निगरानी के साथ, nftables के साथ, संभवतः अन्य वितरण, मैट्रिक्स, उन्नत निगरानी, अनुकूलन के साथ। कुबेरनेट्स समर्थन योजनाओं में भी कहीं न कहीं है, क्योंकि अभी हमारे पास कई क्लस्टर हैं और इच्छा है।

योजनाओं में से एक:

ट्रैफ़िक विसंगतियों की खोज;
नेटवर्क मैप प्रबंधन;
कुबेरनेट्स समर्थन;
सभी प्रणालियों के लिए पैकेजों की विधानसभा;
वेब यूआई

हम लगातार कॉन्फ़िगरेशन का विस्तार करने, मैट्रिक्स बढ़ाने और अनुकूलन पर काम कर रहे हैं।

परियोजना में शामिल हों। परियोजना शांत हो गई, लेकिन, दुर्भाग्य से, यह अभी भी एक व्यक्ति की परियोजना है। GitHub पर आएं और कुछ करने की कोशिश करें: कमिटमेंट, टेस्ट, कुछ ऑफर करें, अपना आकलन दें।

इस बीच, हम सेंट हाइलाड ++ की तैयारी कर रहे हैं , जो 6 और 7 अप्रैल को सेंट पीटर्सबर्ग में आयोजित किया जाएगा, और हम एक रिपोर्ट के लिए आवेदन करने के लिए अत्यधिक लोड सिस्टम के डेवलपर्स को आमंत्रित करते हैं । अनुभवी वक्ताओं को पहले से ही पता है कि क्या करना है, और हम सलाह देते हैं कि नए लोगों को कम से कम भाषण देने की कोशिश करें । एक वक्ता के रूप में सम्मेलन में भाग लेने के कई फायदे हैं। जो, आप उदाहरण के लिए, इस लेख के अंत में पढ़ सकते हैं ।

कौंसुल + आईपबटेल =: 3