🚁 ✋🏼 🤷🏻 HAProxy में अनुरोधों की आवृत्ति को कैसे सीमित करें: चरण-दर-चरण निर्देश 👁️ 🧕 👨🏿‍🍳

लेखक बताता है कि एक निश्चित आईपी-पतों के साथ HAProxy क्वेरी गति सीमा (दर सीमित) में कैसे लागू किया जाए । Mail.ru क्लाउड सॉल्यूशंस टीम ने उनके लेख का अनुवाद किया - हमें उम्मीद है कि इसके साथ आपको उस पर उतना समय और प्रयास नहीं करना पड़ेगा जितना कि आपको इसे खर्च करना था।

तथ्य यह है कि यह DoS के हमलों से सर्वर को बचाने के सबसे लोकप्रिय तरीकों में से एक है, लेकिन इंटरनेट पर स्पष्ट निर्देश प्राप्त करना मुश्किल है कि इसे विशेष रूप से कैसे कॉन्फ़िगर किया जाए। परीक्षण और त्रुटि से, लेखक ने आईपी पते की एक सूची पर अनुरोधों की आवृत्ति को सीमित करने के लिए हाप्रोसी को मजबूर किया, जो वास्तविक समय में अपडेट किया गया है।

HAProxy को कॉन्फ़िगर करने के लिए किसी पूर्व ज्ञान की आवश्यकता नहीं है, क्योंकि सभी आवश्यक कदम नीचे दिए गए हैं।

खुला स्रोत और मुफ्त HAProxy एक अत्यधिक सुलभ लोड बैलेंसर और प्रॉक्सी सर्वर है। हाल के वर्षों में, यह बहुत लोकप्रिय हो गया है क्योंकि यह न्यूनतम संसाधनों के साथ उच्च प्रदर्शन प्रदान करता है। वैकल्पिक कार्यक्रमों के विपरीत, HAProxy सामुदायिक संस्करण का गैर-लाभकारी संस्करण विश्वसनीय लोड संतुलन के लिए पर्याप्त सुविधाएँ प्रदान करता है।

यह कार्यक्रम पहली बार पता लगाने के लिए बहुत कठिन है। हालाँकि, उसके पास बहुत ही सूक्ष्म और विस्तृत तकनीकी दस्तावेज हैं । लेखक का कहना है कि यह सभी खुले स्रोत कार्यक्रमों के बीच सबसे विस्तृत दस्तावेज है जो उन्होंने कभी भी इस्तेमाल किया है।
तो, यहां एक चरण-दर-चरण मार्गदर्शिका है।

एक लोड बैलेंसर को कॉन्फ़िगर करना

समय बचाने के लिए और बुनियादी ढांचे की स्थापना से विचलित न होने के लिए, डॉकर और डॉकर कंपोज़ छवियों को लें और जल्दी से मुख्य घटकों को लॉन्च करें।

पहला काम कई अपाचे बैकएंड सर्वर के साथ HAProxy लोड बैलेंसर के काम के उदाहरण को बढ़ाने के लिए है।

भंडार का क्लोन

$ git clone git@github.com:stargazer/haproxy-ratelimiter.git
$ cd haproxy-ratelimiter

आप स्थापना मापदंडों पर Dockerfileऔर उसके docker-compose.ymlसाथ देख सकते हैं । उनकी चर्चा इस लेख के दायरे से परे है, इसलिए इस तथ्य पर ध्यान दें कि उन्होंने loadbalancerदो बैकएंड सर्वरों के साथ काम करने वाले HAProxy उदाहरण api01और बनाया है api02। HAProxy को कॉन्फ़िगर करने के लिए, हम शुरू में फ़ाइल का उपयोग करेंगे haproxy-basic.cfg, और फिर स्विच करेंगे haproxy-ratelimiting.cfg।

सादगी के लिए, कॉन्फ़िगरेशन फ़ाइल को haproxy-basic.cfgनंगे न्यूनतम तक घटा दिया गया है और अतिरिक्त को मंजूरी दे दी गई है। आइए इसे देखें:

defaults
mode http
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms

frontend proxy
bind *:80

use_backend api

backend api
balance roundrobin

server api01 api01:80
server api02 api02:80

यह खंड frontend proxyपोर्ट 80 पर सुनने के लिए HAProxy सेट करता है और apiबैकएंड पर सर्वर पूल में सभी अनुरोधों को अग्रेषित करता है ।

श्रेणी backend apiनिर्दिष्ट पूल बैकेंड apiदो बैकएंड सर्वर के साथ api01और api02और इसी पते। प्रत्येक आने वाले अनुरोध को सर्विस करने के लिए सर्वर को लोड बैलेंसिंग एल्गोरिदम द्वारा चुना जाता roundrobinहै, अर्थात्, दो उपलब्ध सर्वरों का उपयोग बदले में किया जाता है।

चलो हमारे तीनों कंटेनरों को लॉन्च करते हैं

$ sudo docker-compose up

अब हमारे पास एक कंटेनर है loadbalancerजो दो बैकएंड api01और सर्वर के अनुरोधों को रीडायरेक्ट करता है api02। यदि हम पता बार में दर्ज करते हैं तो हमें उनमें से एक का जवाब मिलेगा http://localhost/।

पृष्ठ को कई बार ताज़ा करना और लॉग देखना दिलचस्प है docker-compose।

api01_1 | 192.168.192.3 - - [08 / जनवरी / 2019: 11: 38: 09 +0000] "GET / HTTP / 1.1" 200 45
api02_1 | 192.168.192.3 - - [08 / जनवरी / 2019: 11: 38: 10 +0000] "GET / HTTP / 1.1" 304 -
api01_1 | 192.168.192.3 - - [08 / जनवरी / 2019: 11: 38: 10 +0000] "GET / HTTP / 1.1" 304 -
api02_1 | 192.168.192.3 - - [08 / जनवरी / 2019: 11: 38: 11 +0000] "GET / HTTP / 1.1" 304 -
api01_1 | 192.168.192.3 - - [08 / जनवरी / 2019: 11: 38: 11 +0000] "GET / HTTP / 1.1" 304 -
api02_1 | 192.168.192.3 - - [08 / जनवरी / 2019: 11: 38: 11 +0000] "GET / HTTP / 1.1" 304 -

जैसा कि आप देख सकते हैं, दो सर्वर apiबदले में अनुरोधों की प्रक्रिया करते हैं।

अब हमारे पास बहुत ही सरल भार संतुलन विन्यास के साथ एक HAProxy उदाहरण है, और हमारे पास कुछ विचार है कि यह कैसे काम करता है।

अनुरोधों की संख्या पर एक सीमा जोड़ें

लोड बैलेंसर के लिए अनुरोधों की संख्या पर एक सीमा निर्धारित करने के लिए, आपको HAProxy उदाहरण में कॉन्फ़िगरेशन फ़ाइल को संशोधित करने की आवश्यकता है। सुनिश्चित करें कि कंटेनर loadbalancerकॉन्फ़िगरेशन फ़ाइल का उपयोग करता है haproxy-ratelimiter.cfg।

कॉन्फ़िगरेशन फ़ाइल को बदलने के लिए बस Dockerfile को संशोधित करें।

FROM haproxy:1.7
COPY haproxy-ratelimiter.cfg /usr/local/etc/haproxy/haproxy.cfg

सीमा निर्धारित करना

सभी सेटिंग्स कॉन्फ़िगरेशन फ़ाइल में पंजीकृत हैं haproxy-ratelimiter.cfg। आइये इसका ध्यानपूर्वक अध्ययन करें।

defaults
mode http
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms

frontend proxy
bind *:80

# ACL function declarations
acl is_abuse src_http_req_rate(Abuse) ge 10
acl inc_abuse_cnt src_inc_gpc0(Abuse) gt 0
acl abuse_cnt src_get_gpc0(Abuse) gt 0

# Rules
tcp-request connection track-sc0 src table Abuse
tcp-request connection reject if abuse_cnt
http-request deny if abuse_cnt
http-request deny if is_abuse inc_abuse_cnt

use_backend api
backend api
balance roundrobin

server api01 api01:80
server api02 api02:80

backend Abuse
stick-table type ip size 100K expire 30m store gpc0,http_req_rate(10s)

HAProxy निम्न-स्तर की प्राथमिकताओं का एक सेट प्रदान करता है जो अधिक लचीलापन प्रदान करते हैं और विभिन्न प्रकार के उपयोग के मामलों के लिए उपयुक्त हैं। इसके काउंटर अक्सर सीपीयू में संचित रजिस्टर (योजक) की याद दिलाते हैं। वे मध्यवर्ती परिणामों को संग्रहीत करते हैं, इनपुट के रूप में अलग-अलग शब्दार्थ लेते हैं, लेकिन अंत में वे केवल संख्याएं हैं। सब कुछ अच्छी तरह से समझने के लिए, कॉन्फ़िगरेशन फ़ाइल के बहुत अंत से शुरू करना समझ में आता है।

तालिका `Abuse`

backend Abuse
stick-table type ip size 100K expire 30m store gpc0,http_req_rate(10s)

यहां हमने एक डमी बैकएंड Abuse("दुरुपयोग") स्थापित किया है। काल्पनिक, क्योंकि इसका उपयोग केवल स्टिक-टेबल के लिए किया जाता है, जिसे बाकी कॉन्फ़िगरेशन नाम से संदर्भित कर सकता है Abuse। स्टिक-टेबल प्रक्रिया मेमोरी में संग्रहीत एक टेबल है, जहां प्रत्येक रिकॉर्ड के लिए आप जीवनकाल निर्धारित कर सकते हैं।

हमारी तालिका में निम्नलिखित विशेषताएं हैं:

type ip: अनुरोधों को कुंजी के रूप में आईपी पते द्वारा तालिका में सहेजा जाता है। इस प्रकार, एक ही आईपी पते से अनुरोध एक ही रिकॉर्ड को संदर्भित करेगा। अनिवार्य रूप से, इसका मतलब है कि हम आईपी पते और संबंधित डेटा पर नज़र रख रहे हैं।
size 100K: तालिका में अधिकतम 100 हजार रिकॉर्ड हैं।
expire 30m: रिकॉर्ड प्रतिधारण अवधि 30 मिनट की निष्क्रियता है।
store gpc0,http_req_rate(10s): gpc0अंतिम 10 सेकंड के लिए काउंटर और आईपी पते के अनुरोध की संख्या प्रविष्टियों के साथ संग्रहीत की जाती है । इसकी मदद से gpc0हम ट्रैक करेंगे कि आईपी एड्रेस कितनी बार गालियों में देखा गया है। वास्तव में, एक सकारात्मक काउंटर वैल्यू का मतलब है कि आईपी पता पहले से ही संदिग्ध के रूप में चिह्नित है। चलो इस काउंटर को बुलाओ abuse indicator।

सामान्य तौर पर, तालिका Abuseआपको यह ट्रैक करने की अनुमति देती है कि क्या आईपी पते को संदिग्ध के रूप में चिह्नित किया गया है, साथ ही इस पते से अनुरोधों की वर्तमान आवृत्ति। इसलिए, हमारे पास अभिलेखों का इतिहास है, साथ ही साथ वास्तविक समय की जानकारी भी है।

अब हम अनुभाग पर चलते हैं frontend proxyऔर देखते हैं कि वहां क्या नया है।

एसीएल कार्य और नियम

frontend proxy
bind *:80

# ACL function declarations
acl is_abuse src_http_req_rate(Abuse) ge 10
acl inc_abuse_cnt src_inc_gpc0(Abuse) gt 0
acl abuse_cnt src_get_gpc0(Abuse) gt 0

# Rules
tcp-request connection track-sc0 src table Abuse
tcp-request connection reject if abuse_cnt
http-request deny if abuse_cnt
http-request deny if is_abuse inc_abuse_cnt

use_backend api

एक्सेस कंट्रोल लिस्ट (ACL) फ़ंक्शन घोषणाएँ होती हैं जिन्हें केवल नियम के सेट होने पर कहा जाता है।

आइए सभी तीन एसीएल प्रविष्टियों पर एक करीब से नज़र डालें। ध्यान रखें कि वे सभी स्पष्ट रूप से एक तालिका का संदर्भ देते हैं जो एक Abuseपते के रूप में आईपी पते का उपयोग करता है, इसलिए प्रत्येक फ़ंक्शन अनुरोध आईपी पते पर लागू होता है:

acl is_abuse src_http_req_rate(Abuse) ge 10: फ़ंक्शन is_abuseवापस आता है Trueयदि वर्तमान अनुरोध आवृत्ति दस से अधिक या उसके बराबर है।
acl inc_abuse_cnt src_inc_gpc0(Abuse) gt 0: वेतन वृद्धि शून्य से अधिक होने पर फ़ंक्शन inc_abuse_cntवापस आ जाता है। चूंकि प्रारंभिक मूल्य शून्य है, इसलिए यह फ़ंक्शन हमेशा रिटर्न करता है । दूसरे शब्दों में, यह मूल्य बढ़ाता है , अनिवार्य रूप से इस आईपी पते से दुरुपयोग का संकेत है।Truegpc0gpc0Trueabuse indicator
acl abuse_cnt src_get_gpc0(Abuse) gt 0: यदि मान शून्य से अधिक है, तो फ़ंक्शन abuse_cntलौटता है। दूसरे शब्दों में, वह कहता है कि क्या यह आईपी पता पहले ही गालियों में देखा गया है।Truegpc0

जैसा कि पहले उल्लेख किया गया है, ACL केवल घोषणाएँ हैं, अर्थात् फ़ंक्शन घोषणाएँ हैं। वे आने वाले अनुरोधों पर लागू नहीं होते हैं जब तक कि कुछ नियम ट्रिगर नहीं होते हैं।

यह एक ही खंड में परिभाषित नियमों को देखने के लिए समझ में आता है frontend। नियम आने वाले प्रत्येक अनुरोध पर एक-एक करके लागू होते हैं और एसीएल से उन कार्यों को चलाते हैं जिन्हें हमने अभी परिभाषित किया है।

आइए देखें कि प्रत्येक नियम क्या करता है:

tcp-request connection track-sc0 src table Abuse: तालिका में एक क्वेरी जोड़ता है Abuse। चूंकि कुंजी तालिका में आईपी पता है, इसलिए यह नियम आईपी पते की सूची में जोड़ता है।
tcp-request connection reject if abuse_cnt: TCP-, IP- , abuse. , TCP- IP-.
http-request deny if abuse_cnt: , IP- . IP-, abuse.
http-request deny if is_abuse inc_abuse_cnt: , is_abuse inc_abuse_cnt True. , , IP- , IP- .

संक्षेप में, हम दो प्रकार के चेक पेश करते हैं: वास्तविक समय में और क्वेरी इतिहास से ब्लैकलिस्ट में। दूसरा नियम सभी नए टीसीपी कनेक्शन को अस्वीकार कर देता है यदि आईपी पते को गालियों में देखा गया है। तीसरा नियम इस सूची से अनुरोधों की वर्तमान आवृत्ति की परवाह किए बिना, काली सूची से एक आईपी पते के लिए HTTP अनुरोधों की सेवा को प्रतिबंधित करता है। चौथा नियम यह सुनिश्चित करता है कि एक आईपी पते से HTTP अनुरोध उसी क्षण अस्वीकार कर दिया जाता है जब तक कि अनुरोध आवृत्ति के लिए सीमा को पार कर लिया गया हो। इस प्रकार, दूसरा नियम मुख्य रूप से नए टीसीपी कनेक्शनों पर काम करता है, तीसरा और चौथा - पहले से स्थापित कनेक्शनों पर, पहला एक ऐतिहासिक चेक और दूसरा एक रियल-टाइम चेक।

चलो कार्रवाई में फिल्टर की कोशिश करो!

अब हम अपने कंटेनरों को फिर से इकट्ठा और लॉन्च कर सकते हैं।

$ sudo docker-compose down
$ sudo docker-compose build
$ sudo docker-compose up

लोड बैलेन्सर को दो बैकएंड सर्वर से पहले शुरू करना चाहिए।

चलो हमारे ब्राउज़र को निर्देशित करते हैं http://localhost/। यदि हम पृष्ठ को एक दर्जन बार जल्दी ताज़ा करते हैं, तो हम दस-सेकंड के अंतराल में दस अनुरोधों की सीमा को पार कर जाएंगे - और हमारे अनुरोधों को अस्वीकार कर दिया जाएगा। यदि हम पृष्ठ को रिफ्रेश करना जारी रखते हैं, तो टीसीपी कनेक्शन स्थापित होने से पहले ही नए अनुरोध तुरंत अस्वीकार कर दिए जाएंगे।

प्रशन

प्रति दस सेकंड में दस अनुरोधों की सीमा क्यों है?

तालिका Abuseनिर्धारित करती है http_req_rate(10s), अर्थात, अनुरोधों की आवृत्ति को दस सेकंड की विंडो में मापा जाता है। is_abuseएसीएल से एक फ़ंक्शन Trueनिर्दिष्ट अंतराल के भीतर the10 के अनुरोध दर पर लौटता है । इस प्रकार, दुरुपयोग को दस सेकंड में दस या अधिक अनुरोधों की आवृत्ति माना जाता है।

इस लेख में, उदाहरण के लिए, हमने लिमिटर के संचालन की जांच करना आसान बनाने के लिए एक कम सीमा निर्धारित करने का निर्णय लिया।

Http-request और tcp-request कनेक्शन नियमों में क्या अंतर है?

से प्रलेखन :

http-request: http-request स्टेटमेंट नेटवर्क लेयर 7 [OSI मॉडल] पर लागू होने वाले नियमों के एक सेट को परिभाषित करता है

से प्रलेखन :

टीसीपी-अनुरोध कनेक्शन: नेटवर्क परत 4 पर एक शर्त के आधार पर आने वाले कनेक्शन पर एक क्रिया करना

HTTP-, TCP-?

कल्पना कीजिए कि सर्वर से HTTP अनुरोध एक ही आईपी पते से कई टीसीपी कनेक्शन भेजते हैं। HTTP अनुरोधों की आवृत्ति जल्दी से थ्रेसहोल्ड से अधिक हो जाएगी। यह तब है कि चौथा नियम लागू होता है, जो अनुरोधों को छोड़ देता है और आईपी पते को ब्लैकलिस्ट कर देता है।

अब यह पूरी तरह से संभव है कि एक ही आईपी पते से HTTP कनेक्शन खुला रहे ( लगातार HTTP कनेक्शन देखें ), और HTTP अनुरोधों की आवृत्ति थ्रेसहोल्ड मान से नीचे चली गई है। तीसरा नियम गारंटी HTTP अनुरोधों को रोकना जारी रखता है, क्योंकि यह abuse indicatorइस आईपी पर चालू होता है ।

अब मान लीजिए कि कुछ मिनटों के बाद वही आईपी टीसीपी कनेक्शन स्थापित करने की कोशिश करता है। उन्हें तुरंत हटा दिया जाता है, क्योंकि दूसरा नियम लागू होता है: यह लेबल किए गए आईपी पते को देखता है और तुरंत कनेक्शन को छोड़ देता है।

निष्कर्ष

सबसे पहले, HAProxy का उपयोग करके प्रसंस्करण अनुरोधों की गति की सीमा को समझना मुश्किल हो सकता है। सब कुछ सही करने के लिए, आपको काफी "निम्न-स्तरीय" सोच और कई गैर-सहज क्रियाओं की आवश्यकता होती है। इस भाग में प्रलेखन शायद बहुत तकनीकी है और किसी भी मूल उदाहरण की अनुपस्थिति से ग्रस्त है। हम आशा करते हैं कि यह मार्गदर्शिका कमियों के लिए बनेगी और हर उस व्यक्ति को दिशा दिखाएगी जो इस रास्ते को अपनाना चाहता है।

और क्या पढ़ें :

HAProxy में अनुरोधों की आवृत्ति को कैसे सीमित करें: चरण-दर-चरण निर्देश