💂 🥐 💇🏾 अतुल्यकालिक वेब सर्वर क्यों दिखाई दिए? 🛁 📪 🙎🏼

सभी को नमस्कार। व्लादिस्लाव रोडिन के संपर्क में। वर्तमान में, मैं ओटीयूएस में हाई लोड आर्किटेक्ट कोर्स का प्रमुख हूं, और मैं सॉफ्टवेयर आर्किटेक्चर पर पाठ्यक्रम भी पढ़ाता हूं।

शिक्षण के अलावा, जैसा कि आप देख सकते हैं, मैं एक ब्लॉग कॉपीराइट सामग्री OTUS Habré के लिए लिख रहा हूं और आज का लेख मैं पाठ्यक्रम «लिनक्स प्रशासक" की शुरुआत के साथ मेल खाना चाहता हूं , जो अब सेट खुला है।

परिचय

वेब एप्लिकेशन धीमा क्यों पड़ता है और लोड नहीं रखता है? डेवलपर्स, जो इस तरह के एक प्रश्न का सामना करने वाले पहले थे और कुछ प्रणालियों पर शोध किया, निराशाजनक निष्कर्ष पर पहुंचे कि अकेले व्यावसायिक तर्क का अनुकूलन करना पर्याप्त नहीं होगा। इस प्रश्न का उत्तर निचले स्तर पर है - ऑपरेटिंग सिस्टम के स्तर पर। आपके आवेदन को लोड रखने के लिए, इसकी वास्तु अवधारणा को इस तरह से संशोधित करना आवश्यक है कि यह इस स्तर पर प्रभावी ढंग से काम करे। इससे अतुल्यकालिक वेब सर्वरों का उदय हुआ।

दुर्भाग्य से, मुझे एक भी सामग्री नहीं मिली जो मुझे एक ही बार में वेब सर्वर के विकास में सभी कारण संबंधों को बहाल करने की अनुमति देती है। इसलिए इस लेख को लिखने का विचार आया, मुझे उम्मीद है कि इस तरह की सामग्री बन जाएगी।

लिनक्स ओएस सुविधाएँ

वेब सर्वर के मॉडल के बारे में बात करने से पहले, मैं अपने आप को लिनक्स में प्रक्रियाओं और थ्रेड्स की कुछ विशेषताओं को याद करने की अनुमति देता हूं। उपरोक्त मॉडलों के फायदे और नुकसान का विश्लेषण करते समय हमें इसकी आवश्यकता होगी।

संदर्भ स्विच

सबसे अधिक संभावना है, कोई भी उपयोगकर्ता जो जानता है कि एक प्रोसेसर कोर पर केवल एक ही कार्यक्रम निष्पादित किया जा सकता है: "मेरे 4-कोर प्रोसेसर पर एक समय में 20 प्रोग्राम क्यों लॉन्च किए जा सकते हैं?"।

वास्तव में, यह इस तथ्य के कारण है कि प्रीमेप्टिव मल्टीटास्किंग होता है । ऑपरेटिंग सिस्टम समय की एक निश्चित मात्रा (~ 50 μs) आवंटित करता है और इस समय के दौरान कर्नेल पर निष्पादित करने के लिए कार्यक्रम डालता है। समय समाप्त होने के बाद, संदर्भ स्विच बाधित और स्विच किया जाता है। यही है, ऑपरेटिंग सिस्टम बस निष्पादित करने के लिए अगले कार्यक्रम डालता है। चूंकि स्विचिंग अक्सर होती है, इसलिए हमें आभास होता है कि सभी प्रोग्राम एक साथ काम करते हैं। उच्च स्विचिंग आवृत्ति पर ध्यान दें, यह बाद की प्रस्तुति के लिए महत्वपूर्ण होगा।

संदर्भ स्विच ऊपर उल्लेख किया गया था। इसमें क्या शामिल है? संदर्भ को स्विच करते समय, प्रोसेसर रजिस्टरों को बचाने के लिए, इसकी अनुदेश पाइपलाइन को साफ करने के लिए, प्रक्रिया को आवंटित मेमोरी क्षेत्रों को बचाने के लिए आवश्यक है। सामान्य तौर पर, ऑपरेशन काफी महंगा है। इसमें ~ 0.5 μs लगते हैं, जबकि कोड की एक सरल रेखा का निष्पादन ~ 1 ns है। इसके अलावा, प्रोसेसर कोर प्रति प्रक्रियाओं की संख्या में वृद्धि के साथ, संदर्भ स्विचिंग के लिए ओवरहेड बढ़ेगा।

वेब सर्वर मॉडल

वर्तमान में, निम्न वेब सर्वर मॉडल मौजूद हैं:

मज़दूर
prefork
अतुल्यकालिक
संयुक्त

आइए उनमें से प्रत्येक पर अलग से चर्चा करें।

कार्यकर्ता और पूर्वगामी

ऐतिहासिक रूप से, इन मॉडलों के साथ, यह सब शुरू हुआ। सार बहुत सरल है : एक ग्राहक हमारे पास आता है, हम उसके लिए एक अलग हैंडलर का चयन करते हैं, जो आने वाले ग्राहक को शुरू से अंत तक संसाधित करता है। एक हैंडलर या तो एक प्रक्रिया (प्रीफ़ॉर्क) या एक धागा (कार्यकर्ता) हो सकता है। इस तरह के वेब सर्वर का एक उदाहरण प्रसिद्ध अपाचे है।

मैं तुरंत आरक्षण करूँगा: प्रत्येक ग्राहक के लिए एक नया हैंडलर बनाना महंगा है। सबसे पहले, लगातार कोर के साथ, प्रोसेसर की संख्या में वृद्धि से विलंबता (संदर्भ स्विच के कारण) में वृद्धि होती है। दूसरे, मेमोरी की आवश्यक मात्रा ग्राहकों की वृद्धि के साथ रैखिक रूप से बढ़ती है, क्योंकि भले ही आप मेमोरी-साझाकरण थ्रेड का उपयोग करते हैं, प्रत्येक थ्रेड का अपना स्टैक होता है। इस प्रकार, एक साथ संसाधित किए गए ग्राहकों की संख्या सीमित है।पूल का आकार, जो बदले में, प्रोसेसर कोर की संख्या पर निर्भर करता है। ऊर्ध्वाधर स्केलिंग विधियों का उपयोग करके समस्या को हल किया जाता है।

ऐसे सर्वरों का एक और मूलभूत दोष संसाधनों का गैर-इष्टतम उपयोग है। अधिकांश समय प्रक्रियाएं (या धागे) निष्क्रिय होती हैं । निम्नलिखित स्थिति की कल्पना करें: क्लाइंट प्रोसेसिंग के दौरान, हार्ड ड्राइव से कुछ डेटा लेना, डेटाबेस से अनुरोध करना या नेटवर्क पर कुछ लिखना आवश्यक है। चूंकि लिनक्स में हार्ड डिस्क से पढ़ना एक ब्लॉकिंग ऑपरेशन है , प्रक्रिया (या थ्रेड) एक प्रतिक्रिया के इंतजार में लटक जाएगी, लेकिन यह प्रोसेसर समय के आवंटन में अभी भी भाग लेगा।

वर्कर बनाम प्रीफ़ॉर्क

वर्कर और प्रीफ़ॉर्क के पास कुछ मूलभूत अंतर हैं। मेमोरी में स्ट्रीम कुछ अधिक किफायती हैं क्योंकि वे इसे साझा करते हैं। उसी कारण से, उनके बीच एक संदर्भ स्विच प्रक्रियाओं के बीच की तुलना में आसान है। हालांकि, एक कार्यकर्ता के मामले में, कोड बहु-थ्रेडेड हो जाता है, क्योंकि थ्रेड्स को सिंक्रनाइज़ किया जाना चाहिए। नतीजतन, हमें बहु-थ्रेडेड कोड के सभी "आकर्षण" मिलते हैं: इसे लिखना, पढ़ना, परीक्षण करना और डीबग करना अधिक कठिन हो जाता है।

अतुल्यकालिक मॉडल

इसलिए, कार्यकर्ता और प्रीफ़ॉर्क सीमित पूल आकार के कारण एक ही समय में बड़ी संख्या में ग्राहकों को संसाधित करने की अनुमति नहीं देते हैं, और संदर्भ स्विचिंग और सिस्टम कॉल को अवरुद्ध करने के कारण संसाधनों का बेहतर उपयोग नहीं करते हैं। जैसा कि आप देख सकते हैं, समस्या मल्टीथ्रेडिंग और एक भारी ओएस अनुसूचक है। यह निम्नलिखित विचार की ओर जाता है: चलो ग्राहकों को केवल एक धागे में संसाधित करते हैं, लेकिन इसे 100% पर लोड होने देते हैं।

ऐसे सर्वर एक ईवेंट लूप और एक रिएक्टर टेम्पलेट ( ईवेंट मशीन ) पर आधारित होते हैं । क्लाइंट कोड, I / O ऑपरेशन शुरू करने, कॉलबैक पंजीकृत करता हैएक प्राथमिकता कतार में (प्राथमिकता तत्परता समय है)। इवेंट लूप I / O के लिए प्रतीक्षा कर रहे डिस्क्रिप्टर को पोल करता है, और फिर प्राथमिकता (यदि उपलब्ध हो) को अपडेट करता है। इसके अलावा, ईवेंट लूप घटनाओं को प्राथमिकता कतार से बाहर खींचता है, जिसके कारण कॉलबैक अंत में ईवेंट लूप पर नियंत्रण लौटाता है।

यह मॉडल आपको संदर्भ स्विच करने के लिए ओवरहेड से बचने के लिए बड़ी संख्या में ग्राहकों को संभालने की अनुमति देता है । यह मॉडल सही नहीं है और इसके कई नुकसान हैं। सबसे पहले, एक से अधिक प्रोसेसर कोर का उपभोग नहीं किया जाता है , क्योंकि केवल एक प्रक्रिया है। यह एक संयुक्त मॉडल का उपयोग करके इलाज किया जाता है, जिसे नीचे चर्चा की जाएगी। दूसरे, ग्राहक इस प्रक्रिया से जुड़े हैं।। कोड को सावधानीपूर्वक लिखा जाना चाहिए। मेमोरी लीक, त्रुटियां इस तथ्य को जन्म देती हैं कि सभी ग्राहक एक ही बार में गिर जाते हैं। इसके अलावा, इस प्रक्रिया को कुछ भी अवरुद्ध नहीं किया जाना चाहिए, कॉलबैक में कुछ कठिन कार्यों को हल करने में शामिल नहीं होना चाहिए, क्योंकि सभी क्लाइंट अवरुद्ध हो जाएंगे। तीसरा, अतुल्यकालिक कोड अधिक जटिल है । अतिरिक्त कॉलबैक को पंजीकृत करने के लिए आवश्यक है कि डेटा नहीं आएगा, कैसे सही ढंग से शाखा, आदि की समस्या को हल करने के लिए।

संयुक्त मॉडल

इस मॉडल का उपयोग वास्तविक सर्वरों में किया जाता है। इस मॉडल में प्रक्रियाओं का एक पूल है, जिनमें से प्रत्येक में थ्रेड्स का एक पूल है, जिनमें से प्रत्येक, बदले में, अतुल्यकालिक इनपुट-आउटपुट के आधार पर एक प्रसंस्करण मॉडल का उपयोग करता है। Nginx एक संयुक्त मॉडल प्रस्तुत करता है।

निष्कर्ष

इस प्रकार, ऑपरेटिंग सिस्टम की मूल बातों की ओर मुड़ते हुए, हमने Apache और Nginx में उपयोग किए जाने वाले वेब सर्वर मॉडल के बीच वैचारिक मतभेदों की जांच की। उनमें से प्रत्येक के अपने फायदे और नुकसान हैं, इसलिए उनके संयोजन का उपयोग अक्सर उत्पादन में किया जाता है।

अतुल्यकालिक प्रसंस्करण का विचार आगे विकसित हुआ है: भाषा प्लेटफार्मों के स्तर पर, हरे रंग के धागे / फाइबर / गोरोइन की अवधारणाएं उत्पन्न हुई, जो आपको इनपुट और आउटपुट की अतुल्यकालिक "हुड के नीचे छिपाने" की अनुमति देती हैं, जिससे डेवलपर एक सुंदर तुल्यकालिक कोड के साथ खुश रहता है। हालाँकि, यह अवधारणा एक अलग लेख की हकदार है।

पाठ्यक्रम के बारे में अधिक जानें।

अतुल्यकालिक वेब सर्वर क्यों दिखाई दिए?