👨🏿‍🔬 ➿ 👩🏿‍🤝‍👩🏽 AWS में लागत में कटौती कैसे करें 🤦🏻 👊🏼 ⛓️

दुनिया नाटकीय रूप से बदल रही है। कई कंपनियां लागत में कटौती के लिए किसी भी तरह की तलाश कर रही हैं, बस जीवित रहने के लिए। इसी समय, ऑनलाइन सेवाओं पर बोझ तेज हो रहा है - विशेष रूप से दूरस्थ कार्य के आयोजन से संबंधित, वीडियो कॉन्फ्रेंस आयोजित करने और ऑनलाइन सीखने के लिए।

इन स्थितियों में, एक ओर, अत्यंत महत्वपूर्ण है, ताकि आपके बुनियादी ढांचे की विश्वसनीयता और मापनीयता सुनिश्चित हो सके। दूसरी ओर, ट्रैफ़िक के लिए सर्वर, डिस्क, भुगतान की खरीद के साथ पाइप में न उड़ें।

हम Bitrix24 में Amazon Web Services का उपयोग करने में बहुत सक्रिय हैं, और इस लेख में मैं कई AWS सुविधाओं के बारे में बात करूँगा जो आपकी लागत को कम करने में आपकी मदद कर सकती हैं।

Bitrix24 एक वैश्विक सेवा है, हम दुनिया भर के ग्राहकों के लिए काम करते हैं। 2015 के बाद से, व्यक्तिगत डेटा के स्थानीयकरण पर कानून 242-entry के प्रवेश के बाद से, रूसी उपयोगकर्ताओं के डेटा को रूस में सर्वर पर संग्रहीत किया जाता है। लेकिन दुनिया भर में शेष ग्राहकों की सेवा करने वाली सेवा का पूरा बुनियादी ढांचा अमेज़न वेब सेवाओं में तैनात है।

आर्थिक संकट पहले से ही एक फितरत है। डॉलर में वृद्धि हुई है और निकट भविष्य में अपने पिछले स्थान पर लौटने की संभावना नहीं है, इसलिए विदेशी मुद्रा में होस्टिंग के लिए भुगतान करना काफी महत्वपूर्ण हो जाता है।

इन स्थितियों में, यदि आप अपने संसाधनों को एडब्ल्यूएस में रखना जारी रखते हैं, तो आप सबसे अधिक उन तकनीकों में रुचि लेंगे जो आपको बुनियादी ढांचे को किराए पर लेने में मदद करेंगे।

मैं उन मुख्य चीजों के बारे में बात करूंगा जो हम खुद कई सालों से इस्तेमाल कर रहे हैं। यदि कोई अन्य विधियाँ हैं जो आप उपयोग करते हैं - कृपया टिप्पणियों में साझा करें।

तो चलते हैं।

आरआई - आरक्षित उदाहरण

AWS पर पैसे बचाने का सबसे आसान और स्पष्ट तरीका आरक्षित EC2 उदाहरणों का उपयोग करना है। यदि आप जानते हैं कि आप निश्चित रूप से कम से कम एक वर्ष के लिए कुछ उदाहरणों का उपयोग करेंगे, तो आप उनके लिए अग्रिम भुगतान कर सकते हैं और 30% से 75% तक छूट प्राप्त कर सकते हैं।

C5.xlarge उदाहरणों के लिए गणना का उदाहरण:

सभी मूल्य और गणना यहाँ हैं ।

कभी-कभी यह जटिल और भ्रामक लगता है, लेकिन सामान्य तौर पर, तर्क यह है:

अब आरक्षण की अवधि - 1 या 3 वर्ष - अधिक से अधिक छूट।
अधिक पूर्व भुगतान तुरंत - आप इसे बिना किसी पूर्व भुगतान के कर सकते हैं, आप सभी पूर्ववर्ती, पूर्ण पूर्व भुगतान का उपयोग कर सकते हैं - अधिक से अधिक छूट।
यदि हम एक विशिष्ट प्रकार का उदाहरण आरक्षित करते हैं, लेकिन एक परिवर्तनीय का उपयोग नहीं करते हैं, तो अधिक छूट है।

खुद के लिए, हम 1 साल के लिए आरक्षण करते हैं, क्योंकि 3 साल की योजना बनाना काफी मुश्किल है। और इससे EC2 पर अच्छी बचत होती है।

स्पॉट उदाहरण

स्पॉट इंस्टेंस का उपयोग करना अनिवार्य रूप से किसी प्रकार का संसाधन विनिमय है। जब अमेज़ॅन के पास बहुत सारे बेकार संसाधन होते हैं, तो आप अधिकतम मूल्य निर्धारित कर सकते हैं जो आप उनके लिए विशेष "स्पॉट इंस्टेंस" के लिए भुगतान करने के लिए तैयार हैं।

यदि एक निश्चित क्षेत्र और AZ (उपलब्धता क्षेत्र) में वर्तमान मांग छोटी है, तो ये संसाधन आपको प्रदान किए जाएंगे। इसके अलावा, ऑन-डिमांड की कीमत से 3-8 गुना कम कीमत पर।

क्या चालबाजी है?

केवल एक चीज यह है कि अगर कोई मुफ्त क्षमता नहीं है, तो अनुरोध किए गए संसाधन आपको नहीं दिए जाएंगे। और यदि मांग तेजी से बढ़ती है और स्पॉट प्राइस आपके सेट की अधिकतम कीमत से अधिक हो जाता है, तो आपका स्पॉट समाप्त हो जाएगा।

स्वाभाविक रूप से, ऐसे उदाहरण उपयुक्त नहीं हैं, उदाहरण के लिए, उत्पादन में डेटाबेस के लिए। लेकिन कुछ कार्यों के लिए जो जुड़े हुए हैं, उदाहरण के लिए, कुछ गणनाओं के साथ, परीक्षणों के लिए मॉडल की गणना, प्रतिपादन, बचाने के लिए एक शानदार तरीका है।

आइए देखें कि हम किन राशियों के लिए लड़ रहे हैं। और कितनी बार एक कीमत पर "दूर जाना" कर सकते हैं।

C5.4xlarge इंस्टेंसेस के लिए यूरोप-सेंट्रल -1 क्षेत्र (फ्रैंकफर्ट) के लिए AWS कंसोल से सीधे स्पॉट इंस्टेंस मूल्य निर्धारण इतिहास का एक उदाहरण है:

हम क्या देखते हैं?

कीमत ऑन डिमांड से करीब 3 गुना कम है।
इस क्षेत्र में सभी तीन AZs में उपलब्ध स्पॉट उदाहरण हैं।
तीन महीने के लिए, कीमत कभी नहीं बढ़ी है। इसका मतलब यह है कि एक स्थान तीन महीने पहले दिए गए अधिकतम मूल्य के साथ लॉन्च किया गया था, उदाहरण के लिए, $ 0.3, अभी भी काम करना जारी रखेगा।

हम अभ्यास में स्पॉट का उपयोग कैसे करते हैं:

- हम एप्लिकेशन सर्वर के लिए स्पॉट का उपयोग करते हैं।

- उनके लिए, हम क्लाउड-ऑटो + ऑटो स्केलिंग बंडल का सक्रिय रूप से उपयोग कर रहे हैं - दिन भर में स्वचालित रूप से स्केल करने के लिए: लोड बढ़ता है - नए इंस्टेंसेस लॉन्च किए जाते हैं, लोड गिरता है - वे बुझ जाते हैं।

- सुरक्षा के लिए, हमारे पास दो ऑटो स्केलिंग समूह हैं जो बैलेन्सर के लिए काम कर रहे हैं - यदि स्पॉट बाहर निकलता है। एक एएस समूह - सामान्य (मांग पर) उदाहरणों के साथ, दूसरा - स्पॉट के साथ। CloudWatch इवेंट्स के माध्यम से अमेज़ॅन 2 मिनट में चेतावनी देता है कि स्पॉट उदाहरण को हटा दिया जाएगा (समाप्त)। हम इन घटनाओं को संसाधित करते हैं और यदि आवश्यक होता है तो मुख्य समूह को आवश्यक संख्या में विस्तार करने का प्रबंधन करते हैं।

यहाँ विवरण - स्पॉट इंस्टेंस रुकावट नोटिस ।

- ऑटो स्केलिंग के साथ अधिक कुशलता से काम करने के लिए और समूह में मशीनों का उपयोग अधिकतम स्थानों पर करने के लिए, हम इस दृष्टिकोण का उपयोग करते हैं:

स्पॉट समूह में ऊपरी ऊपरी ट्रैशहोल्ड है - हम पहले "ऊपर" स्केल करना शुरू करते हैं।
और निचले निचले ट्रैशहोल्ड - हम बाद में "डाउन" स्केल करना शुरू करते हैं।
एक नियमित समूह के लिए, विपरीत सच है।

EC2 इंस्टेंस स्टोर

हर कोई जो एडब्ल्यूएस के साथ काम करता है, वह जानता है कि ईसी 2 उदाहरणों के लिए उपयोग किए जाने वाले मुख्य ड्राइव ईबीएस (इलास्टिक ब्लॉक स्टोर) हैं। उन्हें इंस्टेंसेस पर रखा जा सकता है, अक्षम किया जा सकता है, अन्य इंस्टेंस पर रखा जा सकता है, उनसे स्नैपशॉट लिया जा सकता है।

उनके प्रकार के आधार पर सभी ईबीएस को एक या दूसरे तरीके से चार्ज किया जाता है। और वे काफी ठोस पैसे खर्च करते हैं।

इसी समय, उन्हें बनाते समय कई प्रकार के उदाहरणों के लिए, स्थानीय डिस्क का कनेक्शन उपलब्ध है - EC2 इंस्टेंस स्टोर ।

इन डिस्क की मुख्य विशेषता यह है कि यदि आप इस तरह के डिस्क के साथ इंस्टेंस को रोकते हैं, तो शुरुआत के बाद यह डेटा खो जाता है।

लेकिन एक ही समय में वे सशर्त रूप से स्वतंत्र हैं - केवल उदाहरण के लिए ही भुगतान है।

इस तरह के डिस्क का उपयोग किसी भी अस्थायी डेटा के लिए पूरी तरह से किया जा सकता है, जिसे निरंतर भंडारण की आवश्यकता नहीं होती है - स्वैप, कैश, किसी भी अन्य अस्थायी डेटा। इंस्टेंस स्टोर ड्राइव का प्रदर्शन काफी अधिक है: बहुत पुराने प्रकार के इंस्टेंस के अलावा, अब एसएसडी या एनवीएमई एसएसडी का उपयोग उनके लिए किया जाता है।

परिणामस्वरूप: हम कम ईबीएस डिस्क कनेक्ट करते हैं, हम कम भुगतान करते हैं।

S3 अपूर्ण मल्टीपार्ट अपलोड

उपरोक्त चर्चा मुख्य रूप से EC2 के बारे में थी। आगे, हम कुछ ट्रिक्स का वर्णन करते हैं जो S3 (सिंपल स्टोरेज सर्विस) का उपयोग करते समय बचाएगा।

यदि आप सक्रिय रूप से S3 के साथ काम कर रहे हैं, तो आप शायद जानते हैं कि S3 और अधिकांश क्लाइंट इस स्टोरेज सपोर्ट के साथ काम करने के लिए मल्टीपार्ट अपलोड - एक बड़ी वस्तु को "टुकड़ों" से लोड किया गया है, जो तब एक ही ऑब्जेक्ट में "इकट्ठे" होते हैं।

यह महान काम करता है, लेकिन एक घात है।

यदि डाउनलोड किसी कारण से पूरा नहीं हुआ है (कनेक्शन बाधित हो गया था, उदाहरण के लिए, और डाउनलोड फिर से शुरू नहीं हुआ), तो डाउनलोड किए गए हिस्से खुद से हटाए नहीं जाते हैं। हालांकि, वे जगह लेते हैं, आप उनके लिए भुगतान करते हैं।

और एक अप्रिय आश्चर्य - एस 3 के लिए मानक टूल के साथ काम करते समय यह अधूरा डेटा बिल्कुल भी दिखाई नहीं देता है: न तो "एलएस" के माध्यम से, न ही क्लाइंट प्रोग्राम्स में। आप उन्हें खोज सकते हैं, उदाहरण के लिए, सूची-मल्टीपार्ट-अपलोड कमांड का उपयोग करके क्लिक्स में ।

लेकिन उनके साथ काम करना बहुत थकाने वाला है ...

किसी विशेष बाल्टी की सेटिंग में अधूरे मल्टीपार्ट अपलोड अपलोड करने के बारे में कुछ विकल्प निकालना सबसे तर्कसंगत होगा। लेकिन किसी कारण के लिए, अमेज़न नहीं किया।

फिर भी, आपके जीवन को आसान बनाने और अधूरे मल्टीपार्ट अपलोड को स्वचालित रूप से हटाने का एक तरीका है। प्रबंधन टैब पर बाल्टी सेटिंग्स में, एक जीवनचक्र अनुभाग है। यह एक सुविधाजनक उपकरण है जो आपको वस्तुओं के साथ काम करने के लिए विभिन्न स्वचालित नियमों को कॉन्फ़िगर करने की अनुमति देता है: उन्हें अन्य रिपॉजिटरी में स्थानांतरित करें, उन्हें कुछ समय बाद समाप्त करें (समाप्त करें), और - सहित - अपूर्ण मल्टीपार्ट अपलोड के व्यवहार को नियंत्रित करें।

इस पर एक विस्तृत लेख एडब्ल्यूएस ब्लॉग पर है - हालांकि पुराने इंटरफ़ेस से उदाहरण के साथ, लेकिन सब कुछ बहुत स्पष्ट है।

महत्वपूर्ण बात यह है कि अपूर्ण डेटा को हटाने के लिए कॉन्फ़िगर किया गया जीवनचक्र न केवल नई वस्तुओं के लिए, बल्कि मौजूदा लोगों के लिए भी काम करेगा।

S3 में कब्जे वाले अंतरिक्ष की वास्तविक मात्रा की निगरानी CloudWatch के माध्यम से की जा सकती है। जब हमने अधूरे मल्टीपार्ट अपलोड को हटाने की स्थापना की, तो हमें यह जानकर आश्चर्य हुआ कि हमने एक दर्जन से अधिक लबों को मुक्त कर दिया ...

S3 इंटेलिजेंट Tiering

S3 में कई अलग-अलग स्टोरेज क्लास हैं:

स्टैंडर्ड।
मानक-आईए (अक्सर पहुंच वाले) - उन वस्तुओं के लिए जो शायद ही कभी एक्सेस किए जाते हैं।
वन ज़ोन- IA - अपेक्षाकृत गैर-महत्वपूर्ण डेटा के लिए। इस वर्ग में, वस्तुओं को कम बिंदुओं पर दोहराया जाता है।
ग्लेशियर एक बहुत ही सस्ता भंडारण है, लेकिन आपको इससे तुरंत कोई वस्तु नहीं मिल सकती है। आपको एक विशेष अनुरोध करने और थोड़ी देर प्रतीक्षा करने की आवश्यकता है।

इन सभी में उपयोग की अलग-अलग शर्तें और अलग-अलग मूल्य हैं। वे आपके विभिन्न कार्यों के आधार पर संयुक्त हो सकते हैं और होने चाहिए।

लेकिन अपेक्षाकृत हाल ही में, एक और बहुत ही दिलचस्प प्रकार का भंडारण दिखाई दिया है - इंटेलिजेंट टेरिंग।

उनके काम का सार इस प्रकार है: एक छोटे से अतिरिक्त शुल्क के लिए, S3 में आपके डेटा की निगरानी और विश्लेषण किया जाता है, उन पर कॉल की निगरानी की जाती है, और यदि 30 दिनों के भीतर कोई कॉल नहीं है, तो ऑब्जेक्ट स्वचालित रूप से अनैतिक भंडारण के लिए ले जाया जाता है, जो मानक एक की तुलना में बहुत सस्ता है। यदि कुछ समय बाद ऑब्जेक्ट फिर से एक्सेस किया जाता है - एक ही समय में कोई प्रदर्शन हानि नहीं होती है - इसे फिर से मानक एक्सेस रिपॉजिटरी में ले जाया जाता है।

सबसे महत्वपूर्ण सुविधा: आपको खुद कुछ नहीं करना है।

अमेज़ॅन सब कुछ "स्मार्ट तरीके से" करेगा - यह पता लगाएगा कि किन वस्तुओं को कहाँ रखा जाए।

इंटेलिजेंट Tiering को सक्षम करके, हमने कुछ बाल्टियों पर 10-15% तक की बचत की।

सब कुछ बहुत अच्छा और जादुई लगता है। लेकिन क्या कुछ नुकसान नहीं हो सकता है? वे, और वे, निश्चित रूप से, ध्यान में रखा जाना चाहिए।

निगरानी सुविधाओं के लिए एक अतिरिक्त शुल्क है। हमारे मामले में, यह पूरी तरह से बचत से आच्छादित है।
आप किसी भी ऑब्जेक्ट के लिए इंटेलिजेंट Tiering का उपयोग कर सकते हैं। हालांकि, 128 Kb से कम की वस्तुओं को कभी-कभी अनैतिक पहुँच स्तर पर स्थानांतरित नहीं किया जाएगा और हमेशा नियमित मूल्य पर भुगतान किया जाएगा।
30 दिनों से कम संग्रहित वस्तुओं के लिए उपयुक्त नहीं है। इस तरह की वस्तुओं को अभी भी कम से कम 30 दिनों के लिए अग्रिम भुगतान किया जाएगा।

इंटेलिजेंट टेररिंग को कैसे सक्षम करें?

आप स्पष्ट रूप से S3 API या CLI में संग्रहण वर्ग INTELLIGENT_TIERING निर्दिष्ट कर सकते हैं।

और आप जीवनचक्र नियम को कॉन्फ़िगर कर सकते हैं, जिसके अनुसार, उदाहरण के लिए, एक निश्चित भंडारण समय के बाद सभी वस्तुओं को स्वचालित रूप से इंटेलिजेंट टेरिंग में ले जाया जाएगा।

उसी एडब्ल्यूएस ब्लॉग पर और पढ़ें ।

हिमनद

यदि हम S3 में भंडारण के विभिन्न वर्गों के बारे में बात कर रहे हैं, तो, निश्चित रूप से, ग्लेशियर भी ध्यान देने योग्य है ।

यदि आपके पास ऐसे डेटा हैं जिन्हें महीनों और वर्षों तक संग्रहीत करने की आवश्यकता है, लेकिन जिस तक पहुंच बेहद दुर्लभ है - उदाहरण के लिए, लॉग, बैकअप - तो ग्लेशियर का उपयोग करने पर विचार करना सुनिश्चित करें। इसके उपयोग की कीमत मानक S3 से कई गुना कम है।

ग्लेशियर के साथ सुविधाजनक काम के लिए, आप समान जीवनचक्र नियमों का उपयोग कर सकते हैं।

उदाहरण के लिए, आप एक नियम निर्धारित कर सकते हैं जिसके द्वारा किसी वस्तु को कुछ समय के लिए नियमित भंडारण में रखा जाएगा, उदाहरण के लिए, 30-60 दिन (आमतौर पर समय में निकटतम लॉग या बैकअप की आवश्यकता होती है, अगर हम उनके भंडारण के बारे में बात करते हैं), तो इसे स्थानांतरित कर दिया जाएगा। ग्लेशियर, और 1-2-3 के बाद ... साल - पूरी तरह से हटा दिया गया।

यह केवल S3 में स्टोर करने की तुलना में बहुत सस्ता होगा।

* * *

मैंने कुछ तरकीबों के बारे में बात की, जिनका हम खुद सक्रिय रूप से उपयोग कर रहे हैं। AWS एक बहुत बड़ा इंफ्रास्ट्रक्चर प्लेटफॉर्म है। निश्चित रूप से, हमने आपके द्वारा उपयोग की जाने वाली किसी भी सेवा के बारे में बात नहीं की। यदि AWS में बचत के अन्य तरीके हैं जो आपके लिए उपयोगी हैं, तो कृपया टिप्पणियों में साझा करें।