🚆 👨🏿‍🤝‍👨🏻 👨🏾‍🏫 अपनी CDN बनाएँ और कस्टमाइज़ करें 🎂 ⚕️ 🧐

सामग्री वितरण नेटवर्क (सीडीएन) का उपयोग साइटों पर और अनुप्रयोगों में मुख्य रूप से स्थैतिक तत्वों के लोडिंग को तेज करने के लिए किया जाता है। यह विभिन्न भौगोलिक क्षेत्रों में स्थित सीडीएन सर्वरों पर कैशिंग फ़ाइलों के कारण होता है। CDN के माध्यम से डेटा का अनुरोध करने के बाद, उपयोगकर्ता इसे निकटतम सर्वर से प्राप्त करता है।

सभी सामग्री वितरण नेटवर्क के संचालन और कार्यक्षमता का सिद्धांत लगभग समान है। किसी फ़ाइल को डाउनलोड करने का अनुरोध प्राप्त करने के बाद, सीडीएन सर्वर एक बार इसे मूल सर्वर से लेता है और उपयोगकर्ता को देता है, साथ ही एक निश्चित समय के लिए कैशिंग भी करता है। बाद के सभी अनुरोध कैश से उत्तर दिए गए हैं। सभी CDN में फ़ाइलों को प्रीलोड करने, कैश साफ़ करने, उसकी अवधारण अवधि निर्धारित करने और बहुत कुछ करने के विकल्प होते हैं।

ऐसा होता है कि एक कारण या किसी अन्य के लिए आपको अपने स्वयं के सामग्री वितरण नेटवर्क को व्यवस्थित करने की आवश्यकता होती है, और फिर - हम आपको एक और बाइक बनाने में मदद करते हैं।

^{स्रोत: pikisuperstar द्वारा निर्मित भौगोलिक वेक्टर - www.freepik.com}

जब आपको अपनी स्वयं की CDN की आवश्यकता हो

अपने स्वयं के CDN को शुरू करने के समय मामलों पर विचार करें:

जब आप पैसा बचाना चाहते हैं, और चलने की लागत भी कम कर रहे हैं तो बनी सीडीएन जैसी सस्ती सीडीएन एक महीने में कई सौ डॉलर हैं
अगर हम सर्वर और चैनल पर पड़ोसियों के बिना एक स्थायी कैश या कैश प्राप्त करना चाहते हैं
आपको जिस क्षेत्र की आवश्यकता है, वहां CDN सेवाओं की उपस्थिति के कोई बिंदु नहीं हैं
किसी भी विशेष सामग्री वितरण सेटिंग्स की आवश्यकता है
हम उत्पादन सर्वर के उपयोगकर्ताओं के करीब रखकर गतिशील सामग्री के वितरण में तेजी लाना चाहते हैं
ऐसी आशंका है कि तृतीय-पक्ष CDN सेवा गैरकानूनी रूप से उपयोगकर्ता के व्यवहार के बारे में जानकारी एकत्र कर सकती है या उसका उपयोग कर सकती है (GDPR-compliant के बिना सेवाओं के लिए) या अन्य अवैध कार्यों में संलग्न है

अधिकांश अन्य मामलों में, मौजूदा तैयार समाधानों का उपयोग करना अधिक उचित है।

आपको चलाने के लिए क्या चाहिए

यदि आपके पास अपनी स्वायत्त प्रणाली (एएस) है तो यह अद्भुत है। इसके साथ, आप एक ही आईपी को कई सर्वरों को असाइन कर सकते हैं और उपयोगकर्ताओं को निकटतम में प्रत्यक्ष करने के लिए नेटवर्क स्तर पर इस निर्देश का पालन कर सकते हैं । यह कहने योग्य है कि पते के ब्लॉक / 24 के साथ भी, सामग्री वितरण नेटवर्क बनाना संभव है। कुछ सर्वर प्रदाता आपको उनके लिए उपलब्ध सभी क्षेत्रों में उपयोग के लिए एक घोषणा करने की अनुमति देते हैं।

यदि आप IP पतों के ब्लॉक के खुश मालिक नहीं हैं, तो एक साधारण CDN चलाने के लिए आपको आवश्यकता होगी:

. ,
geoDNS . , ,

डोमेन पंजीकरण के साथ, सब कुछ सरल है - किसी भी रजिस्ट्रार के साथ किसी भी क्षेत्र में पंजीकृत करें। आप सीडीएन के लिए एक उपडोमेन का उपयोग भी कर सकते हैं, जैसे कि cdn.ameomain.com । वास्तव में हमारे उदाहरण में, हम ऐसा करेंगे।

सर्वरों को ऑर्डर करने के लिए, उन्हें उन क्षेत्रों और देशों में किराए पर लिया जाना चाहिए जहां आपके उपयोगकर्ता ऑडियंस स्थित हैं। यदि परियोजना अंतरमहाद्वीपीय है, तो उन होस्टिंग प्रदाताओं को चुनना सुविधाजनक है जो दुनिया भर में तुरंत सर्वर प्रदान करते हैं। उदाहरण: OVH , Leaseweb, और 100Tb समर्पित सर्वर के लिए, Vultr और DigitalOcean आभासी बादल के लिए *।

हमारे निजी सीडीएन के लिए हम विभिन्न महाद्वीपों पर 3 वर्चुअल सर्वर का आदेश देते हैं। पर vultr$ 5 / माह के सर्वर पर हमें 25GB SSD स्पेस और 1TB ट्रैफिक मिलता है । इंस्टॉल करते समय, नवीनतम डेबियन का चयन करें। हमारे सर्वर:

फ्रैंकफर्ट , आईपी: 199.247.18.199

शिकागो , आईपी: 149.28.121.123

सिंगापुर , आईपी: 157.230.240.216

^{* Vultr और DigitalOcean भुगतान विधि जोड़ने के तुरंत बाद लेख में लिंक का उपयोग करके पंजीकृत उपयोगकर्ताओं को $ 100 का ऋण देने का वादा करते हैं। लेखक को इससे एक छोटी सी प्रशंसा भी मिलती है, जो अब उसके लिए बहुत महत्वपूर्ण है। कृपया समझ रहे हैं।}

जियोएनएसएनएस को कॉन्फ़िगर करें

ताकि जब कोई उपयोगकर्ता CDN डोमेन या उपडोमेन पर पहुँचता है, तो उसे वांछित (उसके सबसे निकट) सर्वर पर निर्देशित किया जाता है, हमें जियोएनएस फ़ंक्शन के साथ DNS सर्वर की आवश्यकता होती है।

भू-विज्ञान का सिद्धांत और प्रक्रिया निम्नानुसार है:

DNS अनुरोध भेजने वाले क्लाइंट का IP, या क्लाइंट अनुरोध को संसाधित करने के लिए उपयोग किए जाने वाले पुनरावर्ती DNS सर्वर के IP को परिभाषित करता है। ये पुनरावर्ती सर्वर आमतौर पर DNS प्रदाता होते हैं।
आईपी क्लाइंट द्वारा अपने देश या क्षेत्र को जानता है। इसके लिए, जियोआईपी बेस का उपयोग किया जाता है, जिनमें से कई आज भी हैं। कुछ अच्छे मुफ्त विकल्प हैं ।
क्लाइंट के स्थान के आधार पर, वह उसे निकटतम सीडीएन सर्वर का आईपी पता देता है।

आप कर सकते हैं एक निर्माण DNS सर्वर के साथ geoDNS ढंग से काम अपने आप को , लेकिन यह दुनिया और चारों ओर डीएनएस सर्वर के एक नेटवर्क के साथ पहले से तैयार समाधान का उपयोग करने के लिए बेहतर है एनीकास्ट बॉक्स से बाहर:

louDNS से $ 9.95 / माह , GeoDNS टैरिफ, डिफ़ॉल्ट रूप से वहाँ है एक DNS फ़ेलओवर
$ 25 / माह से Zilore , DNS Failover सक्षम
अमेज़न का 53 से $ 35 / मो 50M शुद्ध भू-अनुरोधों के लिए। DNS विफलता का शुल्क अलग से लिया जाता है
$ 125 / मो से डीएनएस मेड ईज़ी , 10 डीएनएस फेलओवर हैं
Cloudflare , Geo Steering Feature एंटरप्राइज़ दरों में उपलब्ध है

जियोएनएस को आदेश देते समय, आपको टैरिफ में शामिल अनुरोधों की संख्या पर ध्यान देना चाहिए और ध्यान रखना चाहिए कि डोमेन पर कॉल की वास्तविक संख्या कई बार अपेक्षाओं को पार कर सकती है। लाखों मकड़ियों, स्कैनर, स्पैमर और अन्य बुरी आत्माएं बिना थके काम करती हैं।

लगभग सभी DNS सेवाओं में CDN सेवा - DNS Failover के निर्माण के लिए एक अनिवार्य है। इसका उपयोग करते हुए, आप अपने सर्वर की निगरानी को कॉन्फ़िगर कर सकते हैं और, जीवन के संकेतों की अनुपस्थिति में, DNS उत्तरों में बैकअप सर्वर के साथ गैर-कार्यशील सर्वर पते को स्वचालित रूप से बदल सकते हैं।

हमारे CDN के निर्माण के लिए, हम ClouDNS , GeoDNS टैरिफ का उपयोग करेंगे ।

अपने डोमेन को इंगित करते हुए, अपने खाते में एक नया DNS ज़ोन जोड़ें। यदि हम एक उपडोमेन पर सीडीएन का निर्माण करेंगे, और मुख्य डोमेन पहले से ही उपयोग में है, तो ज़ोन को जोड़ने के तुरंत बाद, मौजूदा कार्यशील डीएनएस रिकॉर्ड को जोड़ना न भूलें। अगला कदम सीडीएन डोमेन / उपडोमेन के लिए कई ए-रिकॉर्ड बनाना है, जिनमें से प्रत्येक उस क्षेत्र पर लागू होगा जिसे हमने सेट किया है। आप महाद्वीपों या देशों को क्षेत्रों के रूप में निर्दिष्ट कर सकते हैं, उप-क्षेत्र यूएसए और कनाडा के लिए उपलब्ध हैं।

हमारे मामले में, सीडीएन को cdn.sayt.in सबडोमेन पर उठाया जाएगा । Sayt.in ज़ोन जोड़कर , उपडोमेन के लिए पहला A रिकॉर्ड बनाएं और उत्तरी अमेरिका के सभी शिकागो में सर्वर को निर्देशित करें:

अन्य क्षेत्रों के लिए दोहराएं, डिफ़ॉल्ट क्षेत्रों के लिए एक प्रविष्टि बनाने के लिए याद रखना। यहाँ परिणाम है:

स्क्रीनशॉट में अंतिम डिफ़ॉल्ट रिकॉर्ड का मतलब है कि सभी अनस्पोकन क्षेत्र (और यह यूरोप, अफ्रीका, उपग्रह इंटरनेट उपयोगकर्ता, आदि) फ्रैंकफर्ट में एक सर्वर पर भेजा जाएगा।

यह मूल DNS कॉन्फ़िगरेशन को पूरा करता है। यह डोमेन रजिस्ट्रार की वेबसाइट पर जाने और ClouDNS द्वारा जारी किए गए उन लोगों के साथ वर्तमान डोमेन एनएस की जगह लेने के लिए बना हुआ है। और जब एनएस अपडेट किया जाएगा तो हम सर्वर तैयार करेंगे।

SSL प्रमाणपत्र स्थापित करें

हमारी CDN HTTPS पर काम करेगी, इसलिए यदि आपके पास पहले से ही किसी डोमेन या उपडोमेन के लिए SSL प्रमाणपत्र हैं, तो उन्हें सभी सर्वरों पर अपलोड करें, उदाहरण के लिए, निर्देशिका / etc / ssl / yourdomain में /

यदि कोई प्रमाण पत्र नहीं हैं, तो आप लेट्स एनक्रिप्ट से मुक्त प्राप्त कर सकते हैं। एसीएमई शैल स्क्रिप्ट इसके लिए एकदम सही है । क्लाइंट सुविधाजनक और कॉन्फ़िगर करने में आसान है, और सबसे महत्वपूर्ण बात यह है - आपको ClouDNS से एपीआई के माध्यम से DNS के लिए डोमेन / उप डोमेन को मान्य करने की अनुमति देता है।

हम acme.sh को केवल एक सर्वर पर स्थापित करेंगे - यूरोपीय 199.247.18.199, जिसमें से प्रमाणपत्र अन्य सभी को कॉपी किया जाएगा। स्थापित करने के लिए, करें:

root@cdn:~# wget -O - https://get.acme.sh | bash; source ~/.bashrc

स्क्रिप्ट की स्थापना के दौरान, हमारी भागीदारी के बिना प्रमाणपत्रों के नवीनीकरण के लिए एक CRON कार्य बनाया जाएगा।

प्रमाणपत्र जारी करते समय डोमेन सत्यापन एपीआई का उपयोग करके DNS का उपयोग करके किया जाएगा, इसलिए, पुनर्विक्रेता एपीआई मेनू में ClouDNS व्यक्तिगत खाते में, आपको एक नया उपयोगकर्ता एपीआई बनाने और इसके लिए एक पासवर्ड सेट करने की आवश्यकता है। पासवर्ड के परिणामस्वरूप परिणामी-आईडी फ़ाइल में लिखा है ~ / .acme.sh / dnsapi / dns_cloudns.sh ( dns_clou d dns.sh फ़ाइल के साथ भ्रमित नहीं होना )। यहाँ लाइनों को अनकम्प्रेस्ड और एडिट किया गया है:

CLOUDNS_AUTH_ID=<auth-id>
CLOUDNS_AUTH_PASSWORD="<>"

अब हम cdn.sayt.in के लिए एसएसएल सर्टिफिकेट मांगते हैं

root@cdn:~# acme.sh --issue --dns dns_cloudns -d cdn.sayt.in --reloadcmd "service nginx reload"

भविष्य के लिए मापदंडों में, हमने भविष्य में प्रमाण पत्र की वैधता अवधि के प्रत्येक नवीनीकरण के बाद वेब सर्वर कॉन्फ़िगरेशन को स्वचालित रूप से पुनः लोड करने के लिए एक कमांड निर्दिष्ट किया।

प्रमाण पत्र प्राप्त करने की पूरी प्रक्रिया में 2 मिनट लग सकते हैं, इसे बाधित न करें। यदि डोमेन सत्यापन त्रुटि होती है, तो फिर से कमांड चलाने का प्रयास करें। अंत में, हम देखेंगे कि प्रमाणपत्र कहाँ अपलोड किए गए थे:

इन रास्तों को याद रखें, प्रमाणपत्र को अन्य सर्वरों के साथ-साथ वेब सर्वर सेटिंग्स में कॉपी करते समय उन्हें निर्दिष्ट करने की आवश्यकता होगी। हम Nginx config फ़ाइलों को फिर से लोड करने की त्रुटि पर ध्यान नहीं देते हैं - पूरी तरह से कॉन्फ़िगर किए गए सर्वर पर यह प्रमाण पत्र को नवीनीकृत करते समय मौजूद नहीं होगा।

एसएसएल पर हमारे लिए जो कुछ भी रहता है वह प्राप्त प्रमाणपत्र को दो अन्य सर्वरों पर कॉपी करना है, जो फ़ाइलों को पथ को सहेजता है। उनमें से प्रत्येक पर एक ही निर्देशिका बनाएं और एक प्रति बनाएं:

root@cdn:~# mkdir -p /root/.acme.sh/cdn.sayt.in/
root@cdn:~# scp -r root@199.247.18.199:/root/.acme.sh/cdn.sayt.in/* /root/.acme.sh/cdn.sayt.in/

ताकि प्रमाणपत्र नवीनीकरण नियमित हो, हम कमांड के साथ दोनों सर्वरों पर एक दैनिक CRON कार्य बनाएंगे:

scp -r root@199.247.18.199:/root/.acme.sh/cdn.sayt.in/* /root/.acme.sh/cdn.sayt.in/ && service nginx reload

इस स्थिति में, दूरस्थ स्रोत सर्वर तक पहुंच कुंजी द्वारा कॉन्फ़िगर की जानी चाहिए , अर्थात। पासवर्ड डाले बिना। इसे करना न भूलें।

स्थापित करें और Nginx को कॉन्फ़िगर करें

स्थैतिक सामग्री वापस करने के लिए, हम कैशिंग प्रॉक्सी सर्वर के रूप में कॉन्फ़िगर किए गए Nginx का उपयोग करेंगे। संकुल की सूची को अद्यतन करें और इसे तीनों सर्वरों पर स्थापित करें:

root@cdn:~# apt update
root@cdn:~# apt install nginx

डिफ़ॉल्ट के बजाय, नीचे दिए गए स्पॉइलर से कॉन्फिगर का उपयोग करें:

nginx.conf

user www-data;
worker_processes auto;
pid /run/nginx.pid;

events {
    worker_connections 4096;
    multi_accept on;
}

http {
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    types_hash_max_size 2048;

    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    access_log off;
    error_log /var/log/nginx/error.log;

    gzip on;
    gzip_disable "msie6";
    gzip_comp_level 6;
    gzip_proxied any;
    gzip_vary on;
    gzip_types text/plain application/javascript text/javascript text/css application/json application/xml text/xml application/rss+xml;
    gunzip on;            

    proxy_temp_path    /var/cache/tmp;
    proxy_cache_path   /var/cache/cdn levels=1:2 keys_zone=cdn:64m max_size=20g inactive=7d;
    proxy_cache_bypass $http_x_update;

server {
  listen 443 ssl;
  server_name cdn.sayt.in;

  ssl_certificate /root/.acme.sh/cdn.sayt.in/cdn.sayt.in.cer;
  ssl_certificate_key /root/.acme.sh/cdn.sayt.in/cdn.sayt.in.key;

  location / {
    proxy_cache cdn;
    proxy_cache_key $uri$is_args$args;
    proxy_cache_valid 90d;
    proxy_pass https://sayt.in;
    }
  }
}

कॉन्फ़िगरेशन में, संपादित करें:

max_size - उपलब्ध डिस्क स्थान से अधिक कैश आकार नहीं
कैश्ड डेटा के लिए निष्क्रिय - भंडारण समय जो किसी ने एक्सेस नहीं किया
ssl_certificate और ssl_certificate_key - एसएसएल प्रमाणपत्र और कुंजी फ़ाइलों के लिए पथ
छद्म डेटा के लिए भंडारण का समय
प्रॉक्सी_पास - मूल सर्वर का पता जिससे सीडीएन कैशिंग के लिए फाइल का अनुरोध करेगा। हमारे उदाहरण में, यह sayt.in है

जैसा कि आप देख सकते हैं, सब कुछ सरल है। निष्क्रिय और छद्म_शिल्पी निर्देशों की समानता के कारण कैश समय निर्धारित करने में जटिलता उत्पन्न हो सकती है । हम अपने उदाहरण में उनका विश्लेषण करेंगे। यहाँ निष्क्रिय = 7d और xy_cache_valid 90d के साथ क्या होता है :

यदि अनुरोध 7 दिनों के भीतर दोहराया नहीं जाता है, तो इस अवधि के बाद कैश से डेटा हटा दिया जाएगा
यदि अनुरोध को हर 7 दिनों में कम से कम एक बार दोहराया जाता है, तो कैश में डेटा 90 दिनों के बाद पुराना माना जाएगा और अगले अनुरोध पर Nginx इसे मूल सर्वर से ले जाकर अपडेट करेगा

Nginx.conf संपादन समाप्त करने के बाद , कॉन्फ़िगरेशन पुनः लोड करें:

root@cdn:~# service nginx reload

हमारी सीडीएन पूरी तरह से तैयार है। $ 15 / महीने के लिए हमें तीन महाद्वीपों और 3 टीबी ट्रैफ़िक पर उपस्थिति के बिंदु मिले: प्रत्येक स्थान पर 1 टीबी।

सीडीएन के संचालन की जाँच करना

आइए हमारे सीडीएन को विभिन्न भौगोलिक स्थानों से पिंग्स को देखें। इसके लिए, कोई भी पिंग सेवाएं उपयुक्त हैं।

लॉन्च बिंदु	मेज़बान	आईपी	औसत समय, एमएस
जर्मनी बर्लिन	cdn.sayt.in	199.247.18.199	9.6
नीदरलैंड, एम्स्टर्डम	cdn.sayt.in	199.247.18.199	10.1
फ्रांस पेरिस	cdn.sayt.in	199.247.18.199	16.3
ग्रेट ब्रिटेन, लंदन	cdn.sayt.in	199.247.18.199	14.9
कनाडा टोरंटो	cdn.sayt.in	149.28.121.123	16.2
यूएसए, सैन फ्रांसिस्को	cdn.sayt.in	149.28.121.123	52.7
यूएसए, डलास	cdn.sayt.in	149.28.121.123	23.1
यूएसए, शिकागो	cdn.sayt.in	149.28.121.123	2.6
यूएसए, न्यूयॉर्क	cdn.sayt.in	149.28.121.123	19.8
सिंगापुर	cdn.sayt.in	157.230.240.216	1.7
जापान टोक्यो	cdn.sayt.in	157.230.240.216	74.8
ऑस्ट्रेलिया, सिडनी	cdn.sayt.in	157.230.240.216	95.9

परिणाम अच्छे हैं। अब हम मुख्य साइट के रूट में टेस्ट इमेज टेस्ट.जेपीजी को रखेंगे और सीडीएन के माध्यम से इसके डाउनलोड की गति की जांच करेंगे। कोई जल्दी ही कहा से किया । सामग्री शीघ्र वितरित की जाती है।

यदि हम CDN बिंदु पर कैश को साफ़ करना चाहते हैं तो हम एक छोटी स्क्रिप्ट लिखेंगे।

purge.sh

#!/bin/bash
if [ -z "$1" ]
then
    echo "Purging all cache"
    rm -rf /var/cache/cdn/*
else
    echo "Purging $1"
    FILE=`echo -n "$1" | md5sum | awk '{print $1}'`
    FULLPATH=/var/cache/cdn/${FILE:31:1}/${FILE:29:2}/${FILE}
    rm -f "${FULLPATH}"
fi

संपूर्ण कैश को हटाने के लिए, बस इसे चलाएं, एक अलग फाइल को इस तरह साफ किया जा सकता है:

root@cdn:~# ./purge.sh /test.jpg

निष्कर्ष के बजाय

अंत में, मैं रेक पर तुरंत कदम बढ़ाने के लिए कुछ उपयोगी सुझाव देना चाहता हूं, जो एक समय में मेरे सिर को मेरे पास कर दिया था:

सीडीएन गलती सहिष्णुता को बढ़ाने के लिए, डीएनएस फेलओवर को कॉन्फ़िगर करने की सिफारिश की गई है, जो सर्वर विफलता के मामले में जल्दी से एक रिकॉर्ड बदलने में मदद करता है। यह डोमेन के DNS रिकॉर्ड के नियंत्रण कक्ष में किया जाता है
CDN, . CDN, 6-7 : , (), (), , ,
CDN. , , -
, ,
अपने सर्वर पर विभिन्न स्थानों से पिंग की जाँच करने का प्रयास करें । तो आप सीडीएन बिंदुओं के निकटतम क्षेत्रों को देख सकते हैं और जियोएनएस को सही ढंग से कॉन्फ़िगर कर सकते हैं
कार्यों के आधार पर, विशिष्ट कैशिंग आवश्यकताओं के लिए Nginx को कॉन्फ़िगर करने और सर्वर पर लोड को ध्यान में रखने के लिए यह जगह से बाहर नहीं है। नैग्नेक्स कैश के बारे में लेख - यहाँ और भारी भार के तहत काम में तेजी: यहाँ और यहाँ मुझे बहुत मदद मिली।

अपनी CDN बनाएँ और कस्टमाइज़ करें