💀 👩🏾‍🤝‍👨🏻 👂🏾 पूरे इंटरनेट को कैसे स्कैन किया जाए 🎷 👩🏻‍💼 🚉

IPv4 पतों की पूरी सीमा 4 बिलियन IP पते है। यह एक बड़ी संख्या की तरह लगता है, लेकिन पूरे आईपीवी 4 इंटरनेट को 40 मिनट में एक टीसीपी पोर्ट के लिए पूरी तरह से स्कैन किया जा सकता है , उदाहरण के लिए, दुनिया के सभी वेब सर्वरों को खोजने के लिए या सभी एसएसएच पोर्ट खोलते हैं। इस स्थिति में, एक सर्वर और एक गीगाबिट चैनल पर्याप्त हैं। यह अनुसंधान के लिए उपयोगी है, उदाहरण के लिए, यदि आप दुनिया में उपयोग की जाने वाली तकनीकों पर आंकड़े एकत्र करते हैं, या बाहर की ओर खुलने वाली कमजोर सेवाओं के प्रतिशत का अनुमान लगाते हैं। जैम्प

कार्यक्रम(नैम्प के साथ भ्रमित नहीं होना) आपको विशेष आर्किटेक्चर के कारण किसी भी स्कैनर की तुलना में नेटवर्क की बड़ी रेंज को स्कैन करने की अनुमति देता है। इस लेख में, हम एक उदाहरण देखेंगे कि कैसे zmap का उपयोग करके दुनिया के सभी वेब सर्वरों की एक सूची तैयार की जाएगी। एक खुले HTTP पोर्ट के साथ मेजबानों की सूची होने से, आप पहले से ही एक अधिक बुद्धिमान स्कैनर का उपयोग कर सकते हैं, इसे लक्ष्यों की एक सटीक सूची पास कर सकते हैं।

क्या ख़राब नमाज़ है

छोटे सबनेट को स्कैन करने के लिए, नम्प का पारंपरिक रूप से उपयोग किया जाता है - एक लोकप्रिय ओपन सोर्स मल्टीटूल जिसमें बहुत सारे पेंटेस्टर बन्स होते हैं। यह छोटी रेंज और चुनिंदा मेजबानों को स्कैन करने के लिए अच्छी तरह से अनुकूल है। लुम (Nmap Script Engine) में कस्टम स्क्रिप्ट लिखने के लिए Nmap का अपना इंजन है और कई तैयार रेडी-स्क्रिप्ट्स हैं। लेकिन बड़े नेटवर्क, जैसे लाखों या अरबों पतों को स्कैन करने के लिए नैम्प अच्छी तरह से अनुकूल नहीं है। ऐसे कार्यों में कई दिन या सप्ताह लगेंगे। तथ्य यह है कि नैम्प ऑपरेटिंग सिस्टम के नेटवर्क सबसिस्टम का उपयोग करता है और प्रत्येक अनुरोध के लिए एक पूर्ण सॉकेट खोला जाता है। जब आप सेवा से चैट करना चाहते हैं, तो आप इसे बिना पूर्ण टीसीपी कनेक्शन के नहीं कर सकते, उदाहरण के लिए, वेब सर्वर के लिए GET अनुरोध करें। लेकिन जब SYN स्कैनिंग की आवश्यकता होती है, तो यह प्रदर्शन को बहुत कम कर देता है,जहां कार्य केवल यह जानने के लिए है कि क्या पोर्ट खुला है।

ज़मप और मसकन

Zmap और Masscan अतुल्यकालिक स्कैनर हमारे लिए अधिक उपयुक्त हैं: दोनों बहुत तेजी से काम करते हैं, PF_RING ड्राइवर (एक सॉकेट जो पैकेट कैप्चर को काफी गति देता है) का उपयोग करें और एक घातक DoS से बचने के लिए पतों को यादृच्छिक करें। नैंप के विपरीत, वे सिस्टम टीसीपी / आईपी का उपयोग नहीं करते हैं: पहला एक नंगे ईथरनेट फ्रेम उत्पन्न करता है, दूसरा एक स्व-लिखित टीसीपी स्टैक का उपयोग करता है।

Masscan को सबसे तेज इंटरनेट स्कैनर माना जाता है जो छह मिनट में पूरी IPv4 रेंज से गुजर सकता है, लेकिन केवल SYN पैकेट के साथ समानांतर, आउटगोइंग ट्रैफ़िक में जुड़े कुछ भौतिक एडेप्टर से ही उत्पन्न होता है, और उत्तर दूसरे के पास आते हैं। एक एकल कनेक्शन की स्थितियों में, संशोधित ज़ैम्प लगभग डेढ़ गुना तेज था। बेशक, इन रिकॉर्ड्स को 10 Gbit / s चैनलों पर शीर्ष लोहा पर सेट किया गया था, और उन्हें स्वयं को दोहराना मुश्किल और महंगा होगा। बहुत अधिक किफायती गीगाबिट कनेक्शन पर, चैनल और सीपीयू संसाधनों के अधिक कुशल उपयोग के कारण जैम्प भी मासकेन की तुलना में तेजी से काम करता है और लगभग 45-50 मिनट में पूरा किया जा सकता है।

^{Zmap और Masscan का सरलीकृत वर्कफ़्लो। आउटगोइंग ट्रैफ़िक जनरेटर और आने वाली प्रतिक्रिया प्रोसेसर अलग से काम करते हैं}

तकनीकी विवरणों में जाने के बिना, ज़ैम्प और मैसकैन दो संस्थाओं का उपयोग करते हैं: एक निवर्तमान यातायात जनरेटर जिसमें SYN अनुरोध और एक अलग आवक प्रतिक्रिया प्रोसेसर होता है। यहां प्रदर्शन केवल चैनल की चौड़ाई और नेटवर्क इंटरफ़ेस प्रदर्शन, अर्थात् पीपीएस सीमा (पैकेट प्रति सेकंड) द्वारा सीमित है। इसलिए, स्कैनिंग प्रक्रिया को कई इंटरफेस या यहां तक कि कई भौतिक होस्ट में विभाजित किया जा सकता है, अगर आने वाले पैकेट हैंडलर के पते के साथ स्रोत आईपी को बदलना संभव है।

स्कैन की तैयारी

यह ध्यान में रखना चाहिए कि स्कैनर सिस्टम को लोड करता है और विशेष रूप से नेटवर्क इंटरफेस, पूरे उपलब्ध चैनल का उपयोग करता है। यदि आप मेजबान को चेतावनी दिए बिना स्कैन करना शुरू करते हैं, तो यह DDoS की तरह दिखाई देगा और आपको बहुत जल्दी नेटवर्क से डिस्कनेक्ट होने की संभावना होगी। आपको यह भी तैयार करने की आवश्यकता है कि पूरे इंटरनेट को स्कैन करने से प्रतिक्रिया भड़क जाएगी - वे आपके बारे में शिकायत करना शुरू कर देंगे। यही है, मेजबान को स्वचालित पत्रों का एक समूह प्राप्त होगा जो शिकायत करते हैं कि "आप हमें स्कैन कर रहे हैं।"

इसलिए अपना प्रोजेक्ट शुरू करने से पहले तैयारी करना बेहतर है:

— ( - ). , . .
PTR- — , . , , . , PTR IP-, , - :
scanner-for-educational-project.ivan-ivanov.com
User-Agent — - HTTP-, User-Agent, . , .
— , . .

NAT,

यह समझना महत्वपूर्ण है कि zmap एक ही समय में लाखों टीसीपी अनुरोध उत्पन्न करता है। अगर NAT के साथ एक राउटर, कनेक्शन ट्रैकिंग के साथ एक फ़ायरवॉल, डीडीओएस सुरक्षा, या किसी अन्य फ़ायरफ़ॉक्स के साथ कनेक्शन को ट्रैक करने की कोशिश करने वाला कोई सिस्टम इंटरनेट और स्कैनिंग सर्वर के बीच स्थापित है, तो यह टूट जाएगा क्योंकि यह इतने सारे कनेक्शन को पचा नहीं सकता है। इसलिए, आप NAT में रहते हुए zmap नहीं चला सकते हैं, उदाहरण के लिए, होम वाईफाई राउटर के पीछे।

Zmap की कोशिश कर रहा

कुछ सरल पर Zmap ( इंस्ट्रक्शन )

टेस्ट स्थापित करें, habr.com से पड़ोसी वेब सर्वर देखें:

$ zmap -p 80 178.248.237.0/24 -B 100M -o habr.txt

विकल्प:

-पी 80 - टीसीपी पोर्ट 80, यानी हम केवल HTTP सर्वर की तलाश कर रहे हैं
178.248.237.0/24 पतों की लक्ष्य सीमा है। यदि आप इसे निर्दिष्ट नहीं करते हैं, तो संपूर्ण इंटरनेट स्कैन किया जाएगा।
-B 100M - zmap द्वारा उपयोग की जाने वाली अधिकतम चैनल चौड़ाई। यदि यह विकल्प निर्दिष्ट नहीं है, तो पूरे उपलब्ध चैनल का निपटान कर दिया जाएगा।
-o habr.txt - एक पाठ फ़ाइल के लिए परिणाम लिखें। यह उन पते को प्राप्त करेगा जो अनुरोध का जवाब देते हैं, अर्थात, जिस पर एक HTTP सर्वर है

^{254 पतों को zmap के साथ स्कैन करने में कुछ सेकंड लगे}

Zmap आउटपुट स्वरूप

डिफ़ॉल्ट रूप से, zmap एक टेक्स्ट फ़ाइल में बस पाए गए पतों को जोड़ता है, उन्हें लाइन ब्रेक के साथ अलग करता है। लेकिन यह json और xml प्रारूप में परिणाम भी लिख सकता है। विकल्प - ऑउटपुट-फ़ील्ड आपको अतिरिक्त फ़ील्ड निर्दिष्ट करने की अनुमति देता है जिसे आउटपुट में जोड़ा जाएगा।

उदाहरण के लिए, आइए json में एक और अधिक उन्नत आउटपुट फॉर्मेट का प्रयास करें, जिसमें पोर्ट पर रिस्पॉन्स रिक्वेस्ट और TTL पैकेट आए:

$ zmap -p80  --output-module=json --output-fields=ttl,sport,dport,saddr 178.248.237.68 -o habr.com.json

#  
$ cat habr.com.json
{ "ttl": 58, "sport": 80, "dport": 51309, "saddr": "178.248.237.68" }

पूरे इंटरनेट को स्कैन करें!

मैंने वीपीएस पर एक स्कैन चलाने की कोशिश की, और कुछ मिनटों के बाद मुझे वायरस के लिए सर्वर की जांच करने की आवश्यकता के साथ प्रतिबंधित कर दिया गया। यह काफी तार्किक है, क्योंकि इस तरह की स्कैन होस्ट से DDoS की तरह दिखती है। लेकिन समर्थन के साथ अपने कार्य पर चर्चा करने के बाद, मुझे एक समर्पित सर्वर लेने और उस पर स्कैन करने की पेशकश की गई।

इस तरह से 200Mbit / s इंटरफ़ेस पर स्कैन करना कैसा दिखता है, अनुमानित समय लगभग छह घंटे है:

यहां तक कि 100 Mbit / s के चैनल के साथ, पूरे इंटरनेट को रात भर स्कैन किया जा सकता है।

आगे क्या करना है

अब हम बता सकते हैं कि पोर्ट 80 पर कितने विश्व पते हैं और उनमें से एक सूची एकत्र कर रहे हैं। यह कमजोरियों के लिए आवेदन परत का विश्लेषण करने के लिए L7 स्कैनर को भेजा जा सकता है।

उदाहरण के लिए, दुनिया के सभी वेब सर्वरों के HTML शीर्षक का उपयोग करें। नैम्प इनपुट के लिए, हम सामान्य प्रारूप में zmap से प्राप्त फ़ाइल को स्थानांतरित करते हैं:


$ nmap -sV -p 80 -v -n  --script http-title  -iL habr.txt

पूरे इंटरनेट को कैसे स्कैन किया जाए