ब्राउज़र ट्रैफ़िक को फ़िल्टर करने के लिए स्थानीय प्रॉक्सी

मैं विकास प्रक्रिया के बारे में बात करना चाहता हूं और प्रॉक्सी सर्वर को साझा करना चाहता हूं, जिसका उपयोग मैं सभी प्रकार के कचरे और अन्य कार्यों को फ़िल्टर करने के लिए करता हूं जिन्हें ब्राउज़र ट्रैफ़िक में देखने या हस्तक्षेप की आवश्यकता होती है। शायद कहीं न कहीं पहले से ही एक समान कार्यक्षमता है, लेकिन मैं विशेष रूप से अपनी जरूरतों के लिए विशेष रूप से किसी भी क्षणिक तिपहिया के लिए वास्तविक समय के लिए उपयुक्त कोडिंग की संभावना के साथ करना चाहता था। ठीक है, कोई छोटी चीज़ों के तहत, भी, लेकिन यह अधिक लंबा है।

प्रारंभ में, कार्य धीमी गति से (लगभग 5-10kb / s लैग्स के साथ) कनेक्शन के माध्यम से आने वाली साइटों को सरल बनाना था। दो मुख्य क्षेत्र हैं: 1) उन सभी चीजों को काटने के लिए जो मुख्य रूप से आवश्यक नहीं हैं (मुख्य रूप से विज्ञापन), और उन सभी चीजों को कैश करने के लिए जो विज़िट की गई साइटों की कार्यक्षमता को बहुत नुकसान पहुंचाए बिना कैश की जा सकती हैं, यहां तक ​​कि जब साइटें स्वयं http हेडर में कैशिंग की अनुमति नहीं देती हैं, या यहां तक ​​कि वे स्पष्ट रूप से स्थैतिक फ़ाइलों के यूआरएल के बाद एक यादृच्छिक संख्या के साथ एक प्रश्न चिह्न जोड़कर हस्तक्षेप करते हैं।

चेतावनी: नीचे वर्णित कार्यान्वयन लिनक्स के लिए किया गया था, यह अन्य * निक्स पर काम करता है, लेकिन यहां तक ​​कि इसे विंडोज पर संकलित करने पर विचार नहीं किया गया था (हालांकि, अनुकूलन करने का अवसर है, निश्चित रूप से)।

ड्राफ्ट: nginx + php-fpm

मैं यह सब समय बिताना नहीं चाहता था, इसलिए यह जल्दी से nginx + php-fpm बंडल को कॉन्फ़िगर करने का निर्णय लिया गया था, जिनमें से पहले पार्स किए गए इनकमिंग कनेक्शन, जिसमें https और उन सभी को पुनर्निर्देशित किया गया था, बिना होस्ट और URL का विश्लेषण किए, एक ही php स्क्रिप्ट पर। । एक छोटा सी प्रोग्राम भी था जिसने http-प्रॉक्सी प्रोटोकॉल को नियमित http (s) ट्रैफ़िक में परिवर्तित किया। यही कारण है कि यह अनुरोध कर दिया, है GET http://host/path HTTP/1.xमें GET /path HTTP/1.x(होस्ट नाम अभी भी होस्ट शीर्ष लेख में है) और स्थानीय nginx के लिए प्रॉक्सी सभी https जोड़ता है। जैसा कि बाद में पता चला, http://hosthttp- अनुरोधों को हटाने के लिए आवश्यक नहीं था, नगीनेक्स उन्हें हमेशा की तरह स्वीकार करता है।

PHP स्क्रिप्ट, बदले में, अलग-अलग वेरिएबल्स में विघटित अनुरोध को वापस लाती है, जो fsockopen () के माध्यम से टारगेट सर्वर (इसमें SSL सपोर्ट में बनाया गया है) के माध्यम से जुड़ा हुआ है, एकत्रित http रिक्वेस्ट भेजी जाती है, प्रतिक्रिया उठाई जाती है और हेडर ()) का उपयोग करके इसे ब्राउजर में भेजा जाता है। गूंज। स्क्रिप्ट को स्क्रैच से बिल्कुल नहीं बनाया गया था, https://github.com/eslachance/php-transparent-proxy के लिए एक निश्चित quitevelyne Lachance के लिए धन्यवाद (लेकिन फिर भी, कि संदर्भ से थोड़ा अलग उद्देश्य है और इसलिए इसे कॉपी करना असंभव था)।

. , host host/path ( php- ). , ( — ). , . GET 200, — . — , , ( , ) content-type . : http-, content-type . , , , , , .

, , , .

( - , — ).

3-4 - — nginx php C.

( ), -, . https, - ( ), SSL - php .

OpenSSL. , , . , -, ( ), - ( ), - API OpenSSL ( ), API, ( ) ssl- ( , , ).

SSL/TLS-

, , SSL/TLS, , , . : , , , . .

, (accept) , SSL/TLS, ( SSL/TLS-, ), , . http- https-, , .

, : , , .

ssl-server-wrapper ssl-client-wrapper. , — , , SSL- , .

$ host ya.ru                        -  ip-
ya.ru has address 87.250.250.242
$ ./ssl-client-wrapper
T/etc/ssl/certs/ca-certificates.crt    -      RootCA
C87.250.250.242:443/ya.ru              -       SNI

DEBUG: cert[-1] subject = /C=RU/O=Yandex LLC/OU=ITO/L=Moscow/ST=Russian Federation/CN=*.yandex.az
DEBUG: cert[-1] issuer = /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
DEBUG: cert[0] subject = /C=RU/O=Yandex LLC/OU=ITO/L=Moscow/ST=Russian Federation/CN=*.yandex.az
DEBUG: cert[0] issuer = /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
DEBUG: cert[1] subject = /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
DEBUG: cert[1] issuer = /C=PL/O=Unizeto Technologies S.A./OU=Certum Certification Authority/CN=Certum Trusted Network CA
DEBUG: cert[2] subject = /C=PL/O=Unizeto Technologies S.A./OU=Certum Certification Authority/CN=Certum Trusted Network CA
DEBUG: cert[2] issuer = /C=PL/O=Unizeto Sp. z o.o./CN=Certum CA

DEBUG: cert[-1] issued by cert[1]
DEBUG: cert[1] issued by cert[2]
DEBUG: cert[2]=cert[*0] was not issued by something from trusted-cert-store - chain incomplete, trying to recover
DEBUG: cache miss at ./cert-pin/cache/9nqv0qm41tlxyel95bbods0famxjagbx.0
DEBUG: downloading AIA issuer cert: http://repository.certum.pl/ca.cer
DEBUG: cert[*0] issued by cert[*1]
DEBUG: cert[*1] is self-signed, chain ended

DEBUG: check wildcard '*.yandex.az' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.tm' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.com.ua' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.de' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.jobs' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.net' against needed name 'ya.ru'
DEBUG: check wildcard '*.xn--d1acpjx3f.xn--p1ai' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.com.ge' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.fr' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.fr' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.kz' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.aero' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.jobs' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.ee' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.com' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.tm' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.ru' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.ru' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.lv' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.lt' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.az' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.net' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.lt' against needed name 'ya.ru'
DEBUG: check wildcard 'ya.ru' against needed name 'ya.ru'

DEBUG: protocol = TLSv1.2
DEBUG: cipher = ECDHE-RSA-AES128-GCM-SHA256
DEBUG: verify_result = 0
DEBUG: server_cert subject: /C=RU/O=Yandex LLC/OU=ITO/L=Moscow/ST=Russian Federation/CN=*.yandex.az
DEBUG: server_cert issuer: /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
OK: connection to 87.250.250.242:443/ya.ru established

GET / HTTP/1.0
Host: ya.ru
Connection: close

HTTP/1.1 200 Ok
Accept-CH: Viewport-Width, DPR, Device-Memory, RTT, Downlink, ECT
Accept-CH-Lifetime: 31536000
(...)

, .

nginx , . , \r\n \n , , , Content-Length, . Chunked encoding — , http-, .

, , — , php, . ( , , ..), php- , , "" ( C PHP), " -" . ( ) "" "" include ( ).

, 2 . — - ( ), , .

1. SSL/TLS-, ssl-telnet. - ( -), . , . OpenSSL ( , - ). .

   
   
   • : ( ), ( ), (, , — ). ( , ). , , .
   • , , trusted root CA .
   
   

2. , , ssh port forwarding ( helpers/remote.c proxy.c "--proxy". . SSL/TLS , "" . , .

   
   

3. : , , , , raw- ( real-time ).

   
   

4. /etc/hosts : - , , .

   
   

5. , , , . ( , ), . " , — ", . , , , " - ".

   
   
   • — , , . - ( offline.flag , ). , , , ( POST- ), , , — .
   
   

6. , . , handle/inc.rewrite.c

   
   

7. dashboard ( ) .
   ./dashboard --basedir=/path/to/proxy/base --highlight --loop

   
   

8. . , , , , , . , - — , " ".

   
   

(+)
(-) - OpenSSL
(+)
(+-) #define
(+-) IPv6
(-)
(-)
(-) Access-Control-Allow-Origin '*' — .
(-) ,
(-) ( raw ) — , localhost- , , - ( ) 10

/

C-, zlib ( gzip http-), openssl ( ssl-). Debian zlib1g-dev libssl-dev. () .

, ( ) (, Makefile, make) build-all.sh.

: fproxy/build2.sh, fproxy/config.h ( /etc/ssl/certs/ca-certificates.crt ). (helpers/) #define (config.h ), .

, , () . , ( ), — , ( #define-). build-all.sh .

.

. prepare-dir.sh — fproxy-target/ ( ).

— ( fproxy-target/, prepare-dir.sh).

-. , , , . " " , root , 0640 0750. world-readable , , - , , MITM.

dashboard BASE/log/dashboard .

127.0.0.10:3128. 127.0.0.10 ( ) , - .

— , , .

: .

, , "-", . , .

— (, , , ) , , .

, - .