👨🏿‍🎓 ❣️ ➖ Proxy local para filtrar el tráfico del navegador 🤳🏾 🔂 👲🏿

Quiero hablar sobre el proceso de desarrollo y compartir el servidor proxy, que yo mismo uso para filtrar todo tipo de basura y otras tareas que requieren visualización o intervención en el tráfico del navegador. Quizás ya exista una funcionalidad similar en alguna parte, pero quería hacerlo específicamente para mis necesidades con la posibilidad de agregar código en tiempo real a cualquier problema momentáneo. Bueno, debajo de las no-pequeñas cosas también, pero es más largo.

Inicialmente, la tarea consistía en simplificar las visitas a sitios a través de una conexión lenta (aproximadamente 5-10kb / s con retrasos). Hay dos áreas principales: 1) para cortar todo lo que no es necesario (principalmente publicidad) y 2) para almacenar en caché todo lo que se puede almacenar en caché sin dañar la funcionalidad de los sitios visitados, incluso cuando los sitios en sí no permiten el almacenamiento en caché en encabezados http, o incluso obviamente interfieren al agregar un signo de interrogación con un número aleatorio después de las URL de los archivos estáticos.

Advertencia: la implementación que se describe a continuación se realizó para Linux, parece funcionar en otros * nix, pero incluso no se consideró compilarlo en Windows (aunque, por supuesto, existe la oportunidad de adaptarse).

Borrador: nginx + php-fpm

No quería pasar todo este tiempo, por lo que se decidió configurar rápidamente el paquete nginx + php-fpm, del cual se analizaron las primeras conexiones entrantes, incluidas https y se las redirigió a todas, sin analizar hosts y URL, al mismo script php . También hubo un pequeño programa en C que convirtió el protocolo http-proxy en tráfico http (s) regular. Es decir, convirtió las solicitudes GET http://host/path HTTP/1.xen GET /path HTTP/1.x(el nombre de host todavía está en el encabezado del Host) y envió todos los https CONNECT al nginx local. Como resultó más tarde, no http://hostera necesario eliminar las solicitudes http, nginx las acepta de la misma manera que las habituales.

PHP-, , , fsockopen() ( SSL ), http-, header() echo. , Évelyne Lachance https://github.com/eslachance/php-transparent-proxy ( , , ).

-, URL , POST- , Content-Type — php- , $_POST[] , , ( ). php 5.4 enable_post_data_reading — off, 'php://input'. $_POST $_FILES, , , .

-, nginx , " " firefox . , . , . ( ), , .

. , host host/path ( php- ). , ( — ). , . GET 200, — . — , , ( , ) content-type . : http-, content-type . , , , , , .

, , , .

( - , — ).

3-4 - — nginx php C.

( ), -, . https, - ( ), SSL - php .

OpenSSL. , , . , -, ( ), - ( ), - API OpenSSL ( ), API, ( ) ssl- ( , , ).

OpenSSL SSL

, - API TLS, , , (, , , , ), ASN1. , API , RFC . .

SSL/TLS-

, , SSL/TLS, , , . : , , , . .

, (accept) , SSL/TLS, ( SSL/TLS-, ), , . http- https-, , .

, : , , .

ssl-server-wrapper ssl-client-wrapper. , — , , SSL- , .

$ host ya.ru                        -  ip-
ya.ru has address 87.250.250.242
$ ./ssl-client-wrapper
T/etc/ssl/certs/ca-certificates.crt    -      RootCA
C87.250.250.242:443/ya.ru              -       SNI

( , ):

DEBUG: cert[-1] subject = /C=RU/O=Yandex LLC/OU=ITO/L=Moscow/ST=Russian Federation/CN=*.yandex.az
DEBUG: cert[-1] issuer = /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
DEBUG: cert[0] subject = /C=RU/O=Yandex LLC/OU=ITO/L=Moscow/ST=Russian Federation/CN=*.yandex.az
DEBUG: cert[0] issuer = /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
DEBUG: cert[1] subject = /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
DEBUG: cert[1] issuer = /C=PL/O=Unizeto Technologies S.A./OU=Certum Certification Authority/CN=Certum Trusted Network CA
DEBUG: cert[2] subject = /C=PL/O=Unizeto Technologies S.A./OU=Certum Certification Authority/CN=Certum Trusted Network CA
DEBUG: cert[2] issuer = /C=PL/O=Unizeto Sp. z o.o./CN=Certum CA

trusted

DEBUG: cert[-1] issued by cert[1]
DEBUG: cert[1] issued by cert[2]
DEBUG: cert[2]=cert[*0] was not issued by something from trusted-cert-store - chain incomplete, trying to recover
DEBUG: cache miss at ./cert-pin/cache/9nqv0qm41tlxyel95bbods0famxjagbx.0
DEBUG: downloading AIA issuer cert: http://repository.certum.pl/ca.cer
DEBUG: cert[*0] issued by cert[*1]
DEBUG: cert[*1] is self-signed, chain ended

, "Certum CA" Root CA, , (cert[2]) http://repository.certum.pl/ca.cer ; (cert[*1]), . , Root CA "Certum Trusted Network CA", .

DEBUG: check wildcard '*.yandex.az' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.tm' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.com.ua' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.de' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.jobs' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.net' against needed name 'ya.ru'
DEBUG: check wildcard '*.xn--d1acpjx3f.xn--p1ai' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.com.ge' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.fr' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.fr' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.kz' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.aero' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.jobs' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.ee' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.com' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.tm' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.ru' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.ru' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.lv' against needed name 'ya.ru'
DEBUG: check wildcard '*.yandex.lt' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.az' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.net' against needed name 'ya.ru'
DEBUG: check wildcard 'yandex.lt' against needed name 'ya.ru'
DEBUG: check wildcard 'ya.ru' against needed name 'ya.ru'

DEBUG: protocol = TLSv1.2
DEBUG: cipher = ECDHE-RSA-AES128-GCM-SHA256
DEBUG: verify_result = 0
DEBUG: server_cert subject: /C=RU/O=Yandex LLC/OU=ITO/L=Moscow/ST=Russian Federation/CN=*.yandex.az
DEBUG: server_cert issuer: /C=RU/O=Yandex LLC/OU=Yandex Certification Authority/CN=Yandex CA
OK: connection to 87.250.250.242:443/ya.ru established

, http-

GET / HTTP/1.0
Host: ya.ru
Connection: close

HTTP/1.1 200 Ok
Accept-CH: Viewport-Width, DPR, Device-Memory, RTT, Downlink, ECT
Accept-CH-Lifetime: 31536000
(...)

, .

nginx , . , \r\n \n , , , Content-Length, . Chunked encoding — , http-, .

, , — , php, . ( , , ..), php- , , "" ( C PHP), " -" . ( ) "" "" include ( ).

, 2 . — - ( ), , .

SSL/TLS-, ssl-telnet. - ( -), . , . OpenSSL ( , - ). .
- : ( ), ( ), (, , — ). ( , ). , , .
- , , trusted root CA .
, , ssh port forwarding ( helpers/remote.c proxy.c "--proxy". . SSL/TLS , "" . , .
: , , , , raw- ( real-time ).
/etc/hosts : - , , .
, , , . ( , ), . " , — ", . , , , " - ".
- — , , . - ( offline.flag , ). , , , ( POST- ), , , — .
, . , handle/inc.rewrite.c
dashboard ( ) .
./dashboard --basedir=/path/to/proxy/base --highlight --loop
. , , , , , . , - — , " ".

(+)
(-) - OpenSSL
(+)
(+-) #define
(+-) IPv6
(-)
(-)
(-) Access-Control-Allow-Origin '*' — .
(-) ,
(-) ( raw ) — , localhost- , , - ( ) 10

/

C-, zlib ( gzip http-), openssl ( ssl-). Debian zlib1g-dev libssl-dev. () .

, ( ) (, Makefile, make) build-all.sh.

: fproxy/build2.sh, fproxy/config.h ( /etc/ssl/certs/ca-certificates.crt ). (helpers/) #define (config.h ), .

, , () . , ( ), — , ( #define-). build-all.sh .

. prepare-dir.sh — fproxy-target/ ( ).

	:
cache/	cache_real/.
cache_real/	, — 2 , .
saved/	saved_real/.
saved_real/	-, 2-. .
cert-pin/certs/	( , / , ).
cert-pin/queue/	, .
cert-pin/cache/	, ( , ).
dyn-certs/	.
hist/	( , ).
internal/	AIA .
log/	.
pem/	.
proxy_temp/	.
tmp/	.
dyn-cert-serial	( — '0' ).
mincache.date	0, .
offline.flag	0, "-" — saved_real/ , , — .
rules_*.txt	, .

— ( fproxy-target/, prepare-dir.sh).

-. , , , . " " , root , 0640 0750. world-readable , , - , , MITM.

dashboard BASE/log/dashboard .

127.0.0.10:3128. 127.0.0.10 ( ) , - .

— , , .

: .

, , "-", . , .

— (, , , ) , , .

, - .

Proxy local para filtrar el tráfico del navegador

Borrador: nginx + php-fpm

SSL/TLS-

/

More articles: