🚙 🍙 👓 HLS en MP4 usando ffmpeg en un navegador 🤞🏾 🏾 😶

¡Hola! Durante más de dos meses, en mi tiempo libre, he estado guardando una aplicación web para convertir HLS y DASH a MP4 usando emscripten y ffmpeg, desde la cual quiero compartir cómo logré hacer esto.

En este artículo no citaré el código fuente de las ediciones y parches de ffmpeg, como la mayoría de ellos se hicieron sobre mi rodilla, y no soy muy bueno en C. Pero ahora hay suficientes artículos para ayudarte.

Introducción

Hace dos años tenía el objetivo de combinar una pista de audio y video en un solo archivo mp4. Luego me sumergí en emscripten y, para lo básico, encontré el repositorio ffmpeg.js del cual aprendí mucho. Luego, casi pude lograr el objetivo, aunque estaba muy orientado condicionalmente en C.
Comprendiendo el código fuente, ffmpeg hizo un parche para trabajar con el sistema de archivos, donde la lectura de un archivo causaba una función asincrónica en js desde la cual leía el blob del archivo y pasaba el búfer, y al escribir, Función js que envió datos de búfer al repositorio.

Pero hubo un problema con las funciones asincrónicas, que no pude resolver correctamente, funcionaron a través de asyncify (fastcomp), que no funcionó correctamente en algunos casos, a saber, la ejecución del código en wasm no se detuvo, sin esperar un resultado de la función js, eso es todo rompió. Este problema se solucionó mediante el indicador EMTERPRETIFY_WHITELIST, que aparentemente movió el código de wasm a asm al mismo tiempo y lo ralentizó, y fue necesario depurar la pila de llamadas y agregar una función rota a la lista con cada excepción.

En general, con tales problemas, esto no podría llamarse una solución de trabajo, en la que todo esto seguía siendo una pequeña demostración.

Un año y medio después

Después de ver un informe en Google Dev Summit sobre las nuevas características en WebAssambly , fui a ver cómo estaba emscripten y vi un mensaje:

Emscripten emite WebAssembly utilizando el back-end de wasm LLVM ascendente, desde la versión 1.39.0 (octubre de 2019), y el antiguo backend fastcomp está en desuso

Quería intentar reconstruir mis formatos de repacker. Aproximadamente una semana busqué en Google cómo solucionar nuevos problemas de compilación y finalmente lo armé todo. Los cambios no fueron tantos, pero no fue así debido al nuevo enlazador de bibliotecas, y ya desesperado por recopilar al menos algo, acabo de ver las bibliotecas problemáticas (resultó que las bibliotecas están conectadas y ya no es necesario señalarlas a mano durante el ensamblaje).

¡Y ahora, ha llegado el momento en que se ha reunido y ganado! El problema con el código asincrónico desapareció, no había necesidad de depurar nada, funcionó como debería desde el principio.

Aquí parece que he alcanzado mi objetivo, pero ... apareció uno nuevo.

Reescribir protocolo HTTP

Tal pensamiento ha estado en mi mente durante mucho tiempo. Esto puede permitirle descargar HLS o DASH, y no solo una lista de reproducción lista para usar, sino también una transmisión en vivo. Y nunca he visto algo así en Internet.

Me llevó unas tres semanas hacer al menos algo que funcionara conmigo con breves descansos. Conocía C (aunque no tenía experiencia), había muchos problemas con los punteros (es difícil hacer un seguimiento de a dónde va, e incluso en el código de otra persona), pero algo se compiló sin errores. Después de los primeros éxitos, esto dio aún más entusiasmo para completar la idea.

Solo un par de semanas, y finalmente logré hacer la primera iteración del protocolo http en funcionamiento, ¿y eso parece ser todo?

Cuando lo más difícil ha terminado

En este punto, tenía un marco listo, un pequeño formulario html con un campo de entrada de URL y un botón de inicio, básicamente funcionó. Pero aún era necesario escribir una extensión para evitar CORS y cargar datos, hacer un almacenamiento que escribiera datos en fragmentos, hacer una interfaz con pantalla de progreso, todo esto se depuró para solucionar problemas en diferentes navegadores. En general, ha llegado el momento de finalmente hacer posible su uso.

Básicamente, se realizó el script de usuario, que era un proxy para buscar solicitudes de ffmpeg para descargar datos.

En solo un par de días, estaba lista una extensión para Chrome y Firefox, que mediante webRequest recopiló todos los enlaces hls que carga el navegador cuando mira un video.

Como resultó, en Firefox, la API de extensión no le permite administrar la energía, desde la cual no puede evitar que la computadora se duerma, por desgracia.

La extensión se ve así:

solo mejoré la página en la que el sitio era un poco, material de interfaz de usuario atornillado, finalicé todos los lugares que se crearon.

Después de probar diferentes formas de almacenar datos, revelé una serie de problemas:

Blob : Chrome los escribe en la RAM y los deja caer en el disco cuando se desborda, pero solo en OSX cuando se desborda la memoria, el sistema operativo abandona la cuenta y cierra todas las aplicaciones que estaban abiertas. Y Firefox generalmente siempre guardaba datos en la memoria.

Almacenamiento en caché- funciona como IndexedDb, pero después de escribir los datos, en Chrome blob permanecen en la RAM (ya sea un error o un fitcha), pero resulta que los datos se escriben en el almacenamiento en caché (en el disco) y también se caen cuando la memoria está llena volumen al disco como blob.

IndexedDb : funciona como un reloj, sabe cómo almacenar blobs, escribe datos sin adornos, pero Firefox limita estrictamente la cantidad de 2 gb.

Trabajé un poco, logré hacer la función de interrumpir el proceso ffmpeg (a través de un puntero), se me ocurrió cómo elegir los formatos (ffprobe) y manejar los errores de la red.

Y ahora, puedes probar el resultado tú mismo aquí

Para mí, esto es algo indispensable cuando necesitas grabar una transmisión en un tweet o descargar un VOD. También funciona con una computadora portátil, un mezclador y cualquier otro sitio que transmita contenido en HLS o DASH (por desgracia, la implementación de DASH en ffmpeg es muy condicional y es posible que Live no se descargue correctamente, ya que no tiene en cuenta el intervalo de solicitud de fragmento).

¡Gracias por leer!

Si tiene preguntas sobre ffmpeg y emscripten, escriba, intentaré responder.

HLS en MP4 usando ffmpeg en un navegador

Introducción

Un año y medio después

Reescribir protocolo HTTP

Cuando lo más difícil ha terminado

More articles: