Get best of the week

¿Qué redes neuronales pueden "cantar" y realizar death metal

Hablemos de herramientas inteligentes que pueden generar pistas e incluso letras. Se tratará de las decisiones de corporaciones y laboratorios, así como del desarrollo de entusiastas.


Foto Joe Green / Unsplash

Las redes neuronales escriben música ...


Hace el sintetizador NSynth Super . Está construido sobre la base del sistema de IA, que forma nuevos sonidos que no existen en la naturaleza a partir de muestras pregrabadas. El algoritmo puede combinar el sonido de una flauta y un tambor . NSynth puede trabajar con 16 instrumentos musicales, sobre la base de que genera más de 100 mil sonidos. Analiza sus características de entrada y luego interpola linealmente, formando una representación matemática.

NSynth Super es un proyecto de código abierto. Las fuentes y los esquemas para el ensamblaje están disponibles para todos en el repositorio en GitHub .

Otro ejemplo es el sistema de inteligencia artificial Dadabots , desarrollado por los músicos CJ Carr y Zack Zukowski. La red neuronal compone canciones de death metal: fue entrenada en el trabajo del equipo canadiense Archspire . La solución basada en IA genera composiciones bastante armoniosas, aunque no siempre agradables: periódicamente se les superponen efectos acústicos agudos. Aunque para el estilo elegido parece una ola orgánicamente. Puedes escuchar el trabajo de Dadabots en YouTube, hay una transmisión en vivo las 24 horas .

Los sistemas de música AI también se están desarrollando en Jukedeck . Esta startup está desarrollando una herramienta para generar pistascon un determinado estado de ánimo y ritmo. Hace un año, fue adquirido por una empresa propietaria de TikTok. Las tecnologías de Jukedeck ayudan a las redes sociales a ahorrar en regalías.

... y saber cantar


A finales de abril, dicha herramienta se introdujo en OpenAI, se llamaba Jukebox . Genera composiciones con letras y voces significativas. Aquí hay un ejemplo:


Los ingenieros entrenaron una red neuronal en un conjunto de datos de 1.2 millones de canciones (600 mil estaban en inglés). El texto y los metadatos para ellos fueron tomados de la biblioteca LyricWiki. Para generar nuevas pistas, el sistema AI utiliza el método VQ-VAE (Vector Quantized Variational AutoEncoder): comprime las pistas y extrae la información acústica necesaria de ellas. Luego, sobre su base, forma una nueva composición. Jukebox dedica aproximadamente nueve horas a escribir un minuto de una canción, pero hasta ahora no sabe cómo generar canciones conocidas con coros repetidos. El sistema también requiere grandes recursos informáticos: aún no es posible probarlo en casa en una computadora o en un estudio. En el futuro, los desarrolladores planean corregir estas deficiencias.

¿Pero serán reemplazados los músicos?


Los autores de instrumentos inteligentes para generar música dicen que los algoritmos de máquina no están destinados a reemplazar a los compositores, sino a expandir sus capacidades artísticas.

La cantante estadounidense Taryn Southern grabó un álbum utilizando una solución basada en IA. La red neuronal escribió la música para la pista Break Free y generó un video clip. La cantante principal de YACHT, Claire Evans, también usó algoritmos de máquina para escribir Chain Tripping . La computadora generó nuevas melodías basadas en los trabajos anteriores de Claire, y el intérprete conectó las muestras más interesantes entre sí.

Los algoritmos de aprendizaje automático también ayudan a los músicos a resolver problemas técnicos. Por ejemplo, los desarrolladores de LANDR ofrecen un sistema de inteligencia artificial que rastrea automáticamente las pistas. Más de 2 millones de artistas ya lo están usando .


Lectura adicional:

"Sonido de la máquina": sintetizadores basados ​​en redes neuronales.
Historia de sintetizadores de voz: primeras instalaciones mecánicas.
Historia de sintetizadores de voz: era de la computadora.


Qué leernos en Habré:


More articles:


All Articles