Get best of the week

O que redes neurais podem "cantar" e executar death metal

Vamos falar sobre ferramentas inteligentes que podem gerar faixas e até letras. Será sobre as decisões de empresas e laboratórios, bem como o desenvolvimento de entusiastas.


Foto Joe Green / Unsplash

As redes neurais escrevem música ...


Este sintetizador NSynth Super . É construído com base no sistema de IA, que forma novos sons que não existem na natureza a partir de amostras pré-gravadas. O algoritmo pode combinar o som de uma flauta e um tambor . O NSynth pode trabalhar com 16 instrumentos musicais - em sua base, gera mais de 100 mil sons. Ele analisa suas características de entrada e, em seguida, interpola linearmente, formando uma representação matemática.

O NSynth Super é um projeto de código aberto. Fontes e esquemas de montagem estão disponíveis para todos no repositório no GitHub .

Outro exemplo é o sistema de inteligência artificial Dadabots , desenvolvido pelos músicos CJ Carr e Zack Zukowski. A rede neural compõe músicas do death metal - foi treinada no trabalho da equipe canadense Archspire . A solução baseada em IA gera composições bastante harmoniosas, embora nem sempre agradáveis ​​- efeitos acústicos nítidos são periodicamente sobrepostos a elas. Embora para o estilo escolhido pareça uma onda organicamente. Você pode ouvir o trabalho de Dadabots no YouTube, há uma transmissão ao vivo 24 horas por dia .

Os sistemas de música de IA também estão sendo desenvolvidos em Jukedeck . Esta startup está desenvolvendo uma ferramenta para gerar trilhascom um determinado humor e ritmo. Há um ano, foi adquirida por uma empresa proprietária da TikTok. As tecnologias Jukedeck ajudam as redes sociais a economizar em royalties.

... e sabe cantar


No final de abril, essa ferramenta foi introduzida no OpenAI, chamada Jukebox . Ele gera composições com letras e vocais significativos. Aqui está um exemplo:


Os engenheiros treinaram uma rede neural em um conjunto de dados de 1,2 milhão de músicas (600 mil em inglês). O texto e os metadados para eles foram retirados da biblioteca do LyricWiki. Para gerar novas faixas, o sistema AI usa o método VQ-VAE (Vector Quantized Variational AutoEncoder) - ele comprime as faixas e extrai delas as informações acústicas necessárias. Então, em sua base, forma uma nova composição. A Jukebox gasta cerca de nove horas para escrever um minuto de uma música, mas até agora não sabe como gerar músicas familiares com o coro repetido. O sistema também requer grandes recursos de computação - ainda não é possível testá-lo em casa em um computador ou em um estúdio. No futuro, os desenvolvedores planejam corrigir essas deficiências.

Mas os músicos serão substituídos


Os autores de instrumentos inteligentes para gerar música dizem que os algoritmos de máquina não se destinam a substituir compositores, mas a expandir suas capacidades artísticas.

A cantora americana Taryn Southern gravou um álbum usando uma solução baseada em IA. A rede neural escreveu a música para a faixa Break Free e gerou um videoclipe. A vocalista do YACHT, Claire Evans, também usou algoritmos de máquina para escrever o Chain Tripping . O computador gerou novas melodias com base nos trabalhos anteriores de Claire, e o artista conectou as amostras mais interessantes umas às outras.

Os algoritmos de aprendizado de máquina também ajudam os músicos a resolver problemas técnicos. Por exemplo, os desenvolvedores da LANDR oferecem um sistema de inteligência artificial que rastreia automaticamente as faixas. Mais de 2 milhões de artistas já o estão usando .


Leitura adicional:

“Machine sound”: sintetizadores baseados em redes neurais.
História dos sintetizadores de fala: primeiras instalações mecânicas
História dos sintetizadores de fala: era do computador.


O que ler para nós em Habré:


More articles:


All Articles