Get best of the week

Quels réseaux de neurones peuvent «chanter» et interpréter le death metal

Parlons d'outils intelligents qui peuvent générer des pistes et même des paroles. Il s'agira des décisions des entreprises et des laboratoires, ainsi que du développement des passionnés.


Photo Joe Green / Unsplash

Les réseaux de neurones écrivent de la musique ...


Il fait le synthétiseur NSynth Super . Il est construit sur la base du système AI, qui forme de nouveaux sons qui n'existent pas dans la nature à partir d'échantillons préenregistrés. L'algorithme peut combiner le son d'une flûte et d'un tambour . NSynth peut fonctionner avec 16 instruments de musique - sur leur base, il génère plus de 100 000 sons. Il analyse leurs caractéristiques d'entrée, puis interpole linéairement, formant une représentation mathématique.

NSynth Super est un projet open source. Les sources et les schémas d'assemblage sont disponibles pour tout le monde dans le référentiel sur GitHub .

Un autre exemple est le système d'intelligence artificielle Dadabots , qui a été développé par les musiciens CJ Carr et Zack Zukowski. Le réseau neuronal compose des airs de death metal - il a été formé sur le travail de l'équipe canadienne Archspire . La solution basée sur l'IA génère des harmonies assez harmonieuses, mais pas toujours agréables à entendre - elles sont périodiquement superposées à des effets acoustiques nets. Bien que pour le style choisi, cela ressemble à une vague organique. Vous pouvez écouter le travail de Dadabots sur YouTube, il y a une diffusion en direct 24h / 24 .

Des systèmes de musique IA sont également en cours de développement à Jukedeck . Cette startup développe un outil de génération de pistesavec une humeur et un rythme donnés. Il y a un an, il a été acquis par une société propriétaire de TikTok. Les technologies Jukedeck permettent aux réseaux sociaux d'économiser sur les redevances.

... et savoir chanter


Fin avril, un tel outil a été introduit dans OpenAI, il s'appelait Jukebox . Il génère des compositions avec des paroles et des chants significatifs. Voici un exemple:


Les ingénieurs ont formé un réseau neuronal sur un ensemble de données de 1,2 million de chansons (600 000 étaient en anglais). Le texte et les métadonnées correspondant ont été extraits de la bibliothèque LyricWiki. Pour générer de nouvelles pistes, le système AI utilise la méthode VQ-VAE (Vector Quantized Variational AutoEncoder) - il comprime les pistes et en extrait les informations acoustiques nécessaires. Puis sur sa base forme une nouvelle composition. Le juke-box passe environ neuf heures à écrire une minute d'une chanson, mais jusqu'à présent, il ne sait pas comment générer des chansons familières avec un refrain répété. Le système nécessite également de grandes ressources informatiques - il n'est pas encore possible de le tester à la maison sur un ordinateur ou en studio. À l'avenir, les développeurs prévoient de corriger ces lacunes.

Mais les musiciens seront-ils remplacés


Les auteurs d'instruments intelligents pour générer de la musique disent que les algorithmes machine ne sont pas destinés à remplacer les compositeurs, mais à étendre leurs capacités artistiques.

La chanteuse américaine Taryn Southern a enregistré un album à l'aide d'une solution basée sur l'IA. Le réseau de neurones a écrit la musique du morceau Break Free et a généré un clip vidéo. La chanteuse principale de YACHT, Claire Evans, a également utilisé des algorithmes machine pour écrire Chain Tripping . L'ordinateur a généré de nouvelles mélodies basées sur les travaux précédents de Claire, et l'interprète a connecté les échantillons les plus intéressants les uns aux autres.

Les algorithmes d'apprentissage automatique aident également les musiciens à résoudre des problèmes techniques. Par exemple, les développeurs de LANDR proposent un système d'intelligence artificielle qui suit automatiquement les pistes. Plus de 2 millions d'interprètes l' utilisent déjà .


Lectures complémentaires:

"Son machine": synthétiseurs basés sur des réseaux de neurones.
Histoire des synthétiseurs vocaux: premières installations mécaniques.
Histoire des synthétiseurs vocaux: ère informatique.


Que lire chez nous sur Habré:


More articles:


All Articles