Get best of the week

Apa jaringan saraf dapat "bernyanyi" dan melakukan death metal

Mari kita bicara tentang alat cerdas yang dapat menghasilkan lagu dan bahkan lirik. Ini akan menjadi tentang keputusan perusahaan dan laboratorium, serta pengembangan penggemar.


Foto Joe Green / Unsplash

Jaringan saraf menulis musik ...


Itu synthesizer NSynth Super . Itu dibangun atas dasar sistem AI, yang membentuk suara baru yang tidak ada di alam dari sampel yang direkam sebelumnya. Algoritme dapat menggabungkan suara seruling dan drum . NSynth dapat bekerja dengan 16 alat musik - atas dasar itu ia menghasilkan lebih dari 100 ribu suara. Dia menganalisis karakteristik input mereka, dan kemudian secara linear menginterpolasi, membentuk representasi matematis.

NSynth Super adalah proyek sumber terbuka. Sumber dan skema untuk perakitan tersedia untuk semua orang di repositori di GitHub .

Contoh lain adalah sistem kecerdasan buatan Dadabots , yang dikembangkan oleh musisi CJ Carr dan Zack Zukowski. Jaringan saraf menyusun lagu-lagu death metal - itu dilatih pada karya Archspire tim Kanada . Solusi berbasis AI menghasilkan komposisi yang cukup harmonis, meskipun tidak selalu menyenangkan, - efek akustik yang tajam secara berkala ditumpangkan pada mereka. Meskipun untuk gaya yang dipilih itu terlihat seperti gelombang organik. Anda dapat mendengarkan karya Dadabots di YouTube, ada siaran langsung sepanjang waktu .

Sistem musik AI juga sedang dikembangkan di Jukedeck . Startup ini sedang mengembangkan alat untuk menghasilkan trekdengan suasana hati dan kecepatan tertentu. Setahun yang lalu, diakuisisi oleh perusahaan yang memiliki TikTok. Teknologi Jukedeck membantu jejaring sosial menghemat royalti.

... dan tahu cara bernyanyi


Pada akhir April, alat semacam itu diperkenalkan di OpenAI, disebut Jukebox . Ini menghasilkan komposisi dengan lirik dan vokal yang bermakna. Berikut ini sebuah contoh:


Insinyur melatih jaringan saraf pada kumpulan data 1,2 juta lagu (600 ribu dalam bahasa Inggris). Teks dan metadata untuk mereka diambil dari perpustakaan LyricWiki. Untuk menghasilkan trek baru, sistem AI menggunakan metode VQ-VAE (Vector Quantized Variational AutoEncoder) - kompres trek dan mengekstraksi informasi akustik yang diperlukan dari mereka. Kemudian atas dasar membentuk komposisi baru. Jukebox menghabiskan sekitar sembilan jam untuk menulis satu menit dari sebuah lagu, tetapi sejauh ini tidak tahu bagaimana membuat lagu-lagu yang akrab dengan chorus berulang. Sistem ini juga membutuhkan sumber daya komputasi yang besar - belum memungkinkan untuk mengujinya di rumah di komputer atau di studio. Di masa depan, pengembang berencana untuk memperbaiki kekurangan ini.

Tetapi akankah musisi diganti


Para penulis instrumen cerdas untuk menghasilkan musik mengatakan bahwa algoritma mesin tidak dimaksudkan untuk menggantikan komposer, tetapi untuk memperluas kemampuan artistik mereka.

Penyanyi Amerika Taryn Southern merekam album menggunakan solusi berbasis AI. Jaringan saraf menulis musik untuk lagu Break Free dan menghasilkan klip video. Vokalis YACHT, Claire Evans juga menggunakan algoritma mesin untuk menulis Chain Tripping . Komputer menghasilkan melodi baru berdasarkan karya Claire sebelumnya, dan pemain tersebut menghubungkan sampel yang paling menarik satu sama lain.

Algoritma pembelajaran mesin juga membantu musisi memecahkan masalah teknis. Misalnya, pengembang dari LANDR menawarkan sistem kecerdasan buatan yang secara otomatis melacak trek. Lebih dari 2 juta pemain sudah menggunakannya .


Bacaan tambahan:

"Suara mesin": synthesizer berdasarkan pada jaringan saraf.
Sejarah synthesizer bicara: instalasi mekanik pertama.
Sejarah synthesizer bicara: era komputer.


Apa yang harus dibaca pada kami di Habré:


More articles:


All Articles