Google показала нейромережу, яка генерує музику за текстовим описом
Але викладати її у відкритий доступ компанія не планує.
Про нейромережу MusicLM розробники з Google розповіли на GitHub. Вони не планують робити її доступною або викладати вихідний код. Але «для підтримки майбутніх досліджень» вони опублікували набір із 5,5 тисяч пар «музика-текст».
MusicLM навчили на 280 тисячах годин музики, щоб та могла створювати зв’язкові пісні для «складних» описів. Нейромережа генерує мелодії на частоті 24 кГц, що залишається незмінною протягом кількох хвилин.
Як приклади дослідники наводять музику для аркадної гри, пісню, яка викликає «відчуття, що ти загубився у космосі», мелодію для медитації та інші.
Слухати приклади:
Більше прикладів можна почути на спеціальній сторінці.
Розробники зазначили, що з нейромережею може бути пов’язано багато етичних проблем — наприклад, вони виявили, що 1% згенерованої музики безпосередньо повторює мелодії з набору для навчання. Цього вже достатньо, щоб не випускати MusicLM у відкритий доступ через можливі проблеми з авторським правом.
Компанія не перша, хто створює подібні нейромережі: наприклад, OpenAI представила модель Jukebox в 2020 році, а сама Google вже має нейромережу для генерації мелодій на основі звукових підказок AudioML.