Adobe створила штучний інтелект, який перетворює текст на музику

Цього тижня Adobe представила експериментальний інструмент зі штучним інтелектом, який приєднався до інструментарію для роботи із зображеннями у Photoshop. Описаний компанією як “інструмент генерації та редагування музики на ранній стадії генеративного ШІ”, Project Music GenAI Control від Adobe може створювати музику (та інші аудіозаписи) з текстових підказок, які потім можна тонко налаштувати в тому ж інтерфейсі.

Adobe розглядає технологію на основі Firefly як творчого союзника, який – на відміну від експериментів з генеративним аудіо, таких як MusicLM від Google – йде на крок далі та дозволяє уникнути клопоту, пов’язаного з перенесенням результатів у зовнішні додатки, такі як Pro Tools, Logic Pro або GarageBand, для редагування. “Замість того, щоб вручну вирізати існуючу музику для створення вступів, аутро і фонового звуку, Project Music GenAI Control може допомогти користувачам створювати саме ті фрагменти, які їм потрібні, вирішуючи наскрізні проблеми робочого процесу”, – написала Adobe в анонсі в блозі.

Компанія пропонує почати з введення тексту на кшталт “потужний рок”, “веселий танець” або “сумний джаз” як основи. Далі можна вводити додаткові підказки, щоб налаштувати темп, структуру і повторення, збільшити інтенсивність, подовжити тривалість, реміксувати цілі фрагменти або створювати петлі. Компанія заявляє, що може навіть трансформувати аудіо на основі еталонної мелодії.

Adobe стверджує, що отримана музика є безпечною для комерційного використання. Компанія також інтегрує Content Credentials (“харчові етикетки” для створеного контенту), намагаючись бути прозорою щодо того, що ваш шедевр створений за допомогою штучного інтелекту.

“Один із найцікавіших моментів у цих нових інструментах полягає в тому, що вони не просто генерують звук – вони виводять його на рівень Photoshop, надаючи творчим працівникам такий самий глибокий контроль над формуванням, налаштуванням та редагуванням аудіо. Це свого роду контроль на рівні пікселів для музики”, – написав науковий співробітник Adobe Research Ніколас Брайан (Nicholas Bryan).

Проєкт реалізується у співпраці з Каліфорнійським університетом у Сан-Дієго та Школою комп’ютерних наук Університету Карнегі-Меллона. В оголошенні Adobe підкреслюється експериментальний характер Project Music GenAI Control. (У відео вище не було показано багато з його інтерфейсу, що свідчить про те, що він, можливо, ще не має користувацького інтерфейсу). Тож, можливо, вам доведеться зачекати деякий час, перш ніж ця функція (імовірно) з’явиться в пакеті Adobe Creative Cloud.