AudioCraft — новое решение от Meta* для создания музыки и звуков на основе текстового описания

Meta* выпустила новый инструмент с открытым исходным кодом под названием AudioCraft. Он позволяет пользователям создавать музыку и звуки полностью с помощью генеративного ИИ.

AudioCraft состоит из трех моделей, каждая из которых занимается различными областями генерации звука:

• MusicGen позволяет создавать мелодии по текстовым подсказкам. Она была обучена на «20 000 часов музыки, принадлежащей Meta* или лицензированной специально для этой цели».
• AudioGen создаёт определённые звуки из текстовых подсказок, имитируя, к примеру, лай собак или шаги человека.
• EnCodec позволяет обрабатывать звуки, уменьшая количеством артефактов.

Компания позволила представителям СМИ прослушать некоторые образцы аудиозаписей, созданных с помощью AudioCraft. Генерируемый свист и шум сирен звучал довольно естественно, а вот звучание гитарных струн всё же казалось искусственными, отметили в The Verge.

Разработка Meta* не единственная в своём роде. Google ранее уже представила MusicLM, большую языковую модель, которая тоже генерирует звуки на основе текстовых подсказок.

Звукозаписывающие лейблы и артисты такие инновации не оценили. Многие из них уже высказались об опасностях ИИ, поскольку некоторые модели могут использовать для обучения материалы, защищённые авторским правом.

AudioCraft на GitHub →

*Деятельность Meta Platforms Inc. и принадлежащих ей социальных сетей Facebook и Instagram запрещена на территории РФ.