YuE — Как превратить текст в песню с открытой AI-моделью

Представьте: вы написали стихи, но не умеете сочинять музыку. Или хотите создать демо-версию песни за пару минут. Или экспериментируете с разными музыкальными стилями. Именно для таких задач создан YuE — открытая модель генерации музыки, которая превращает текст в полноценные композиции.

Что такое YuE?

YuE (произносится как «йе» или «юэ», что по-китайски означает «музыка» и «счастье») — это open-source модель для генерации песен по тексту (lyrics2song). В отличие от многих аналогов, она:

• Создает не только мелодию, но и вокал
• Поддерживает несколько языков (английский, китайский, японский, корейский)
• Позволяет контролировать стиль через текстовые промпты
• Работает с референсными треками для клонирования голоса и стиля

Проще говоря, вы даете модели текст и описание стиля, а она возвращает готовую песню длиной в несколько минут.

Почему разработчикам стоит обратить внимание?

1. Открытая альтернатива коммерческим сервисам YuE позиционируется как open-source аналог Suno.ai. Модель доступна под лицензией Apache 2.0, что позволяет свободно использовать её в коммерческих проектах.

   

2. Гибкость настройки

   • Поддержка LoRA-дообучения
   • Различные режимы работы: от генерации «с нуля» до стилевого переноса
   • Контроль через промпты (жанр, инструменты, настроение)

3. Растущее комьюнити За полгода проект собрал более 5 тысяч звезд на GitHub и обзавелся кучей сторонних оберток и расширений.

Как это работает технически?

YuE использует двухэтапную архитектуру:

1. Stage 1 (7B параметров): Генерация музыкального контента на основе текста
2. Stage 2 (1B параметров): Доработка и улучшение качества

Для работы требуется серьезное железо:

• Минимум 24GB VRAM для коротких сессий
• Лучше 80GB VRAM (A100/H800) для полных песен

Интересно, что сообщество уже адаптировало модель для работы на слабых GPU через квантованные версии и оптимизации типа exllamav2.

Практическое применение: от демо до коммерции

1. Быстрое прототипирование Музыканты могут за минуты получить демо-версию песни для оценки идеи.

2. Контент для соцсетей Блогеры и создатели контента генерируют уникальные музыкальные фрагменты.

3. Эксперименты со стилями Попробуйте «спеть» один и тот же текст в стиле поп, рок или электроники.

4. Голосовое клонирование По референсному треку можно создать песню в похожем вокальном стиле.

Как попробовать?

Для быстрого старта:

1. Онлайн-демо: Демо-страница YuE
2. Windows: Готовый установщик через Pinokio
3. Colab: YuE-extend для работы в браузере

Для локального запуска (Linux/WSL):

conda create -n yue python=3.8
conda activate yue
pip install -r requirements.txt
pip install flash-attn --no-build-isolation
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE/inference/
python infer.py --cuda_idx 0 --stage1_model m-a-p/YuE-s1-7B-anneal-en-cot --stage2_model m-a-p/YuE-s2-1B-general

Что в планах?

Разработчики обещают:

• Поддержку разделения треков (stemgen)
• Интеграцию с llama.cpp
• Онлайн-демо на Hugging Face Spaces

Вывод: кому подойдет YuE?

Проект особенно интересен:

• Разработчикам музыкальных приложений
• Инди-музыкантам и композиторам
• Исследователям в области генеративного AI

Если вы искали open-source альтернативу коммерческим сервисам генерации музыки — YuE один из самых перспективных вариантов на горизонте. А с учетом активного развития сообщества, функционал будет только расти.

P.S. Авторы даже написали песню про свою модель — послушать можно здесь.