Как запустить собственную студию клонирования голоса на домашнем ПК

Недавно поймал себя на мысли, что качественный синтез речи стал какой-то элитарной штукой. Хочешь крутой голос для озвучки ролика или инди-игры? Иди в ElevenLabs, плати подписку и надейся, что твои данные не утекут. Но на днях наткнулся на Voicebox от Джейми Пайна, и это как раз тот случай, когда open-source проект заставляет задуматься: а зачем вообще платить за облака?

Voicebox — это полноценная десктопная студия для работы с голосом. Она умеет клонировать тембр по короткому сэмплу, генерировать речь на 23 языках и даже накладывать эффекты вроде реверберации или компрессии прямо «из коробки». Главная фишка в том, что всё работает локально. Никаких запросов к API, никакой цензуры и полная приватность.

Что умеет эта штука

Проект не пытается быть просто оберткой над одной моделью. Разработчики засунули туда сразу пять движков синтеза (TTS), у каждого из которых свои сильные стороны.

Например, если вам нужно что-то быстрое и легкое, есть LuxTTS. Он ест всего около 1 ГБ видеопамяти и выдает звук в 48 кГц. Если же хочется эмоций, стоит смотреть в сторону Chatterbox Turbo. Он понимает специальные теги в тексте. Написали в скрипте [laugh] или [sigh], и модель реально рассмеется или вздохнет в нужный момент. Это выглядит гораздо живее, чем монотонное чтение робота.

Интересно реализована работа с длинными текстами. Если вы когда-нибудь пробовали скормить нейронке целую главу книги, то знаете, что они часто «ломаются» на середине. Voicebox сам разбивает текст на логические куски, генерирует их по отдельности и склеивает с помощью кроссфейда. В итоге получается бесшовное аудио до 50 000 символов.

Эффекты и постобработка

Обычно после генерации речи приходится идти в Audacity или Adobe Audition, чтобы голос не звучал слишком «сухо». Здесь же встроили 8 аудиоэффектов на базе библиотеки Pedalboard от Spotify. Можно накинуть эхо, изменить высоту тона (Pitch Shift) или добавить фильтры.

Есть даже готовые пресеты: можно в один клик сделать голос как из старой рации или превратить его в глубокий бас. Все это настраивается для каждого профиля голоса отдельно. Создали персонажа-робота — сохранили ему цепочку эффектов, и при каждой генерации он будет звучать одинаково.

Техническая начинка

С технической точки зрения проект собран довольно бодро. Вместо тяжелого Electron использовали Tauri на Rust. Это дало приличный прирост в производительности интерфейса и уменьшило вес самого приложения.

Бэкенд крутится на Python (FastAPI), что логично для работы с ML-моделями. Что действительно радует — поддержка железа. Voicebox не зациклен только на NVIDIA.

• На Mac используется MLX и Metal, что задействует Neural Engine.
• На Windows есть поддержка CUDA для зеленых карт и DirectML для всех остальных.
• Даже владельцев Intel Arc не обделили, добавив поддержку IPEX.

Для тех, кто хочет встроить синтез в свои пайплайны, Voicebox открывает REST API. Можно дергать генерацию простым curl-запросом:

curl -X POST http://localhost:17493/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "Привет, как дела?", "profile_id": "my_voice_id", "language": "ru"}'

Кому это пригодится

В первую очередь — разработчикам игр и контент-мейкерам. Возможность быстро набросать диалоги для NPC разными голосами, не выходя из IDE, экономит кучу времени.

Также проект будет полезен тем, кто делает подкасты или автоматизированную озвучку статей. Внутри есть редактор Stories — это такой многодорожечный таймлайн, где можно расставить реплики разных персонажей, подрезать их и собрать готовый аудиофайл.

Стоит ли пробовать

Если у вас есть хотя бы 8 ГБ видеопамяти (или современный Mac), то однозначно да. Проект активно растет, и в планах у автора добавить стриминг аудио в реальном времени и создание голосов по текстовому описанию.

Из минусов: под Linux пока нет готовых бинарников, придется собирать из исходников через just. Но для тех, кто привык к терминалу, это не станет большой проблемой.

Попробовать Voicebox можно, скачав установщик с официального сайта или склонировав репозиторий. Это отличный пример того, как сложные нейросетевые технологии упаковываются в удобный и понятный инструмент для людей.