MARS5-TTS — Синтез речи, который вас удивит

Представьте, что вы можете создать голосовой клон любого человека всего за 5 секунд его записи — и заставить этот голос читать любой текст с естественной интонацией. Звучит как фантастика? Но команда CAMB.AI сделала это реальностью с открытием модели MARS5-TTS.

Что скрывается за аббревиатурой TTS?

TTS (Text-To-Speech) — технологии преобразования текста в речь существуют давно, но MARS5 выводит их на новый уровень. В отличие от монотонных роботизированных голосов прошлого, эта модель умеет:

• Воспроизводить сложные интонационные паттерны (например, эмоциональные всплески в спортивных репортажах)
• Клонировать голос по короткому образцу (от 2 до 12 секунд)
• Чутко реагировать на пунктуацию и регистр букв в тексте

Как это работает на практике?

Сила MARS5 — в двухэтапном подходе:

1. AR-модель (Autoregressive) создает «грубый» вариант речи
2. NAR-компонент (Non-autoregressive) дополняет и улучшает его, используя метод диффузии

Такой дуэт позволяет добиться невероятной естественности звучания. Интересный момент — модель реагирует даже на такие нюансы:

• Запятые в тексте добавляют паузы
• Слова в ВЕРХНЕМ РЕГИСТРЕ получают акцент
• Можно использовать транскрипцию исходного аудио для более точного клонирования («глубокий клон»)

Быстрый старт: попробуйте за 5 минут

Хотите протестировать MARS5 прямо сейчас? Вот минимальный код для синтеза речи:

import torch, librosa

# Загружаем модель
mars5, config_class = torch.hub.load('Camb-ai/mars5-tts', 'mars5_english', trust_repo=True)

# Берем образец голоса (6 секунд — оптимально)
wav, sr = librosa.load('sample.wav', sr=mars5.sr, mono=True)
wav = torch.from_numpy(wav)

# Синтезируем речь с настройками по умолчанию
output_audio = mars5.tts("Привет, мир! Это тест MARS5.", wav)

Для тех, кто не хочет разбираться с кодом, есть онлайн-демо и Google Colab ноутбук.

Где это можно применить?

MARS5 открывает потрясающие возможности:

• Озвучка контента — от подкастов до аудиокниг с разными голосами
• Геймдев — уникальные голоса для каждого персонажа без дорогих актеров
• Образование — создание учебных материалов с «голосами» преподавателей
• Доступность — озвучка текста для людей с нарушениями зрения

При этом модель уже работает с 140+ языками через API CAMB.AI.

Технические нюансы

• Модель требует GPU с ~1.2GB памяти
• Использует современные технологии: Transformers, Diffusions, Vocos
• Имеет открытую лицензию AGPL 3.0 (но есть и коммерческая версия)

Стоит ли пробовать?

Если вы работаете с:

• Обработкой естественного языка
• Созданием голосовых интерфейсов
• Мультимедийным контентом
• Технологиями accessibility

— MARS5 станет для вас настоящей находкой. А если вы исследователь в области ML, проект открыт для контрибьюшенов.

Как отмечают разработчики: «Модель уже производит впечатляющие результаты, но нам есть куда расти». И судя по активности в Discord-сообществе, потенциал у MARS5 действительно огромный.