Motion Diffusion Model - Генерация анимации по тексту с ускорением 40x

Пример анимации

Когда слова оживают

Представьте: вы пишете "человек идёт вперёд и поднимает ящик с инструментами", а нейросеть превращает это в плавную 3D-анимацию. Именно так работает Motion Diffusion Model (MDM) — проект, который уже собрал 3.6k звёзд на GitHub и активно используется в геймдеве, киноиндустрии и исследованиях ИИ.

Что умеет MDM?

Текст-в-анимацию: Преобразует текстовые описания в последовательности движений
Редактирование движений: Модифицирует существующую анимацию с сохранением контекста
Сверхбыстрая генерация: Последняя версия работает в 40 раз быстрее оригинальной модели
Поддержка SMPL: Экспорт в форматы для Blender/Maya/Unity

Как им пользоваться?

Установка займёт 10 минут:

conda env create -f environment.yml
conda activate mdm
bash prepare/download_smpl_files.sh

Генерация анимации по тексту:

python -m sample.generate --model_path ./save/model.pt \
  --text_prompt "человек танцует брейк-данс"

Технические особенности

Архитектура: диффузионная модель с трансформерами
Ускорение достигнуто за счёт:
- Сокращения шагов диффузии с 1000 до 50
- Кэширования результатов CLIP
Поддержка BERT и DistilBERT для обработки текста

Кому пригодится?

Гейм-дизайнерам: Быстрый прототипинг анимаций NPC
Режиссёрам: Визуализация сцен до съёмок
Исследователям: Бенчмаркинг для motion generation
Разработчикам VR: Генерация движений в реальном времени

Личный опыт

На тестовой машине с RTX 3090 генерация 10-секундной анимации занимает ~0.4 секунды. Для сравнения — ранние версии требовали 16 секунд на тот же результат. Особенно впечатляет точность сохранения семантики: запросы вроде "осторожно крадётся" и "быстро бежит" дают принципиально разную динамику движений.

Альтернативы и расширения

Авторы MDM развивают целое семейство проектов:

CLoSD: Реалтайм-контроль персонажей
SinMDM: Анимация негуманоидных существ
PriorMDM: Дообучение на малых данных

MDM — один из самых продвинутых инструментов для генерации движений, который продолжает улучшаться. Если вам нужно быстро создавать или редактировать анимацию по текстовому описанию — этот проект заслуживает внимания. А с учётом 40-кратного ускорения в последней версии, он стал практичным даже для real-time применений.

Ссылки: