MimicMotion - Генерация видео с контролем позы человека от Tencent

Когда статичных изображений уже недостаточно

За последние годы генеративные модели для создания изображений совершили настоящий прорыв. Но с видео всё оказалось сложнее — до недавнего времени контролируемая генерация реалистичных движений человека оставалась серьёзной проблемой. Представьте, что вам нужно создать анимацию танца или спортивных движений, сохраняя при этом естественность и плавность. Именно эту задачу решает MimicMotion от Tencent.

Что такое MimicMotion?

MimicMotion — это фреймворк для генерации высококачественных видео с контролем позы человека. В отличие от предыдущих решений, он предлагает:

Контролируемую генерацию — вы задаёте желаемые позы, система создаёт плавное движение между ними
Длительные видео — до 72 кадров в последней версии (против типичных 16 в других решениях)
Реалистичную детализацию — благодаря инновационному подходу к обработке ключевых точек

Ключевые особенности

1. Confidence-aware Pose Guidance

Система анализирует «уверенность» модели в правильности определения позы и соответственно корректирует процесс генерации. Это решает проблему артефактов в сложных позах, где традиционные методы дают сбои.

2. Прогрессивное слияние латентных представлений

Новый подход к обработке длинных последовательностей позволяет генерировать видео произвольной длины без потери качества и экспоненциального роста требований к ресурсам.

3. Оптимизация под разные аппаратные конфигурации

Разработчики предусмотрели несколько режимов работы:

Полноценный режим (требует 16GB VRAM)
Экономичный режим с обработкой части вычислений на CPU
Базовая версия для 8GB видеокарт (с ограничением в 16 кадров)

model architecture

Как начать использовать

Установка достаточно проста для подобного класса решений:

conda env create -f environment.yaml
conda activate mimicmotion

Затем нужно загрузить веса моделей:

mkdir -p models/DWPose
wget https://huggingface.co/yzd-v/DWPose/resolve/main/yolox_l.onnx?download=true -O models/DWPose/yolox_l.onnx
wget https://huggingface.co/yzd-v/DWPose/resolve/main/dw-ll_ucoco_384.onnx?download=true -O models/DWPose/dw-ll_ucoco_384.onnx
wget -P models/ https://huggingface.co/tencent/MimicMotion/resolve/main/MimicMotion_1-1.pth

После этого можно запускать генерацию:

python inference.py --inference_config configs/test.yaml

Практическое применение

MimicMotion открывает новые возможности для:

Киноиндустрии — быстрый прототипинг анимации
Разработки игр — создание разнообразных движений персонажей
Фитнес-приложений — демонстрация упражнений
Виртуальных ассистентов — более естественные аватары

Вывод: стоит ли пробовать?

Если вы работаете в области компьютерной графики, разработки игр или создания видеоконтента, MimicMotion определённо заслуживает внимания. Проект уже принят на ICML 2025, что говорит о его научной ценности, а открытый код позволяет интегрировать технологию в свои проекты.

Главные преимущества перед аналогами — контроль позы, плавность длинных видео и относительно скромные системные требования. При этом учитывайте, что для полноценной работы всё же потребуется мощная видеокарта (рекомендуется от 16GB VRAM).

Для тех, кто хочет глубже разобраться в технологии, доступна научная статья на arXiv и демонстрации на сайте проекта.