Как заставить портрет ожить без магии и студийного света
Представьте ситуацию: вам нужно создать видеоролик, где исторический персонаж или рисованный герой произносит речь, но бюджет не позволяет нанять аниматора, а времени на изучение сложных тулзов вроде After Effects нет. Обычно в таких случаях либо получается «зловещая долина», либо картинка просто дрожит и разваливается. Ребята из Kling AI Research выкатили проект, который решает эту задачу на удивление изящно и быстро.
Проект называется LivePortrait. Если вкратце, это инструмент для превращения одной статичной фотографии в полноценное живое видео. Он берет ваше фото (или видео) и «натягивает» на него мимику и движения из другого ролика.
Что в нем особенного
На GitHub полно проектов для нейроанимации лиц, но у LivePortrait есть пара козырей в рукаве, которые заставили меня обратить на него внимание.
Во-первых, скорость. На RTX 4090 один кадр генерируется за считанные миллисекунды. Это не те тяжеловесные модели, которые заставляют видеокарту кипеть ради пятисекундного тиктока.
Во-вторых, здесь круто реализовали управление деталями. Авторы внедрили механизмы Stitching (сшивание) и Retargeting (перенаправление). Это значит, что вы можете отдельно контролировать движение глаз или губ, чтобы лицо не выглядело как резиновая маска. Модель понимает структуру лица настолько хорошо, что даже при сильных поворотах головы «картинка» не плывет.
Кстати, разработчики не ограничились только людьми. В последних обновлениях завезли поддержку животных. Теперь можно анимировать кота или собаку, и это выглядит пугающе реалистично.
Как это работает под капотом
Если не лезть глубоко в дебри архитектуры (хотя их технический репорт на arXiv довольно занятный), проект построен на PyTorch. Основная идея в том, что нейронка не просто копирует пиксели, а извлекает ключевые точки лица и передает их динамику.
Интересно, что они добавили поддержку macOS с чипами Apple Silicon. Правда, сразу предупреждают: на Mac это будет работать раз в 20 медленнее, чем на топовой NVIDIA. Но сам факт, что можно запустить инференс на ноутбуке без плясок с бубном, радует.
Попробуем запустить
Установка довольно стандартная для Python-проектов, но есть нюансы с зависимостями для режима анимации животных.
Для начала клонируем и создаем окружение:
git clone https://github.com/KlingAIResearch/LivePortrait
cd LivePortrait
conda create -n LivePortrait python=3.10
conda activate LivePortrait
pip install -r requirements.txt
Для запуска базовой демки с человеком достаточно одной команды:
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4
Если не хочется возиться с консолью, у проекта отличный интерфейс на Gradio. Запускаете python app.py, и у вас в браузере открывается полноценный редактор, где можно подкрутить параметры обрезки видео или интенсивность мимики.
Для чего это использовать
Помимо очевидного создания мемов, у LivePortrait есть реальные кейсы:
- Игровая индустрия: создание быстрых анимаций диалогов для NPC по одной лишь иконке персонажа.
- Локализация: когда нужно подогнать движение губ под новую озвучку в видео (Video-to-Video Editing).
- Создание аватаров для чат-ботов или виртуальных ассистентов.
Разработчики даже предусмотрели сохранение шаблонов движений в формате .pkl. Это полезно, если вы хотите переиспользовать удачную мимику для разных персонажей, не обрабатывая исходный ролик каждый раз заново. Плюс это закрывает вопрос приватности: вы можете отправить коллеге файл с движениями, не пересылая само видео со своим лицом.
Пара мыслей напоследок
LivePortrait — это один из тех редких проектов, где академическая база (статья на arXiv) соседствует с по-настоящему удобным кодом. Туториал по установке понятный, есть готовые скрипты для оценки скорости и даже установщик в один клик для Windows-пользователей.
Конечно, стоит помнить об этике. Технологии дипфейков — штука скользкая, и авторы прямо об этом говорят в README. Но с технической точки зрения это отличный инструмент в арсенале разработчика, работающего с медиаконтентом или AI.
Если у вас завалялась пара лишних ГБ видеопамяти и фотография, которую давно хотелось оживить — попробуйте. Оно того стоит хотя бы ради эксперимента с анимацией домашнего кота.
