Hallo: Как оживить портрет с помощью голоса
Репозиторий давно не обновлялся
Последнее обновление было 2 года назад.
Представьте, что у вас есть фотография человека, и вы хотите, чтобы он «заговорил» — синхронно двигал губами, менял выражение лица в такт аудиозаписи. Раньше для этого требовались сложные 3D-модели и профессиональные студии. Теперь же проект Hallo делает это возможным с помощью искусственного интеллекта.
Что такое Hallo?
Hallo — это open-source проект от исследователей из Fudan University, Baidu и ETH Zurich, который использует иерархический подход для синтеза видео на основе аудиовходов. Проще говоря, он берёт:
- 📷 Статичное изображение лица
- 🎧 Аудиозапись речи
И выдаёт:
- 🎥 Видео, где персонаж на фото реалистично «произносит» текст из аудио

Кому это нужно?
- Разработчикам мультимедийных приложений — для создания интерактивных аватаров
- Видеопродакшну — быстрая генерация говорящих голов для роликов
- Геймдеву — анимированные NPC без mocap-студии
- Исследователям ИИ — открытый код для экспериментов с генеративными моделями
Как это работает?
Технически Hallo использует:
- Иерархическую архитектуру — отдельно обрабатывает позу головы, мимику и движение губ
- Stable Diffusion — как базовую модель для генерации
- Wav2Vec — для анализа аудио
- InsightFace — для работы с лицевой анатомией
# Пример запуска inference
python scripts/inference.py \
--source_image photo.jpg \
--driving_audio speech.wav
Почему это круто?
- Реалистичность — лучше многих аналогов передаёт естественные движения
- Гибкость — можно настраивать вес разных компонентов (губы, поза, мимика)
- Сообщество — уже есть интеграции с ComfyUI, WebUI и даже версия для Windows
- Открытость — полный код и модели доступны на HuggingFace
Где попробовать?
Что в перспективе?
Разработчики планируют:
- Поддержку китайского языка
- Оптимизацию для мобильных устройств
- Улучшение качества анимации
Hallo — один из самых впечатляющих open-source проектов в области аудио-визуального синтеза. Если вам нужно оживить портреты без сложного продакшна, определённо стоит попробовать. А если вы исследователь ИИ — код проекта даёт отличную основу для собственных экспериментов.
🔗 Ссылки:
