Hallo: Как оживить портрет с помощью голоса

29 июл 2025

Репозиторий давно не обновлялся

Последнее обновление было 2 года назад.

8,663
1,119
450
2 года

Представьте, что у вас есть фотография человека, и вы хотите, чтобы он «заговорил» — синхронно двигал губами, менял выражение лица в такт аудиозаписи. Раньше для этого требовались сложные 3D-модели и профессиональные студии. Теперь же проект Hallo делает это возможным с помощью искусственного интеллекта.

Что такое Hallo?

Hallo — это open-source проект от исследователей из Fudan University, Baidu и ETH Zurich, который использует иерархический подход для синтеза видео на основе аудиовходов. Проще говоря, он берёт:

  • 📷 Статичное изображение лица
  • 🎧 Аудиозапись речи

И выдаёт:

  • 🎥 Видео, где персонаж на фото реалистично «произносит» текст из аудио

Пример работы Hallo

Кому это нужно?

  1. Разработчикам мультимедийных приложений — для создания интерактивных аватаров
  2. Видеопродакшну — быстрая генерация говорящих голов для роликов
  3. Геймдеву — анимированные NPC без mocap-студии
  4. Исследователям ИИ — открытый код для экспериментов с генеративными моделями

Как это работает?

Технически Hallo использует:

Реклама
  • Иерархическую архитектуру — отдельно обрабатывает позу головы, мимику и движение губ
  • Stable Diffusion — как базовую модель для генерации
  • Wav2Vec — для анализа аудио
  • InsightFace — для работы с лицевой анатомией
# Пример запуска inference
python scripts/inference.py \
  --source_image photo.jpg \
  --driving_audio speech.wav

Почему это круто?

  1. Реалистичность — лучше многих аналогов передаёт естественные движения
  2. Гибкость — можно настраивать вес разных компонентов (губы, поза, мимика)
  3. Сообщество — уже есть интеграции с ComfyUI, WebUI и даже версия для Windows
  4. Открытость — полный код и модели доступны на HuggingFace

Где попробовать?

Что в перспективе?

Разработчики планируют:

  • Поддержку китайского языка
  • Оптимизацию для мобильных устройств
  • Улучшение качества анимации

Hallo — один из самых впечатляющих open-source проектов в области аудио-визуального синтеза. Если вам нужно оживить портреты без сложного продакшна, определённо стоит попробовать. А если вы исследователь ИИ — код проекта даёт отличную основу для собственных экспериментов.

🔗 Ссылки:

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.