Как собрать видеоредактор на стероидах LLM с помощью VideoAgent

Недавно наткнулся на репозиторий VideoAgent от команды HKUDS. Если вы когда-нибудь пробовали автоматизировать монтаж видео или создание контента, то знаете, какая это боль. Обычно всё сводится либо к примитивной склейке по шаблону, либо к попыткам заставить нейронку выдать что-то вменяемое длиннее пяти секунд. Ребята из Гонконгского университета решили подойти к вопросу иначе и собрали фреймворк, который управляет видеопроизводством через цепочку специализированных агентов.

https://raw.githubusercontent.com/HKUDS/VideoAgent/main/assets/logo_new.png

Что это вообще такое

VideoAgent — это не просто очередная обертка над OpenAI. Это агентская система, которая умеет анализировать ваши намерения, планировать рабочие процессы и использовать кучу разных инструментов для обработки видео, звука и текста. Проект позиционируется как All-in-One решение для понимания, редактирования и генерации видеоконтента.

Самое интересное здесь — архитектура. Вместо того чтобы скармливать всё одной «толстой» модели, фреймворк разбивает задачу на подзадачи и делегирует их разным агентам. Один разбирается, что именно вы хотите, второй ищет нужные фрагменты в базе видео, третий накладывает звук, а четвертый следит, чтобы всё это не развалилось по смыслу.

Как это работает внутри

Разработчики выделили три основных инновации, которые выделяют проект на фоне аналогов вроде NotebookLM или Funclip.

1. Анализ намерений (Intent Analysis). Система не просто считывает текст команды. Она пытается вычленить скрытые подзадачи. Если вы просите «сделать смешное видео про кота», агент понимает, что нужно не только найти кота, но и подобрать бодрую музыку, возможно, добавить закадровый смех или мемы.
2. Автономное планирование на графах. Весь воркфлоу строится в виде графа, где узлы — это инструменты, а ребра — последовательность действий. Система сама решает, в каком порядке запускать Whisper для транскрибации или CosyVoice для озвучки.
3. Мультимодальное понимание. Тут используется Storyboard Agent. Он превращает ваши хотелки в визуальные запросы и сопоставляет их с имеющейся библиотекой видеоматериалов.

https://raw.githubusercontent.com/HKUDS/VideoAgent/main/assets/framework.jpg

Что можно собрать на коленке

Возможности впечатляют, особенно если посмотреть на таблицу сравнения в репозитории. VideoAgent закрывает те дыры, которые обычно остаются пустыми в других опенсорсных проектах:

• Синхронизация по ритму. Можно делать эдиты, которые попадают точно в бит музыки.
• Кросс-культурная адаптация. Например, превратить английский стендап в китайский диалог «сяншэн», сохраняя при этом голос оригинального спикера.
• Создание мемов и музыкальных видео. Автоматическая генерация видеоряда под песню или создание роликов в стиле «говорящих голов».
• Видео-ответы на вопросы. Можно скормить системе длинный ролик и спрашивать по его содержанию, получая не просто текст, а нарезанные фрагменты с ответами.

Технический стек и запуск

Для запуска понадобится Linux или Windows и видеокарта с минимум 8 ГБ видеопамяти. Стек довольно плотный, так что готовьтесь выкачивать много весов.

В основе лежат проверенные временем и сообществом инструменты:

• Whisper для распознавания речи.
• CosyVoice и Fish Speech для синтеза голоса.
• ImageBind для мультимодальных эмбеддингов.
• FFmpeg для финальной сборки (куда же без него).

Конфигурация моделей гибкая. Для планирования графов авторы настоятельно рекомендуют Claude 3.7, так как он лучше справляется с логикой переходов. Для понимания видео можно подключить Gemini, а для простых задач редактирования — GPT-4o.

Пример настройки в config.yml:

llm:
  deepseek_api_key: "your_key"  # Для ремиксов и TTS
  claude_api_key: "your_key"    # Для роутинга агентов
  gpt_api_key: "your_key"       # Для QA и саммари
  gemini_api_key: "your_key"    # Для детального понимания видео

Стоит ли пробовать

Проект выглядит очень бодро для тех, кто занимается автоматизацией контента или R&D в области видео-AI. Это не «магическая кнопка», которая сделает вам голливудский фильм за секунду, но это отличный конструктор.

Главный плюс — модульность. Вам не обязательно скачивать все 10+ моделей из списка. Если вам нужно только делать видео-саммари, хватит одного Whisper и LLM. Если же вы хотите делать полноценные AI-каверы с видеорядом, придется развернуть весь зоопарк с DiffSinger и Seed-VC.

https://raw.githubusercontent.com/HKUDS/VideoAgent/main/assets/overview.png

Из минусов — порог входа. Нужно понимать, как работают агенты, и иметь доступ к API нескольких провайдеров LLM. Но если вы уже работаете с LangChain или AutoGPT, то разберетесь быстро.

Посмотреть примеры работы (от эдитов Человека-паука до новостных сводок) можно в демо-документации проекта. Там же лежат ссылки на Bilibili и YouTube с результатами генерации.