Как превратить черновик сценария в готовое видео с помощью StoryGen Atelier

Вчера наткнулся на репозиторий, который заставил меня задуматься о том, как быстро меняется работа с контентом. Обычно создание раскадровки — это куча правок, созвонов с иллюстраторами и попытки объяснить на пальцах, как одна сцена должна перетекать в другую. StoryGen Atelier пытается автоматизировать этот процесс, используя связку из нескольких нейросетей от Google.

Что это за инструмент

StoryGen Atelier — это опенсорсный комбайн для генерации видеороликов на основе текстового описания. Если вкратце: вы скармливаете ему идею, а на выходе получаете смонтированный ролик с плавными переходами. Проект написан на Node.js и React, а за «мозги» отвечают модели Gemini и Vertex AI Veo.

Интересно, что автор не просто заставляет нейронку рисовать картинки, а выстроил целую цепочку обработки кадров, чтобы видео не выглядело как набор случайных слайдов.

Как это работает под капотом

Самое любопытное здесь — алгоритм склейки. Вместо того чтобы генерировать всё видео одним куском (что часто приводит к каше в кадре), разработчик применил стратегию Interpolation Chain или «скользящее окно».

Процесс разбит на три этапа:

1. Сначала Gemini анализирует два соседних кадра (Shot A и Shot B). Она придумывает текстовую инструкцию для перехода. Например: «Камера плавно наезжает на объект, пока он поворачивается вправо».
2. Затем в дело вступает модель Vertex AI Veo. Она берет первый кадр как стартовую точку, второй — как конечную, и генерирует между ними плавный видеоряд на основе промпта из первого шага.
3. В конце подключается FFmpeg. Он просто сшивает все полученные куски в один файл без перекодирования, что сохраняет качество и экономит время.

Для последнего кадра система генерирует отдельную «заглушку» с кинематографичным затуханием, чтобы ролик не обрывался на полуслове.

Технологический стек

Проект выглядит довольно аккуратно с точки зрения архитектуры:

• Фронтенд: React с Vite и библиотека компонентов Mantine UI.
• Бэкенд: Node.js на Express.
• Хранение данных: SQLite (через better-sqlite3) для логов и истории генераций.
• Видео: fluent-ffmpeg.

Для работы вам понадобятся ключи от Google Cloud (Vertex AI API) и Gemini API. Учитывайте, что Veo — модель довольно свежая, и доступ к ней может зависеть от региона вашего GCP проекта.

Что можно получить на выходе

Автор добавил в репозиторий примеры в разных стилях. Выглядит это действительно неплохо для автоматизированного решения.

Стиль аниме:

Киберпанк:

Стиль студии Ghibli:

Особенно радует наличие встроенного гайда по промптам (VideoGenerationPromptGuide.md). Это полезно, потому что работа с видеомоделями сильно отличается от привычного Stable Diffusion или Midjourney.

Кому это пригодится

Я вижу несколько сценариев, где StoryGen Atelier сэкономит кучу нервов:

• Быстрое прототипирование рекламы или короткометражек. Можно показать заказчику «черновик» видео еще до того, как команда приступит к работе.
• Создание контента для соцсетей, где важна скорость и стилистическое единство.
• Изучение работы с Vertex AI. Код бэкенда достаточно прозрачный, чтобы разобраться, как интегрировать генерацию видео в свои проекты.

Как запустить

Разработчик подготовил скрипт для быстрого старта, так что не придется мучиться с запуском фронта и бэка в разных терминалах.

# Даем права на запуск
chmod +x start_servers.sh
# Поехали
./start_servers.sh

Перед этим не забудьте создать файл .env в папке backend и прописать там свои API ключи. По умолчанию бэкенд висит на 3005 порту, а интерфейс — на 5180.

Итоги

Проект StoryGen Atelier — это крепкий пример того, как можно связать разрозненные нейросетевые API в работающий инструмент. Да, он требует настройки Google Cloud, что может быть порогом входа для новичков, но сама логика «интерполяционной цепочки» реализована очень здраво. Если вы ищете способ автоматизировать создание раскадровок или просто хотите пощупать возможности Vertex AI Veo в реальном коде, этот репозиторий точно стоит того, чтобы его склонировать.