Как превратить ComfyUI в полноценный видеоредактор для LTX Video

Генерация видео через диффузионные модели в ComfyUI обычно напоминает сборку сложного конструктора из сотен проводов. Если вам нужно соединить несколько кадров, подложить звук, синхронизировать реплику персонажа или просто обрезать неудачный дубль, граф мгновенно разрастается до нечитаемых масштабов. Приходится постоянно прыгать между Premiere Pro и браузером, экспортируя промежуточные результаты туда и обратно.

На днях я наткнулся на репозиторий WhatDreamsCost-ComfyUI. Автор устал от постоянного жонглирования десятком разрозненных нод и собрал полноценную монтажную панель прямо внутри одной ноды для генератора LTX Video. Проект уже набрал почти 2000 звёзд, и в нём есть несколько действительно толковых интерфейсных решений, которые сильно экономят время.

Зачем тащить таймлайн внутрь нод

Центральная часть набора — нода LTX Director. Вместо того чтобы настраивать тайминги в текстовых полях или высчитывать кадры на калькуляторе, вы получаете привычный таймлайн с дорожками.

Сюда можно перетаскивать видеофайлы, расставлять ключевые кадры (первый, промежуточные, финальный), нарезать дорожки и комбинировать текстовые промпты. Внутри встроен механизм Prompt Relay, который плавно передаёт управление от одного текстового описания к другому по ходу хронометража.

Вторая частая боль при генерации говорящих голов — расчёт длины сцены под озвучку. Автор сделал отдельную ноду Speech Length Calculator. Она в реальном времени анализирует реплику в кавычках и выдает рекомендуемую длительность ролика в секундах с учётом темпа речи. Это спасает от ситуаций, когда генерация обрывается на полуслове или видео тянется в тишине ещё пару секунд.

Что умеет набор нод

Помимо базового редактирования, во второй версии появилось несколько практичных вещей для пайплайна:

• Работа с IC-LoRA. На отдельную дорожку можно закинуть референсное видео или изображение (поддерживается LTX Ingredients), чтобы перенести движение или стиль без ручной возни с pre-process цепочками.
• Встроенная работа с аудио. Вы можете закинуть свой аудиофайл, подрезать его прямо в интерфейсе и применить аудио-инпеинтинг, смешивая исходную дорожку со сгенерированными звуками.
• Режим Retake (пока в бете). Выделяете кусок на таймлайне и перегенерируете только неудавшийся отрезок прямо внутри проекта.
• Оптимизация памяти и кэширование. Патченные модели кэшируются между прогонами, поэтому ComfyUI не перезагружает веса в VRAM каждый раз при мелких правках промпта. Плюс автор добавил нормальную поддержку SageAttention и Triton.
• Сохранение состояния. Таймлайн вместе со всеми настройками, импортированными медиафайлами и точками разреза можно экспортировать в обычный JSON.

Simple Controls

New Crop Mode!

В комплекте идут улучшенные ноды для загрузки видео и аудио (Load Video UI / Load Audio UI). В отличие от стандартных компонентов ComfyUI, они нормально поддерживают drag-and-drop, умеют кадрировать под разные соотношения сторон и не падают на файлах тяжелее 100 МБ.

Для пакетной работы с кадрами есть нода Multi Image Loader. Она объединяет предварительную обработку, изменение разрешения и встроенную мини-галерею.

Установка и нюансы

Установить пакет можно через стандартный ComfyUI Manager (ищите по названию WhatDreamsCost-ComfyUI) или вручную через терминал:

cd ComfyUI/custom_nodes/
git clone https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI.git

Перед запуском обязательно обновите зависимости ComfyUI-LTXVideo и ComfyUI-KJNodes до актуальных версий, иначе ноды таймлайна выдадут ошибку при инициализации графа. Готовые примеры рабочих процессов автор выложил прямо в папку example_workflows внутри репозитория.

Из минусов: автор честно предупреждает в README, что режим Retake пока сыроват и работает нестабильно. Кроме того, обработка очень длинных видео всё ещё упирается в системную оперативную память из-за ограничений самого движка ComfyUI, поэтому собирать часовые фильмы внутри одной ноды не выйдет.

Кому пригодится

Если вы экспериментируете с моделью LTX Video 2.3 и устали от хаоса связей между десятками мелких нод, этот проект определенно стоит забрать в коллекцию. Он заменяет громоздкие цепочки вспомогательных утилит аккуратным визуальным таймлайном и заметно ускоряет итерации при генерации сложных сцен.