DepthCrafter - Когда videos обретают глубину без головной боли

Вы когда-нибудь пытались извлечь данные о глубине из обычного видео? Если да, то знаете, насколько это сложно — особенно когда нужно сохранить временную согласованность между кадрами. Команда Tencent AI Lab представила решение этой проблемы — DepthCrafter, получивший статус Highlight на CVPR 2025.

Что в коробке?

DepthCrafter умеет:

Генерировать последовательности глубины для видео из открытого мира (без ограничений на содержимое)
Поддерживать временную согласованность между кадрами — никаких скачков и артефактов
Работать без дополнительных данных вроде поз камеры или оптического потока
Интегрироваться в популярные инструменты: ComfyUI и Nuke

Кстати, недавно вышла "старшая сестра" проекта — GeometryCrafter для преобразования видео в point cloud.

Почему это прорыв?

Посмотрите на сравнение с аналогами:

| Метод | Скорость (мс/кадр) | Качество (AbsRel ↓) | |----------------|-------------------|---------------------| | Marigold | 1070.29 | 0.532 | | Depth-Anything | 180.46 | 0.367 | | DepthCrafter | 465.84 | 0.270 |

Проект вдвое быстрее Marigold при значительно лучшем качестве, и хоть немного уступает в скорости Depth-Anything, но выигрывает по точности.

Как это использовать?

Онлайн-демо через Hugging Face Spaces
Локальная установка (требуется GPU):

git clone https://github.com/Tencent/DepthCrafter.git
pip install -r requirements.txt
python run.py --video-path your_video.mp4

Плагины для Nuke и ComfyUI

Для разных задач доступны режимы:

Высокое качество (1024×576) ~2.1 FPS на A100
Быстрый режим (512×256) ~8.6 FPS на A100

Кому это нужно?

VFX-художникам: создание эффектов глубины для кинопроизводства
Разработчикам игр: генерация 3D-сцен из видео
Исследователям CV: анализ видеоданных с информацией о глубине
AR/VR-разработчикам: быстрая подготовка контента

Под капотом

Проект активно развивается — уже вышло несколько версий с улучшениями скорости и качества. Сообщество активно участвует в разработке — есть поддержка EXR формата, скрипты для бенчмарков и удобные интеграции.

@inproceedings{hu2025-DepthCrafter,
  title={DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos},
  author={Hu, Wenbo and Gao, Xiangjun and Li, Xiaoyu and others},
  booktitle={CVPR},
  year={2025}
}

Стоит ли пробовать?

Если вы работаете с видеоаналитикой, компьютерным зрением или визуальными эффектами — однозначно да. DepthCrafter предлагает:

Открытый исходный код
Поддержку сообщества
Интеграции с популярными инструментами
Превосходное качество результатов

Проект уже собрал 1400+ звёзд на GitHub — явный признак востребованности решения. Присоединяйтесь к числу разработчиков, меняющих будущее компьютерного зрения!