Как NVIDIA учит нейросети строить бесконечные 3D миры из одной картинки
Представьте, что вы скормили нейросети обычную фотографию комнаты или лесной тропинки, а на выходе получили не просто «объемную картинку», а полноценную, стабильную 3D-сцену, по которой можно гулять. Причем без «поплывших» текстур и артефактов при повороте камеры. NVIDIA Spatial Intelligence Lab выложила в открытый доступ проект Lyra, который делает именно это.
Я наткнулся на этот репозиторий пару дней назад и залип на демки. Это не очередная игрушка для генерации мемов, а серьезная попытка создать открытые модели «генеративных миров».
https://github.com/user-attachments/assets/f47c24c0-453e-4134-84f1-80c56613f4af
Что под капотом у Lyra
Если коротко, Lyra — это семейство моделей для создания 3D и 4D (динамических) сцен. Ребята из NVIDIA пошли по пути дистилляции видео-диффузионных моделей. Они берут знания из мощных генераторов видео и «перекладывают» их в формат, пригодный для реконструкции трехмерного пространства.
В репозитории сейчас лежат две версии:
- Lyra 1.0: умеет быстро собирать 3D-сцену из одного изображения или короткого видео. Она хороша тем, что работает по принципу feed-forward — то есть выдает результат почти мгновенно, без долгой оптимизации под каждый конкретный кадр.
- Lyra 2.0: свежее обновление, которое представили совсем недавно. Тут фокус сместился на масштабируемость. Модель генерирует «исследуемые» миры. Она поддерживает 3D-консистентность на длинных дистанциях. Это значит, что если вы «пройдете» в виртуальном мире сто метров и обернетесь, дерево сзади останется тем же деревом, а не превратится в кашу из пикселей.
Почему это работает лучше аналогов
Обычно при генерации 3D из картинки мы сталкиваемся с проблемой «галлюцинаций». Нейросеть дорисовывает то, чего не видит, и часто делает это криво. В Lyra применили несколько хитрых приемов.
В первой версии используется самодистилляция видео-диффузии. Модель обучается понимать геометрию сцены, анализируя, как объекты должны двигаться и меняться при смене ракурса. Это позволяет избежать эффекта «картонных декораций».
Во второй версии разработчики добавили возможность долгосрочной генерации. Это критически важно для геймдева или симуляций для роботов. Вы буквально можете генерировать окружение на лету, сохраняя логику пространства.
Как это потрогать руками
Разработчики не стали жадничать и выкатили всё: веса моделей лежат на HuggingFace, а код разбит на два понятных подкаталога Lyra-1 и Lyra-2.
Для запуска первой версии вам понадобится Python и, предсказуемо, видеокарта с приличным объемом памяти. Внутри каждого раздела есть свои инструкции по установке зависимостей.
Кстати, проект лицензирован под Apache 2.0. Это приятный сюрприз от NVIDIA, так как код можно использовать в своих проектах без лишней юридической головной боли. Однако обратите внимание на лицензии самих весов моделей — там могут быть свои нюансы, характерные для исследовательских релизов компании.
Где это реально пригодится
Я вижу как минимум три области, где Lyra может сэкономить кучу времени:
- Прототипирование в геймдеве. Вместо того чтобы вручную моделить каждый закоулок для концепт-арта, можно сгенерировать основу уровня из одного наброска.
- Обучение роботов и беспилотников. Для тренировки алгоритмов навигации нужны тысячи разнообразных локаций. Lyra позволяет создавать такие синтетические миры в промышленных масштабах.
- VR и AR. Быстрое превращение панорамных фото в геометрию, по которой можно перемещаться с эффектом параллакса.
Стоит ли лезть в код
Если вы занимаетесь компьютерным зрением или просто интересуетесь темой Gaussian Splatting и диффузионных моделей, то однозначно да. Код написан чисто, есть ссылки на научные статьи, где подробно разжевана математика процесса.
Для тех, кто ищет кнопку «сделать красиво за один клик», порог входа может показаться высоковатым из-за требований к железу и необходимости настраивать окружение. Но результат того стоит — это одна из самых вменяемых реализаций генерации миров на текущий момент.
Начинать лучше с Lyra-1, она проще в понимании и требует меньше ресурсов для старта. А когда освоитесь с концепцией самодистилляции, можно переходить к «бесконечным» мирам второй версии.
