Как превратить плоскую картинку в 3D модель прямо на своем компьютере

Представьте, что вам нужно быстро набросать 3D-сцену для прототипа игры или создать ассет для веба, но вы совсем не моделер в Blender. Раньше для этого приходилось либо часами ковырять полигоны, либо платить облачным сервисам за каждый прогон нейросети. Проект Modly предлагает другой путь: берете обычную фотографию, скармливаете ее приложению и получаете готовую «сетку» без отправки данных куда-либо.

Я наткнулся на этот репозиторий недавно и он зацепил меня тем, что это не просто обертка над Python-скриптом, а полноценное десктопное приложение, которое работает локально на вашей видеокарте.

https://raw.githubusercontent.com/lightningpixel/modly/main/resources/icons/icon.png

Что внутри Modly

По сути, это рабочая среда, которая объединяет несколько открытых нейросетевых моделей для генерации 3D-объектов. Основная фишка в том, что все вычисления происходят на вашем «железе». Если у вас мощная видеокарта от NVIDIA или Mac на чипе Apple Silicon, вы сможете генерировать модели за считанные секунды или минуты.

Приложение доступно для Windows, Linux и macOS. Причем для маков поддержка заточена именно под M-процессоры, что логично — на старых Intel запуск таких моделей превратился бы в бесконечное ожидание.

https://raw.githubusercontent.com/lightningpixel/modly/main/docs/app-screenshot.png

Главные фишки проекта

В отличие от многих академических проектов, которые сложно запустить без бубна и Docker-контейнера, Modly старается быть дружелюбным к пользователю.

Поддержка разных моделей через расширения

Проект не ограничивает вас одним алгоритмом. У него есть система расширений, которые подтягиваются прямо из GitHub. На данный момент официально поддерживаются:

Hunyuan3D 2 (в разных вариациях: Mini, Turbo, Fast)
TripoSG
Trellis2 (в формате GGUF)

Это удобно: если вышла новая крутая модель для Image-to-3D, ее можно добавить в Modly как плагин, не переписывая основное ядро программы.

Встроенные инструменты оптимизации

Нейросети часто выдают «грязные» сетки с огромным количеством лишних полигонов. В Modly встроены функции сглаживания и децимации (упрощения) мешей. Вы можете оптимизировать результат прямо в приложении, прежде чем экспортировать его в свой проект.

Управление через CLI для автоматизации

Для тех, кто любит автоматизировать всё подряд, разработчики предусмотрели интерфейс командной строки. Можно написать скрипт на Python, который будет пачкой скармливать картинки запущенному приложению и сохранять готовые .glb файлы.

Пример команды для генерации:

python tools/modly-cli/agent.py generate --image ./input.png --output ./export.glb

Техническая сторона вопроса

Под капотом здесь довольно стандартный, но рабочий стек для современных AI-приложений. Фронтенд написан на TypeScript (Electron), а тяжелая математика и работа с моделями вынесены в Python-бэкенд на базе FastAPI.

Интересная деталь: в верхней панели приложения есть живой индикатор потребления оперативной памяти. Учитывая аппетиты современных нейросетей, это не просто декорация, а жизненно важный прибор.

Если решите собирать проект из исходников, процесс выглядит привычно. Сначала ставим JS-зависимости:

npm install

Затем настраиваем Python-окружение в папке api и устанавливаем библиотеки из requirements.txt. Для запуска в режиме разработки используется npm run dev.

Как установить расширение

Процесс добавления новых моделей сделан максимально просто. В разделе Models нужно нажать «Install from GitHub» и вставить ссылку на репозиторий расширения.

https://raw.githubusercontent.com/lightningpixel/modly/main/docs/install-from-github.png

После этого приложение само подтянет нужные файлы, и вам останется только скачать веса моделей (weights) через встроенный менеджер.

https://raw.githubusercontent.com/lightningpixel/modly/main/docs/install-models.png

Кому это пригодится

Я вижу несколько сценариев, где Modly может реально сэкономить время:

Инди-разработчики игр: когда нужны фоновые объекты или пропсы, на которые не хочется тратить время профессионального художника.
Прототипирование: быстрая проверка идеи, как предмет будет смотреться в пространстве.
Эксперименты с ИИ: отличный способ потыкать разные SOTA-модели (State-of-the-Art) в одном интерфейсе без необходимости каждый раз настраивать окружение в Conda.

Конечно, не стоит ждать от нейросетей идеальной топологии, пригодной для риггинга и сложной анимации. Это скорее «заготовки», которые в большинстве случаев требуют ручной доработки в Blender.

Modly — это крепкий инструмент для локальной работы с 3D AI. Он избавляет от зависимости от облаков и дает контроль над процессом. Если у вас завалялась пара лишних гигабайт видеопамяти и есть интерес к генеративному искусству, проект определенно стоит того, чтобы его зазвездить на GitHub и попробовать в деле.

Главный плюс здесь в открытости. Вы видите, какие модели используются, можете добавлять свои и не переживаете за приватность своих данных — ваши картинки остаются на вашей машине.