Как Disney и Google DeepMind переосмыслили физику для роботов

Представьте, что вы учите двуногого робота ходить. В классическом симуляторе вы запускаете итерацию, ждете, пока процессор обсчитает столкновения, и повторяете это тысячи раз. Если вы когда-нибудь пробовали обучать нейросети для управления железом, то знаете: физика — это всегда бутылочное горлышко. Либо она точная, но медленная, либо быстрая, но «картонная».

Проект Newton пытается усидеть на двух стульях сразу. Это движок, который переносит все расчеты на GPU и делает их дифференцируемыми. Его создали не просто энтузиасты, а консорциум из Disney Research, Google DeepMind и NVIDIA. Сейчас проект перешел под крыло Linux Foundation, что намекает на серьезные планы по превращению его в стандарт для индустрии.

Что под капотом

Newton построен на базе NVIDIA Warp. Если вы пропустили этот момент, Warp — это библиотека для написания высокопроизводительного кода на Python, который компилируется в ядра CUDA. Newton берет идеи из модуля warp.sim, расширяет их и интегрирует MuJoCo Warp в качестве основного бэкенда.

Главная фишка здесь — дифференцируемость. Это значит, что вы можете прокинуть градиенты через всю симуляцию. Для разработчиков систем управления это подарок: можно оптимизировать параметры робота или веса нейросети напрямую через физический движок, а не гадать на кофейной гуще методом проб и ошибок.

Чем Newton отличается от обычных движков

Большинство симуляторов застревают на этапе передачи данных между CPU и GPU. Newton держит состояние мира в видеопамяти. Это позволяет запускать тысячи параллельных окружений на одной видеокарте.

Работа с мягкими телами и тканью

Обычно робототехнические симуляторы хороши в обсчете «палок и шарниров». Newton идет дальше. Он поддерживает MPM (Material Point Method), что позволяет реалистично моделировать песок, снег или воду. Есть и поддержка симуляции тканей и кабелей. Если ваш робот должен складывать футболки или прокладывать провода в узком коробе, Newton справится с этим без костылей.

Поддержка OpenUSD

Проект плотно интегрирован с экосистемой Universal Scene Description. Это не просто формат файлов, а способ организовать совместную работу над сложными 3D-сценами. Вы можете выгружать результаты симуляции в USD и просматривать их в NVIDIA Omniverse или любом другом совместимом вьювере.

Сенсоры на стероидах

В репозитории есть примеры работы с виртуальными IMU и камерами. Поскольку все считается на GPU, генерация синтетических данных для обучения компьютерного зрения происходит на порядки быстрее, чем в классических Gazebo или PyBullet.

Посмотрим на примеры

Разработчики подготовили внушительный набор демо-сцен. Чтобы запустить их, достаточно выполнить пару команд:

pip install "newton[examples]"
python -m newton.examples basic_pendulum

В списке примеров есть все: от классической тележки с шестом (cartpole) до сложных гуманоидов вроде Unitree H1 или G1.

python -m newton.examples robot_h1

python -m newton.examples mpm_granular

python -m newton.examples cloth_franka

Особенно впечатляют примеры с инверсной кинематикой (IK) и DiffSim, где параметры системы подбираются автоматически для достижения цели — например, чтобы дрон пролетел через кольцо или роборука сложила кубики.

Технические требования

Для полноценной работы вам понадобится видеокарта NVIDIA (архитектура Maxwell или новее) и драйверы версии 545+. Приятный момент: локально устанавливать CUDA Toolkit не обязательно, Newton подтянет нужное через зависимости Warp.

Если вы сидите на macOS, запустить движок получится только на CPU. Для прототипирования логики этого хватит, но всю мощь параллельных вычислений вы не почувствуете.

Стоит ли переходить на Newton

Newton — это не замена игровым движкам вроде PhysX в Unity. Это инструмент для исследователей и инженеров. Если вы занимаетесь Reinforcement Learning для робототехники или проектируете сложные механизмы, где важна дифференцируемость, Newton сэкономит вам недели времени на написании собственных ядер для GPU.

Проект еще активно развивается, и документация местами может казаться лаконичной. Однако поддержка со стороны гигантов индустрии и переход в Linux Foundation гарантируют, что Newton не превратится в заброшенный исследовательский код через полгода.

Если вам нужно быстро проверить идею с управлением роботом или собрать датасет для обучения нейронки в физически корректной среде, Newton — один из самых перспективных инструментов на сегодня. С чего начать? Пожалуй, с запуска basic_viewer и изучения того, как в Newton описываются сочленения (joints) и формы. Это даст понимание архитектуры быстрее, чем чтение сухих мануалов.