ACT++ Как научить роботов учиться у людей
Репозиторий давно не обновлялся
Последнее обновление было 2 года назад.
Представьте, что ваш робот может научиться новому навыку, просто наблюдая за вашими действиями — без сложного программирования. Именно так работает act-plus-plus — фреймворк для обучения с подкреплением, который делает робототехнику доступнее.
Что скрывается за названием?
Проект act-plus-plus — это форк популярного репозитория ACT (Action Chunking with Transformers), дополненный поддержкой Mobile ALOHA и новыми алгоритмами обучения. Основная цель — упростить обучение роботов сложным манипуляциям через:
- Имитационное обучение (робот повторяет действия человека)
- Совместное обучение (co-training)
- Гибридные подходы (комбинация разных методов)
Три кита проекта
- ACT (Action Chunking with Transformers) — разбивает действия на «чанки» для более стабильного обучения
- Diffusion Policy — использует диффузионные модели для генерации плавных траекторий
- VINN (Visual Imitation with Neural Networks) — визуальное имитационное обучение
Как показывает практика, ACT демонстрирует до 90% успешности в задаче переноса кубика, а Diffusion Policy особенно хорош для плавных движений.
Техническая кухня
Проект написан на Python и использует:
- PyTorch для нейросетей
- Mujoco и DM_Control для симуляции
- ROS для работы с реальными роботами
Интересная деталь: архитектура ACT модифицирована из DETR (Detection Transformer), что позволяет эффективно обрабатывать последовательности действий.
Кому это пригодится?
- Исследователям робототехники — готовый инструмент для экспериментов
- Разработчикам — возможность быстро прототипировать новые навыки для роботов
- Студентам — отличный учебный проект по машинному обучению в робототехнике
Как начать?
Установка занимает несколько минут:
conda create -n aloha python=3.8.10
conda activate aloha
pip install -r requirements.txt
Для обучения модели на задаче переноса кубика:
python imitate_episodes.py --task_name sim_transfer_cube_scripted \
--policy_class ACT --kl_weight 10 --num_epochs 2000
Совет от авторов: если движения робота выглядят резкими — просто обучайте дольше! Качество часто улучшается даже после стабилизации потерь.
ACT++ — это мост между сложными алгоритмами обучения с подкреплением и практической робототехникой. Проект особенно ценен своей:
- Практической направленностью — работает и в симуляции, и на реальных роботах
- Гибкостью — поддерживает несколько современных алгоритмов
- Документацией — с подробными примерами и советами по настройке
Для тех, кто хочет окунуться в мир обучающихся роботов — это один из лучших стартовых пунктов в 2024 году.
P.S. Если у вас есть Mobile ALOHA — вы можете сразу пробовать алгоритмы в реальном мире!
