HRM – ИИ, который мыслит как человек, а не просто повторяет

Мы, разработчики, часто сталкиваемся с тем, что современные большие языковые модели (LLM), несмотря на всю свою мощь, иногда кажутся... немного "глуповатыми" в плане настоящего рассуждения. Они прекрасно генерируют текст, отвечают на вопросы, но когда дело доходит до сложных, многошаговых задач, где нужно не просто найти информацию, а именно подумать — разложить проблему на этапы, спланировать, а затем выполнить, — тут начинаются сложности. Методы вроде Chain-of-Thought (CoT), конечно, помогают, но они часто требуют много данных, страдают от "хрупкости" декомпозиции задач и работают не так быстро, как хотелось бы. Знакомая ситуация, не правда ли?

Что такое HRM и почему это важно?

Что, если бы мы могли создать модель, которая учится рассуждать, вдохновляясь тем, как это делает наш собственный мозг? Именно эту амбициозную цель поставили перед собой ребята из Sapient Inc., представив свой проект Hierarchical Reasoning Model (HRM) на GitHub. Это не просто еще одна нейронка, это попытка заглянуть в будущее ИИ, где машины не просто обрабатывают информацию, а действительно мыслят, причем делают это иерархически и крайне эффективно.

HRM — это совершенно новая рекуррентная архитектура, которая достигает невероятной вычислительной глубины, оставаясь при этом стабильной и эффективной в обучении. Она обещает стать прорывом на пути к универсальным вычислительным и общецелевым системам рассуждения. Звучит интригующе? Давайте разберемся подробнее!

Ключевые возможности: Как HRM меняет правила игры

Проект HRM выделяется на фоне других благодаря нескольким по-настоящему впечатляющим особенностям:

Иерархическое мышление по образу и подобию мозга

Самое интересное в HRM — это её архитектура, вдохновленная человеческим мозгом. Модель состоит из двух взаимозависимых рекуррентных модулей:

Высокоуровневый модуль: Отвечает за медленное, абстрактное планирование. Думайте о нём как о "стратеге", который видит общую картину и намечает основные шаги.
Низкоуровневый модуль: Занимается быстрыми, детализированными вычислениями. Это "тактик", который выполняет конкретные действия, следуя плану стратега.

Эта связка позволяет модели решать задачи, требующие как глобального понимания, так и точной проработки деталей, причем в один проход, без явного надзора за промежуточным процессом.

Экономия ресурсов: Мал, да удал!

В мире, где LLM измеряются сотнями миллиардов параметров и требуют терабайтов данных для обучения, HRM выглядит как настоящий минималист. Представьте:

Всего 27 миллионов параметров! Это просто крошечная модель по современным меркам, но при этом она демонстрирует феноменальную производительность.
Минимальные данные: HRM достигает исключительных результатов, используя всего 1000 обучающих примеров. Это огромный плюс для задач, где сбор больших датасетов затруднителен или дорог.
Без предварительного обучения и CoT: Модель не требует ни дорогостоящего предварительного обучения, ни данных, специально размеченных для Chain-of-Thought. Это значительно упрощает её внедрение и эксперименты.

Выдающаяся производительность на сложных задачах

Цифры говорят сами за себя:

Судоку: HRM достигает почти идеальной производительности на сложнейших головоломках Судоку, которые заставят попотеть даже опытных любителей.
Поиск оптимального пути: Модель без труда находит оптимальные пути в огромных лабиринтах.
ARC (Abstraction and Reasoning Corpus): Это ключевой бенчмарк для измерения возможностей общего искусственного интеллекта. И здесь HRM превосходит гораздо более крупные модели с гораздо более длинными контекстными окнами. Это прямое свидетельство её способности к настоящему абстрактному рассуждению.

Технические детали: Под капотом HRM

Конечно, за такой производительностью стоит продуманная архитектура. Проект реализован на PyTorch и активно использует CUDA для ускорения вычислений. Для повышения эффективности внимания в модели применяется FlashAttention (версии 2 или 3 в зависимости от поколения GPU), что позволяет обрабатывать длинные последовательности с меньшими затратами памяти и времени.

Для отслеживания экспериментов и визуализации метрик разработчики интегрировали Weights & Biases (W&B) — отличный инструмент для контроля за процессом обучения.

Практическое применение: Где HRM покажет себя

Возможности HRM открывают двери для множества интересных приложений:

Игровой ИИ: Решение головоломок, стратегическое планирование в играх, где требуется глубокое рассуждение, а не просто подбор паттернов.
Автоматизация сложных процессов: Например, оптимизация логистики, планирование производственных цепочек, где нужно учитывать множество факторов и принимать последовательные решения.
Научные исследования: Моделирование сложных систем, поиск решений в задачах с ограниченными данными.
Робототехника: Разработка систем планирования действий для роботов, которым нужно ориентироваться в сложной среде.

Хотите попробовать? Вот как можно запустить демо-версию для решения Судоку:

# Установка CUDA (например, версии 12.6)
CUDA_URL=https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
wget -q --show-progress --progress=bar:force:noscroll -O cuda_installer.run $CUDA_URL
sudo sh cuda_installer.run --silent --toolkit --override
export CUDA_HOME=/usr/local/cuda-12.6

# Установка PyTorch с поддержкой CUDA 12.6
PYTORCH_INDEX_URL=https://download.pytorch.org/whl/cu126
pip3 install torch torchvision torchaudio --index-url $PYTORCH_INDEX_URL

# Дополнительные пакеты для сборки расширений
pip3 install packaging ninja wheel setuptools setuptools-scm

# Установка FlashAttention для Hopper GPU (FlashAttention 3)
git clone git@github.com:Dao-AILab/flash-attention.git
cd flash-attention/hopper
python setup.py install

# Или для Ampere или более ранних GPU (FlashAttention 2)
pip3 install flash-attn

# Установка зависимостей Python из requirements.txt
pip install -r requirements.txt

# Вход в Weights & Biases для отслеживания экспериментов
wandb login

# Скачиваем и строим датасет для Судоку
python dataset/build_sudoku_dataset.py --output-dir data/sudoku-extreme-1k-aug-1000  --subsample-size 1000 --num-aug 1000

# Запускаем обучение (на ноутбуке с RTX 4070 это займет около 10 часов)
OMP_NUM_THREADS=8 python pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 global_batch_size=384 lr=7e-5 puzzle_emb_lr=7e-5 weight_decay=1.0 puzzle_emb_weight_decay=1.0

Кстати, разработчики уже выложили предобученные чекпоинты для ARC-AGI-2, Sudoku 9x9 Extreme и Maze 30x30 Hard на Hugging Face. Это отличная возможность сразу же поиграться с готовыми моделями, не тратя время на обучение.

Выводы: Стоит ли попробовать HRM?

Если вы работаете в области ИИ, машинного обучения, или просто интересуетесь тем, как можно научить машины действительно рассуждать, а не просто имитировать, то HRM — это проект, который однозначно стоит изучить. Его подход к иерархическому мышлению, вдохновленный биологией, в сочетании с потрясающей эффективностью и производительностью на сложных задачах, делает его очень перспективным.

Особенно он будет интересен тем, кто:

Ищет эффективные решения для задач, требующих многошагового рассуждения.
Работает с ограниченными датасетами.
Хочет экспериментировать с моделями, которые не требуют гигантских вычислительных ресурсов.
Стремится к созданию более "интеллектуальных" и автономных систем.

HRM не просто решает головоломки — он предлагает новый взгляд на то, как ИИ может учиться мыслить. И это, на мой взгляд, куда более захватывающе, чем просто увеличение числа параметров. Присоединяйтесь к сообществу Sapient Inc. на Discord, чтобы быть в курсе последних новостей и пообщаться с разработчиками!