Как Андрей Карпатый переложил работу исследователя на плечи агентов

Представьте, что вы ложитесь спать, оставив компьютер включенным, а утром обнаруживаете, что ваша нейросеть стала умнее, код — чище, а архитектура модели — эффективнее. И все это без вашего участия. Андрей Карпатый, один из создателей OpenAI и бывший глава автопилота Tesla, выложил проект, который превращает эту фантазию в реальную рабочую рутину.

Проект autoresearch — это не очередная сложная библиотека для обучения гигантов. Это компактный эксперимент по автоматизации самого процесса научного поиска. Идея проста: дать AI-агенту доступ к тренировочному коду и позволить ему проводить итерации самостоятельно. Он меняет параметры, запускает обучение на 5 минут, проверяет результат и решает, оставить правки или откатиться назад.

Зачем автоматизировать то, что мы любим делать руками

Обычно исследователь тратит часы на ручной подбор гиперпараметров или изменение слоев нейронки. Мы меняем learning_rate, ждем, смотрим на графики, расстраиваемся и пробуем снова. Карпатый предлагает сменить масштаб управления. Вместо того чтобы самому править Python-файлы, вы становитесь «директором» исследовательской организации, где роль сотрудников выполняют LLM.

Ваша задача теперь — не писать код модели, а грамотно составить program.md. Это файл с инструкциями для агента, который определяет стратегию поиска. Вы описываете, в какую сторону двигаться, а агент берет на себя черную работу.

Как устроена эта маленькая лаборатория

В репозитории всего три ключевых файла. Такая аскетичность сделана специально, чтобы агент не путался в структуре проекта и не тратил контекстное окно впустую.

1. prepare.py — это фундамент. Здесь зашиты константы, подготовка данных и токенизатор. Агент не имеет права сюда лезть, чтобы условия эксперимента оставались честными.
2. train.py — песочница агента. Тут лежит всё: архитектура GPT, оптимизатор и цикл обучения. Агент может переписать этот файл хоть полностью, менять количество голов внимания или пробовать новые функции активации.
3. program.md — ваш пульт управления. Здесь вы пишете промпт для агента, объясняя ему цели и ограничения.

Интересное решение принято по времени обучения. Каждый запуск строго ограничен пятью минутами. Это позволяет проводить около 12 экспериментов в час или сотню за ночь. Такой подход делает результаты сравнимыми: мы ищем не просто лучшую модель, а лучшую модель, которую можно обучить за фиксированное время на вашем железе.

Что именно делает агент

Когда вы запускаете процесс (например, через Claude или GPT-4 с доступом к файлам), происходит цикл автономного исследования:

• Агент читает текущий train.py и логи прошлых запусков.
• Выдвигает гипотезу (например: «давай попробуем уменьшить размер батча, но увеличим глубину сети»).
• Редактирует код.
• Запускает обучение.
• Анализирует метрику val_bpb (bits per byte). Если она стала ниже — победа, идем дальше от этой точки.

В качестве базы используется nanochat — упрощенная реализация обучения языковых моделей на одной GPU. В коде по умолчанию уже прописаны современные штуки вроде оптимизатора Muon, но никто не мешает агенту заменить его на классический AdamW или что-то экзотическое.

Как запустить это у себя

Для старта нужна одна видеокарта NVIDIA (автор тестировал на H100, но сообщество уже адаптировало код под всё подряд). Из инструментов понадобится uv — это быстрый менеджер пакетов на Rust, который сейчас становится стандартом в Python-среде.

# Ставим менеджер пакетов
curl -LsSf https://astral.sh/uv/install.sh | sh

# Синхронизируем зависимости и готовим данные
uv sync
uv run prepare.py

# Проверяем, что обучение вообще заводится
uv run train.py

Если всё ок, можно открывать любой чат с AI-агентом, который умеет работать с локальными файлами, и давать команду: «Изучи program.md и начни новый эксперимент».

Стоит ли пробовать

Проект вряд ли заменит серьезные исследовательские отделы в ближайший месяц, но он отлично показывает, куда всё катится. Это идеальная площадка для тех, кто хочет:

• Понять, как работают современные LLM на низком уровне.
• Поэкспериментировать с архитектурами без написания сотен строк шаблонного кода.
• Посмотреть на «саморедактирующийся» софт в действии.

Если у вас нет мощной серверной карты, загляните в раздел Notable forks в репозитории. Там уже лежат форки для Mac (MLX), Windows с обычными RTX и даже для видеокарт AMD. Для слабых машин Карпатый советует использовать датасет TinyStories и уменьшать длину последовательности — так даже на ноутбуке можно увидеть, как агент находит удачные конфигурации сети.

Это проект не про готовую библиотеку, а про смену парадигмы. Мы переходим от написания кода к управлению процессом его генерации и проверки. И, кажется, спать, пока за тебя работают агенты — это именно то будущее, которое нам обещали.