Как обучить нейросеть на тридцати ноутбуках соседа
Недавно наткнулся на репозиторий Hyperspace AGI, и это одна из тех вещей, которые заставляют вспомнить, за что мы вообще любим опенсорс. Пока корпорации строят дата-центры размером с город, ребята из Hyperspace решили пойти другим путем. Они создают сеть, где обычные компьютеры, домашние фермы и даже вкладки в браузере объединяются в один распределенный суперкомпьютер для обучения и работы ИИ.
Самое интересное здесь не в словах об «общем разуме», а в том, как это реализовано технически. Представьте себе BitTorrent, но вместо раздачи сериалов ваша машина обменивается градиентами нейросети или выполняет инференс для кого-то на другом конце света.
Что это вообще такое
Проект Hyperspace — это P2P-сеть для автономных агентов. По сути, это софт, который превращает ваше железо в узел распределенной системы. Узлы умеют кооперироваться: они вместе дообучают модели, делятся результатами экспериментов и даже прикидываются единым кластером (они называют это Pods), чтобы распределять нагрузку.
Внутри всё завязано на агентах. Это не просто скрипты, а автономные сущности, которые живут в сети, «госсят» (обмениваются слухами через GossipSub) и записывают свои достижения в GitHub. Если один агент нашел удачную комбинацию гиперпараметров для обучения, через пару минут об этом узнает вся сеть.
Как они победили медленный интернет
Главная проблема распределенного обучения — передача весов. Если вы попробуете синхронизировать гигабайты данных между домашними ПК через обычный провайдер, всё умрет на первом же шаге. Разработчики Hyperspace внедрили стек технологий, который сжимает данные для передачи в 195 раз.
Они используют DiLoCo (Distributed Low-Communication) и свои надстройки: SparseLoCo и Parcae. Работает это примерно так:
- Узел тренирует модель локально какое-то время.
- Вместо передачи всех весов, он выбирает только самые важные изменения (top-k sparsity).
- Градиенты группируются по слоям трансформера и усредняются.
- В итоге пакет данных весом 5.5 МБ превращается в 28 КБ.
Такой объем уже вполне реально гонять через P2P-сеть без задержек, которые убили бы весь смысл обучения.
Подс и Капсулы: ваш личный кластер
Если у вас есть пара серверов и старый игровой комп, их можно объединить в Pod. Это приватный кластер, где ресурсы общие. CLI позволяет буквально парой команд поднять такую сеть:
hyperspace pod create "my-lab"
hyperspace pod invite
После этого запросы на инференс будут улетать тому члену группы, у которого сейчас свободна подходящая видеокарта или загружена нужная модель (поддерживаются GGUF, Qwen, GLM и другие). Есть и забавная фича Pod Capsule — это зашифрованный AES-256 архив со всем состоянием вашего кластера. Его можно упаковать в .tar.gz и развернуть на другом хостинге через Docker Compose.
Экономика и блокчейн
Зачем кому-то отдавать свои мощности? В проект встроили блокчейн (Hyperspace A1) с консенсусом Mysticeti. Это нужно для микроплатежей между агентами. Если ваш агент просит другого агента что-то посчитать, он платит ему доли цента через стриминговые платежные каналы.
Система начисляет очки за аптайм и реально выполненную работу. Причем проверка честности узла (Proof-of-Work в данном контексте) завязана на криптографических задачах по перемножению матриц. Если ваша видеокарта говорит, что она что-то посчитала, она должна пройти проверку через Merkle-пруфы.
Как пощупать это самому
Самый простой путь — зайти на их сайт и запустить агента прямо в браузере. Он будет использовать WebGPU для простых задач. Но если хочется серьезно, лучше ставить CLI:
curl -fsSL https://agents.hyper.space/api/install | bash
hyperspace start
После установки можно присоединиться к общему обучению командой hyperspace train или просто поднять локальный API, совместимый с OpenAI, чтобы ваши существующие скрипты могли работать через эту распределенную сеть.
Стоит ли оно того
Проект выглядит как смелый эксперимент. README обновляется чуть ли не каждый час, а в репозитории постоянно появляются новые снапшоты состояния сети. Это не «коробочный» продукт для продакшена, а скорее живая лаборатория.
Кому это будет полезно?
- Исследователям, у которых нет доступа к кластерам H100, но есть энтузиазм и пара видеокарт.
- Разработчикам, которые хотят разобраться, как работает DiLoCo и распределенный инференс на практике.
- Тем, кто верит в децентрализацию и хочет поучаствовать в создании альтернативы закрытым API от OpenAI или Google.
Конечно, здесь есть свои нюансы. Документация местами фрагментарна, а логика работы агентов может показаться запутанной. Но сама идея того, что 32 анонимных узла смогли за сутки обучить модель на потребительском железе, внушает оптимизм. Это как минимум стоит того, чтобы поставить звездочку на GitHub и прогнать пару тестов.
