MobiAgent Ваш смартфон научился думать и действовать за вас

Знакомая ситуация? Вы нашли в одной соцсети рекомендацию классных джинсов, потом открыли маркетплейс, чтобы найти эту модель, скопировали название и цену, и, наконец, отправили всё это другу в мессенджер. Рутинная задача из трёх приложений, которая отнимает несколько минут. А что, если бы телефон мог сделать всё это сам по одной вашей команде?

Именно такую магию предлагает проект MobiAgent — фреймворк для создания умных агентов, которые управляют вашим телефоном так же, как это делали бы вы. Это не просто очередной голосовой помощник, который умеет ставить будильники. Это полноценная система, которая видит экран, понимает контекст и умеет выполнять сложные многоэтапные задачи в разных приложениях.

Давайте разберёмся, как это работает и зачем это может понадобиться разработчику.

Что такое MobiAgent?

Если коротко, MobiAgent — это открытый фреймворк, который превращает большие языковые модели (LLM) в автономных агентов для управления мобильным телефоном. Он состоит из трёх ключевых компонентов:

MobiMind: Семейство специализированных моделей ИИ, которые служат "мозгом" агента. Они анализируют экран и принимают решения о дальнейших действиях.
AgentRR: Система "записи и воспроизведения" (Record & Replay). Она ускоряет выполнение повторяющихся задач, запоминая успешные последовательности действий.
MobiFlow: Бенчмарк для оценки производительности и точности мобильных агентов.

Вместе эти части образуют мощную систему, способную автоматизировать практически любые действия на Android-устройстве.

Как это выглядит на практике?

Представьте, вы даёте агенту команду: "Найди в 小红书 самые продаваемые мужские джинсы, затем найди их на Taobao, скопируй бренд, название и цену и отправь в WeChat пользователю Сяо Чжао".

Агент самостоятельно откроет первое приложение, выполнит поиск, проанализирует результаты, переключится на второе приложение, найдёт товар, извлечёт нужную информацию и отправит её в мессенджере. Фантастика? В репозитории есть видео, которое это наглядно демонстрирует.

Ключевые возможности, которые цепляют

Давайте копнём глубже и посмотрим на самые интересные фичи проекта.

1. Настоящая многозадачность между приложениями

Это, пожалуй, главная "вау-фича". MobiAgent не ограничен одним приложением. Его архитектура позволяет строить сложные сценарии, которые охватывают всю экосистему вашего телефона. Это открывает двери для создания по-настоящему полезных персональных ассистентов, которые могут, например, забронировать столик в ресторане из приложения с отзывами, а затем проложить маршрут в навигаторе.

2. Обучение на собственном опыте (AgentRR)

Часто сталкиваетесь с повторяющимися задачами? MobiAgent тоже. И он умеет учиться. Система AgentRR (Agent Record & Replay) работает как мышечная память. Когда агент выполняет задачу впервые, он тщательно обдумывает каждый шаг. Но если вы попросите его сделать то же самое снова, он "вспомнит" самый эффективный путь и выполнит его значительно быстрее. Это не просто кеширование, а умный механизм повторного использования успешных сценариев.

*Слева — первое выполнение задачи, справа — последующее. Разница в скорости очевидна.*

3. Персонализация и память

Недавно в проект добавили систему памяти, которая учитывает предпочтения пользователя. Агент может извлекать ваши интересы и привычки из истории взаимодействий и использовать их для планирования будущих задач. Например, если вы часто заказываете пиццу из определённого ресторана, в следующий раз агент предложит его в первую очередь.

Интересно, что для хранения и извлечения предпочтений можно опционально использовать GraphRAG через Neo4j, что позволяет строить сложные графы знаний о пользователе.

4. Гибкая архитектура "мозга"

Система принятия решений MobiAgent состоит из нескольких моделей:

Planner: Планировщик верхнего уровня, который разбивает сложную задачу на простые шаги.
Decider: "Решатель", который анализирует текущий экран и решает, что делать дальше (например, "нажать на кнопку 'Войти'").
Grounder: Модель, которая находит конкретный элемент на экране, с которым нужно взаимодействовать (например, находит координаты той самой кнопки).

Недавно разработчики представили смешанную модель MobiMind-Mixed, которая объединяет функции Decider и Grounder, упрощая развёртывание.

Как это запустить?

Разработчики предлагают два пути:

Простой старт с готовым приложением: Вы можете скачать .apk файл из раздела Releases и установить его на свой Android-смартфон, чтобы быстро оценить возможности агента.
Полный контроль через Python: Для разработчиков, конечно, интереснее второй вариант. Вы можете управлять агентом с компьютера через скрипты, используя Android Debug Bridge (ADB).

Процесс настройки для разработчика выглядит так:

Настроить окружение: Создать виртуальное окружение Python и установить зависимости.
```
pip install -r requirements.txt
```
Подготовить телефон: Включить режим разработчика и отладку по USB.

Развернуть модели: Скачать предобученные модели MobiMind и запустить их как сервисы с помощью vLLM.

# Разворачиваем "Решателя"
vllm serve IPADS-SAI/MobiMind-Decider-7B --port <decider port>
# Разворачиваем "Навигатора"
vllm serve IPADS-SAI/MobiMind-Grounder-3B --port <grounder port>
# Разворачиваем "Планировщика"
vllm serve Qwen/Qwen3-4B-Instruct --port <planner port>

Запустить агент: Описать свою задачу в task.json и запустить главный скрипт.
```
python -m runner.mobiagent.mobiagent --service_ip <Service IP>
```

Агент подключится к телефону и начнёт выполнять вашу задачу, а вы сможете наблюдать за процессом в реальном времени.

Кому и зачем это нужно?

MobiAgent — это не просто игрушка, а серьёзный исследовательский проект и мощный инструмент.

Для исследователей ИИ: Это отличная площадка для изучения автономных агентов, мультимодальных моделей и взаимодействия человека с компьютером.
Для разработчиков мобильных приложений: Проект может быть полезен для создания продвинутых сценариев автоматизированного тестирования, которые имитируют поведение реального пользователя.
Для энтузиастов: Если вы любите автоматизировать всё подряд, MobiAgent даёт вам в руки инструмент для создания ультимативного персонального ассистента, ограниченного только вашей фантазией.

Проект MobiAgent впечатляет своей комплексностью и практической направленностью. Вместо абстрактных концепций "агентов" мы видим работающий фреймворк, который решает реальные задачи автоматизации на мобильных устройствах. Особенно подкупает открытость: доступны и код, и модели, и даже бенчмарк для оценки.

Если вам интересна тема ИИ-агентов и вы хотите выйти за рамки текстовых чат-ботов, обязательно загляните в репозиторий MobiAgent. Поставьте звезду, чтобы поддержать разработчиков, и, возможно, попробуйте научить свой телефон паре новых трюков.