Как заставить смартфон работать вместо вас с помощью Mobile-Agent
Представьте, что вам нужно найти самый дешевый билет на поезд из Самары в Москву, сравнить его с ценой на самолет, а потом записать результаты в таблицу Excel. Обычно это превращается в бесконечное переключение между приложениями, копирование цифр и рутину. Разработчики из Alibaba Group решили, что нейросети уже достаточно созрели, чтобы избавить нас от этого. Они создали Mobile-Agent — систему, которая управляет интерфейсом смартфона и компьютера так же, как это делает человек.
Проект Mobile-Agent (и его свежее обновление GUI-Owl 1.5) — это не просто очередной чат-бот. Это полноценный «оператор» интерфейсов. Он смотрит на экран, понимает, где находятся кнопки, и нажимает на них, чтобы выполнить вашу задачу.
Что умеет это семейство агентов
Главная фишка проекта — мультиплатформенность. Если первые версии работали только с Android, то актуальная ветка Mobile-Agent-v3.5 и модели GUI-Owl поддерживают десктопные ОС, мобилки и браузеры.
В репозитории выделяются три направления:
- Автоматизация мобильных устройств. Агент может зайти в условный «Авито» или «ТикТок», найти нужную информацию и выполнить действие.
- Работа с ПК. Создание документов в офисном пакете, поиск файлов или работа в браузере.
- Сложное планирование. В v3.5 добавили «Thinking» модели. Это значит, что агент сначала строит план действий, а потом методично его выполняет, сверяясь с промежуточным результатом.
Интересно, что авторы внедрили механизм саморефлексии. Если агент нажал не туда или приложение выдало ошибку, он пытается осознать промах и скорректировать следующий шаг.
https://raw.githubusercontent.com/X-PLUG/MobileAgent/main/assets/framework.png
Как это устроено внутри
В основе лежит семейство моделей GUI-Owl 1.5 (размерами от 2B до 235B параметров). Они натренированы на понимание скриншотов. В отличие от простых LLM, которые работают только с текстом, эти модели обучены «граундингу» — умению сопоставлять текстовое описание кнопки с её координатами на экране.
Архитектура Mobile-Agent-v3 включает несколько важных модулей:
- Планировщик: разбивает глобальную задачу (например, «купи мне продукты для борща») на мелкие шаги.
- Модуль памяти: агент помнит, что он делал на предыдущих экранах, чтобы не зацикливаться.
- Инструменты управления: для Android это обычно команды через ADB, для ПК — эмуляция мыши и клавиатуры.
Разработчики также представили OSWorld-MCP. Это реализация протокола Model Context Protocol, который позволяет агенту более эффективно вызывать внешние инструменты и взаимодействовать с операционной системой.
Практические сценарии
В README есть несколько показательных примеров. Например, агент может найти цену акций Apple и Nvidia в браузере, открыть WPS Office, создать таблицу и вписать туда данные. Или найти билеты на самолет на конкретную дату, сравнить их с ценами на поезда и выдать итоговый отчет.
Для разработчиков это открывает массу возможностей:
- Автоматизация UI-тестирования. Вместо написания сложных скриптов на Appium, можно просто сказать агенту «проверь, работает ли регистрация».
- Создание умных ассистентов. Можно интегрировать агента в свое приложение, чтобы он помогал пользователям выполнять сложные цепочки действий.
- Сбор данных (скрейпинг). Когда данные спрятаны за сложным JS-интерфейсом или в мобильном приложении без API, такой агент становится спасением.
https://raw.githubusercontent.com/X-PLUG/MobileAgent/main/assets/result.png
С чего начать изучение
Если не хочется сразу разворачивать тяжелые модели локально, у авторов есть онлайн-демо на ModelScope. Там можно потыкать Mobile-Agent-v3 в облаке.
Для тех, кто готов к локальному запуску:
- Загляните в папку
Mobile-Agent-v3.5илиv3. Там лежат инструкции по установке зависимостей. - Вам понадобится Python и, скорее всего, доступ к API моделей (или мощная видеокарта для запуска GUI-Owl).
- Для работы с Android-устройствами придется настроить ADB.
Проект активно развивается: только за последние полгода вышло несколько крупных обновлений и научных статей. Это не просто «игрушка» с GitHub, а серьезная попытка сделать универсальный интерфейс между человеком и любым софтом.
Кому это пригодится
В первую очередь тем, кто занимается автоматизацией и QA — подход «управления через зрение» выглядит гораздо гибче классических селекторов. Также проект будет интересен ML-инженерам, которые работают с мультимодальными моделями.
Конечно, до идеальной работы еще далеко — на видео заметно, что агент иногда «задумывается» на несколько секунд перед каждым действием. Но сама концепция того, что нейросеть может пользоваться смартфоном так же свободно, как и мы, уже не кажется фантастикой.
Если вы давно хотели собрать своего «Джарвиса», который будет сам заказывать вам пиццу или чистить почту, MobileAgent — отличная база для старта.
