Как превратить Android-смартфон в автономного ИИ-агента с помощью OpenOmniBot

21 мая 2026
2,055
149
12
2 недели

Представьте, что ваш телефон перестал быть просто набором иконок и уведомлений. Вместо того чтобы вручную открывать календарь, копировать адрес из почты и строить маршрут, вы просто говорите: «Забронируй столик в ресторане на вечер и напомни мне за час». И телефон сам открывает браузер, находит свободное время и ставит будильник. Именно такую концепцию развивает проект OpenOmniBot.

OpenOmniBot

Что это за проект

OpenOmniBot — это open-source агент, который работает непосредственно на Android-устройстве. В отличие от привычных чат-ботов, которые живут внутри своего приложения, этот инструмент умеет выходить за рамки чата. Он написан на Kotlin и Flutter, что позволяет ему глубоко интегрироваться в систему.

Главная фишка здесь в цикле работы: понять задачу, принять решение, выполнить действие и проанализировать результат. Проект ориентирован на тех, кто хочет автоматизировать рутину на смартфоне без использования облачных сервисов, где это возможно, или просто поэкспериментировать с локальным ИИ.

Что умеет этот агент

Разработчики заложили в OpenOmniBot несколько уровней взаимодействия с системой. Это не просто «нажималка» на кнопки, а структурированная среда.

Реклама

Управление интерфейсом через зрение

Агент использует VLM (Vision Language Models), чтобы «видеть» экран смартфона. Он распознает элементы интерфейса, понимает контекст открытого приложения и имитирует жесты пользователя. Это позволяет ему работать практически с любым софтом, даже если у того нет открытого API.

Локальный запуск моделей

В проекте реализована поддержка инференса прямо на устройстве через бэкенды MNN и llama.cpp. Если у вас достаточно мощное железо, можно гонять модели локально, не отправляя данные на внешние сервера. Хотя для сложных задач авторы все же рекомендуют подключать мультимодальные модели через API.

Система навыков и окружение Alpine

Интересное решение — использование окружения Alpine Linux внутри Android. Это дает агенту доступ к терминалу и классическим инструментам разработки. Кроме того, есть система Skills: вы можете отправить боту ссылку на репозиторий с новым навыком, и он его установит.

Память и планирование

У бота есть краткосрочная и долгосрочная память на базе эмбеддингов. Он помнит контекст прошлых диалогов и выполненных задач. Также поддерживаются запланированные задачи — можно настроить цепочку действий, которая сработает по триггеру или в определенное время.

Scheduled task

Как устроена архитектура

Проект разбит на несколько логических модулей, что упрощает его изучение и доработку.

  • app: Основное Android-приложение, где происходит оркестрация агента и управление сервисами.
  • ui: Интерфейс на Flutter. Здесь находятся чат, настройки и управление памятью.
  • assists: Движок автоматизации. Тут живут стейт-машины и логика визуального распознавания.
  • accessibility: Модуль, отвечающий за доступ к экрану через Accessibility Service.
  • omniinfer: Интеграция с библиотеками для локального запуска нейросетей.

Как запустить и попробовать

Для сборки проекта понадобится Flutter SDK версии 3.9.2 или выше и JDK 11+. Процесс стандартный для мобильной разработки, но есть нюанс с версиями.

Если вам нужна стандартная версия без локального инференса (она легче и проще в сборке):

./gradlew :app:installDevelopStandardDebug -Ptarget=lib/main_standard.dart

Для полной версии с поддержкой локальных моделей нужно сначала подтянуть субмодули:

git submodule update --init --recursive
./gradlew :app:installDevelopOmniinferDebug -Ptarget=lib/main_omniinfer.dart

После установки нужно будет выдать приложению пачку разрешений, включая доступ к специальным возможностям (Accessibility) и запись экрана, иначе магии с управлением интерфейсом не случится.

Практические сценарии

Зачем это может пригодиться в реальности? Я вижу несколько вариантов. Во-первых, автоматизация сбора данных из приложений, у которых нет веб-версии или API. Во-вторых, создание сложных цепочек действий: например, «проверь погоду, если будет дождь — напиши коллеге в мессенджер, что я задержусь, и закажи такси».

Проект выглядит как отличная песочница для тех, кто занимается AI-агентами. Здесь уже решены базовые проблемы взаимодействия с Android, есть готовый UI и механизмы работы с памятью.

Кому стоит обратить внимание

OpenOmniBot вряд ли заменит вам Google Assistant прямо сейчас — проект требует настройки и понимания того, как работают LLM. Но он точно будет интересен:

  • Android-разработчикам, которые хотят внедрить ИИ в свои продукты.
  • Исследователям в области AI Agents, ищущим готовую платформу для тестов на реальном устройстве.
  • Энтузиастам автоматизации, которым тесно в рамках Tasker или IFTTT.

Документация в репозитории местами лаконична, но архитектурная схема и примеры в коде помогают разобраться. Если вы давно хотели пощупать, как ИИ управляет реальным интерфейсом смартфона, это один из самых живых и открытых проектов в этой нише.

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.