ClickClickClick: Когда ваш смартфон слушается голосовых команд
Репозиторий давно не обновлялся
Последнее обновление было 7 месяцев назад.
Представьте: вы говорите "проверь почту" — и ваш телефон сам открывает Gmail, находит непрочитанные письма и даже может ответить на них. Звучит как фантастика? С фреймворком ClickClickClick это становится реальностью.
Что это за магия?
ClickClickClick — это Python-фреймворк, который превращает любую языковую модель (LLM) в личного ассистента для управления устройствами. Под капотом — симбиоз компьютерного зрения и возможностей современных LLM вроде GPT-4o или Gemini.
Ключевые преимущества:
- Универсальность: работает с Android через ADB и macOS через системные API
- Гибкость: поддерживает облачные и локальные модели (Ollama)
- Мультиинтерфейс: CLI, API и веб-интерфейс на выбор
Как это работает?
Фреймворк использует трехуровневую архитектуру:
- Планировщик (LLM) — анализирует вашу команду и строит последовательность действий
- Детектор (LLM + CV) — находит элементы интерфейса на скриншотах
- Исполнитель — эмулирует нажатия и жесты
5 причин попробовать
- Автоматизация рутины
click3 run "каждое утро в 8:00 открывай новости и прогноз погоды"
- Тестирование приложений
# Автоматический сценарий тестирования
from clickclickclick import execute_task
execute_task("открой приложение, заполни форму, отправь данные")
-
Голосовое управление (в связке с ASR)
-
Исследование интерфейсов — анализ usability через автоматизированные сценарии
-
Обучение моделей — датасеты из реальных взаимодействий с UI
Из первых рук
Я протестировал ClickClickClick на трех сценариях:
- Заказ такси через приложение — сработало с третьей попытки
- Настройка будильника — идеально с первого раза
- Игра в шахматы на Lichess — потребовалась тонкая настройка задержек
Лайфхак: Gemini Flash от Google дает 15 бесплатных запросов в день — отличный вариант для экспериментов.
Под капотом
Технологический стек:
- Computer Vision: OpenCV для обработки скриншотов
- LLM-интеграции: OpenAI, Anthropic, Gemini, Ollama
- Автоматизация: ADB для Android, AppleScript для macOS
Конфигурация через YAML:
gemini:
api_key: !ENV GEMINI_API_KEY
image_width: 768 # Разрешение для анализа скриншотов
Кому особенно пригодится?
- QA-инженерам для автоматического тестирования
- Разработчикам мобильных приложений
- Исследователям HCI (Human-Computer Interaction)
- Энтузиастам домашней автоматизации
Вердикт
ClickClickClick — многообещающий проект на стыке LLM и автоматизации. Пока не идеален (иногда "промахивается" по кнопкам), но уже сейчас может сэкономить часы ручной работы. Особенно впечатляет поддержка локальных моделей — можно собрать полностью оффлайн-решение.
Попробуйте на простых сценариях и увидите, как ИИ начинает "кликать" за вас!
P.S. Для старта хватит 3 команд:
pip install git+https://github.com/BandarLabs/clickclickclick.git
export GEMINI_API_KEY="ваш_ключ"
click3 run "открой YouTube и найди котиков"
