ClickClickClick: Когда ваш смартфон слушается голосовых команд

29 июл 2025

Репозиторий давно не обновлялся

Последнее обновление было 7 месяцев назад.

717
87
9
7 месяцев

Представьте: вы говорите "проверь почту" — и ваш телефон сам открывает Gmail, находит непрочитанные письма и даже может ответить на них. Звучит как фантастика? С фреймворком ClickClickClick это становится реальностью.

Что это за магия?

ClickClickClick — это Python-фреймворк, который превращает любую языковую модель (LLM) в личного ассистента для управления устройствами. Под капотом — симбиоз компьютерного зрения и возможностей современных LLM вроде GPT-4o или Gemini.

Ключевые преимущества:

  • Универсальность: работает с Android через ADB и macOS через системные API
  • Гибкость: поддерживает облачные и локальные модели (Ollama)
  • Мультиинтерфейс: CLI, API и веб-интерфейс на выбор

Как это работает?

Фреймворк использует трехуровневую архитектуру:

  1. Планировщик (LLM) — анализирует вашу команду и строит последовательность действий
  2. Детектор (LLM + CV) — находит элементы интерфейса на скриншотах
  3. Исполнитель — эмулирует нажатия и жесты

5 причин попробовать

  1. Автоматизация рутины
click3 run "каждое утро в 8:00 открывай новости и прогноз погоды"
  1. Тестирование приложений
# Автоматический сценарий тестирования
from clickclickclick import execute_task
execute_task("открой приложение, заполни форму, отправь данные")
  1. Голосовое управление (в связке с ASR)

    Реклама
  2. Исследование интерфейсов — анализ usability через автоматизированные сценарии

  3. Обучение моделей — датасеты из реальных взаимодействий с UI

Из первых рук

Я протестировал ClickClickClick на трех сценариях:

  1. Заказ такси через приложение — сработало с третьей попытки
  2. Настройка будильника — идеально с первого раза
  3. Игра в шахматы на Lichess — потребовалась тонкая настройка задержек

Лайфхак: Gemini Flash от Google дает 15 бесплатных запросов в день — отличный вариант для экспериментов.

Под капотом

Технологический стек:

  • Computer Vision: OpenCV для обработки скриншотов
  • LLM-интеграции: OpenAI, Anthropic, Gemini, Ollama
  • Автоматизация: ADB для Android, AppleScript для macOS

Конфигурация через YAML:

gemini:
  api_key: !ENV GEMINI_API_KEY
  image_width: 768  # Разрешение для анализа скриншотов

Кому особенно пригодится?

  • QA-инженерам для автоматического тестирования
  • Разработчикам мобильных приложений
  • Исследователям HCI (Human-Computer Interaction)
  • Энтузиастам домашней автоматизации

Вердикт

ClickClickClick — многообещающий проект на стыке LLM и автоматизации. Пока не идеален (иногда "промахивается" по кнопкам), но уже сейчас может сэкономить часы ручной работы. Особенно впечатляет поддержка локальных моделей — можно собрать полностью оффлайн-решение.

Попробуйте на простых сценариях и увидите, как ИИ начинает "кликать" за вас!

P.S. Для старта хватит 3 команд:

pip install git+https://github.com/BandarLabs/clickclickclick.git
export GEMINI_API_KEY="ваш_ключ"
click3 run "открой YouTube и найди котиков"

🍪 Мы используем файлы cookie и сервис аналитики Яндекс.Метрика, чтобы сайт работал лучше. Продолжая пользоваться devtrends.ru, вы соглашаетесь с обработкой данных согласно Политике конфиденциальности.