Как научить Claude Code смотреть видео и понимать происходящее на экране

Вчера я пытался объяснить Claude Code, в какой именно момент утилита выдаёт ошибку на видеозаписи экрана. Пришлось вручную делать скриншот, вырезать нужную область и закидывать файл в чат. Когда багов много или проблема всплывает на десятой минуте записи созвона, такой ручной подход быстро надоедает.

Большинство языковых моделей не умеют напрямую стримить или читать тяжелые MP4-файлы. Репозиторий claude-video-vision от разработчика Jordan Vasconcelos решает эту задачу изящно. Это плагин для Claude Code и одновременно MCP-сервер, который выполняет роль слоя восприятия. Он превращает видео в набор кадров и расшифрованный текст с таймкодами, после чего передаёт всё это нейросети.

Как устроен процесс изнутри

Схема работы здесь достаточно прозрачная. Всю техническую работу по нарезке и извлечению медиаданных берёт на себя MCP-сервер на Node.js.

Когда вы даёте Claude команду проанализировать ролик, запускаются два параллельных процесса:

1. ffmpeg нарезает кадры в формате JPEG, PNG или WebP и кодирует их в base64.
2. Аудио-бэкенд забирает звуковую дорожку и превращает её в текстовую расшифровку с временными метками.

Дальше Claude получает готовый набор картинок и хронологический текст. Интересная деталь: модель сама решает, с какой частотой кадров и в каком разрешении нарезать видео.

Если спросить «Что написано на доске на 90-й секунде?», плагин не станет обрабатывать часовой ролик целиком. Модель запросит кадры с высоким разрешением и частым шагом именно для отрезка от 01:25 до 01:35. Если же попросить сделать краткий конспект всей лекции, плагин снизит частоту кадров и соберёт редкие превью по всему хронометражу.

Под капотом: варианты бэкенда

Для обработки звука автор предусмотрел три варианта на выбор:

• Gemini API. Бесплатный лимит в 1500 запросов в день закрывает большинство задач и обрабатывает не только речь, но и фоновые звуковые события. Нужен только API-ключ.
• Локальный Whisper. Работает через whisper.cpp или Python-пакет openai-whisper. Выполняется полностью оффлайн, а нужные модели скачиваются автоматически при первом запуске.
• OpenAI API. Использует платный Whisper API от OpenAI, если не хочется загружать локальный процессор и заводить аккаунт в Google AI Studio.

Отдельно стоит упомянуть работу с YouTube. Если передать ссылку на ролик, плагин скачивает его через yt-dlp. Сервер сначала пытается забрать ручные субтитры. Если их нет, подтягивает автоматические титры YouTube. Если титры отсутствуют или они слишком отрывочные, включается выбранный аудио-бэкенд. При этом Claude видит источник транскрипта и понимает степень точности текста.

Настройка и первые команды

Установка плагина выполняется прямо в сессии Claude Code. Достаточно последовательно выполнить команды:

/plugin marketplace add https://github.com/jordanrendric/claude-video-vision
/plugin install claude-video-vision

После установки запускается интерактивный мастер настройки:

/claude-video-vision:setup-video-vision

Мастер проверит наличие ffmpeg, предложит выбрать бэкенд для аудио и скачает модель Whisper, если вы выбрали оффлайн-режим. Конфигурация сохраняется в ~/.claude-video-vision/config.json. Там можно настроить дефолтное разрешение кадров, формат изображений (например, PNG полезен для чёткого текста на скриншотах) и максимальное количество кадров на запрос.

Работать с плагином можно через специальные команды или в формате обычного диалога:

/watch-video ~/Downloads/demo.mp4 "какой язык программирования используется в туториале?"
/watch-video https://www.youtube.com/watch?v=... "сделай краткое содержание"

Или просто написав в чат:

Посмотри первую секунду бага из ~/videos/bug-report.mov и скажи, что пошло не так.

Где это пригодится в работе

Инструмент закрывает сразу несколько частых задач разработки:

1. Разбор багрепортов. Пользователь или тестировщик прислал запись экрана. Вместо пересмотра ролика можно скинуть файл Claude и спросить, какая ошибка выскочила в консоли на третьей секунде.
2. Конспектирование докладов и туториалов. Можно закинуть ссылку на часовой доклад с YouTube, чтобы получить структуру выступления с привязкой к таймкодам и скриншотами ключевых слайдов.
3. Ревью UI-анимаций. При передаче кадров в lossless-формате PNG модель может оценить верстку и плавность переходов на видеозаписи.
4. Быстрый поиск фрагментов в созвонах. Запись часовой встречи можно быстро отфильтровать по ключевым темам и не тратить время на ручную прокрутку.

Стоит ли пробовать

Проект появился недавно, но уже набрал больше тысячи звёзд на GitHub. Главные плюсы — продуманная архитектура, разумное отношение к контекстному окну за счёт адаптивного fps и возможность работать полностью локально через whisper.cpp.

Из нюансов: для работы требуется установленный ffmpeg, а для роликов с YouTube понадобится yt-dlp. На macOS все зависимости ставятся через Homebrew в пару кликов, на других операционных системах их придётся установить вручную.

Если вы активно используете Claude Code в терминале и регулярно работаете с видеозаписями или демо-роликами, этот плагин существенно сэкономит время.