Как перестать кормить нейросеть лишними токенами и вернуть ей остроту ума

Знакомая ситуация: вы работаете с Claude Code или Cursor уже пару часов, контекст раздулся до сотен тысяч токенов, и вдруг замечаете, что ИИ начинает «тупить». Он забывает правки, сделанные десять минут назад, игнорирует инструкции из CLAUDE.md или просто выдает галлюцинации. Вы проверяете /context, а там 80% заполнено. Кажется, пора делать /clear и начинать заново, теряя всю нить обсуждения.

На самом деле проблема глубже, чем просто объем текста. Каждый раз, когда вы запускаете тесты или читаете файлы, контекст забивается мусором. А когда срабатывает автоматическое сжатие (compaction), нейросеть выбрасывает 60–70% истории, оставляя лишь жалкий пересказ.

Недавно я наткнулся на проект token-optimizer, который решает эту проблему системно. Это не просто «сжималка» вывода в терминале, а полноценный аудитор и менеджер контекста для тех, кто живет в терминале с ИИ-агентами.

Куда уходят ваши деньги и контекст

Автор проекта, Алекс Гриншпун, приводит интересную статистику: обычные инструменты сжатия команд в терминале экономят от силы 15–25% контекста. Остальные 75–85% — это «структурный шум». Сюда входят раздутые конфиги, неиспользуемые навыки (skills), дублирующиеся системные промпты и старые записи в MEMORY.md, которые Claude уже даже не видит из-за ограничений на длину чтения.

Token Optimizer работает иначе. Он не просто режет текст, он анализирует, что именно «ест» ваш бюджет.

Главные фишки, которые меня зацепили

1. Умное сжатие Bash-команд Если вы запускаете pytest или eslint, и падает сотня ошибок, Claude получает огромную простыню текста. Token Optimizer перехватывает такие команды и выдает нейросети только суть: какие тесты упали и на каких строках, группируя однотипные ошибки линтера. При этом он умеет распознавать учетные данные (ключи AWS, токены GitHub) и оставляет их нетронутыми, чтобы ничего не сломать.

2. Delta Mode: магия инкрементального чтения Это, пожалуй, самая полезная функция. Когда ИИ правит файл и перечитывает его заново, он обычно тратит токены на весь объем файла. В Delta Mode инструмент сравнивает новую версию со старой и отдает нейросети только диффы. Если файл на 2000 строк изменился на 5 строк, экономия получается колоссальной.

3. Smart Compaction и выживание сессии Когда Claude Code решает, что контекст переполнен, он делает «компакцию» — грубо говоря, просит модель кратко пересказать всё, что было раньше. В этот момент теряются важные детали и принятые решения. Token Optimizer делает чекпоинты перед сжатием и восстанавливает критически важные данные после него. Нейросеть помнит, почему вы выбрали именно этот подход, даже если само обсуждение уже удалено из оперативной памяти.

4. Живой дашборд качества Вместо того чтобы гадать, почему модель стала отвечать хуже, вы можете открыть локальную страницу и увидеть «счетчик тупости». Инструмент оценивает качество контекста по 7 сигналам: от плотности принятых решений до замусоренности результатами инструментов.

Техническая сторона вопроса

Что приятно — проект написан на чистом Python (для Claude Code) и TypeScript (для OpenClaw). У него нулевые зависимости. Вам не нужно устанавливать гору библиотек через pip или npm, которые потом будут конфликтовать с вашим проектом.

Инструмент работает полностью локально. Никакой телеметрии, никаких запросов на внешние сервера. Все данные о ваших сессиях пишутся в локальную базу SQLite. Это критично, если вы работаете над закрытым кодом и не хотите, чтобы статистика ваших промптов улетала куда-то в облако.

Как это использовать на практике

Установка довольно простая, если вы уже пользуетесь Claude Code:

/plugin marketplace add alexgreensh/token-optimizer
/plugin install token-optimizer@alexgreensh-token-optimizer

После установки появляется команда /token-optimizer. Она запускает интерактивный аудит. Например, она может найти в вашем MEMORY.md записи, которые находятся ниже 200-й строки — Claude их просто не читает, но токены за них списываются при каждом сообщении.

Интересный кейс — Structure Map. Для огромных файлов (например, на 180 тысяч токенов) инструмент создает «скелет» из сигнатур функций и классов. Нейросеть видит структуру проекта, не загружая в память мегабайты кода, который ей сейчас не нужен для правок.

Стоит ли оно того

Автор заявляет, что при активном использовании Claude Opus экономия может достигать $1500–$2500 в месяц за счет сокращения входных токенов и предотвращения циклов повторных попыток (когда ИИ зацикливается на ошибке).

Даже если вы не тратите такие суммы, Token Optimizer полезен просто для поддержания «здоровья» сессии. Когда контекст чистый, модель реже ошибается и быстрее соображает.

Кому точно стоит попробовать:

• Тем, кто работает с большими монорепозиториями.
• Разработчикам, которые не любят часто делать /clear и хотят вести длинные сессии.
• Всем, кто чувствует, что ИИ начинает деградировать через час активной работы.

Проект сейчас активно развивается, поддержка Windsurf и Cursor уже в планах. Пока что лучше всего он чувствует себя в связке с Claude Code.

Единственный нюанс — лицензия PolyForm Noncommercial. Для личного использования и пет-проектов всё бесплатно, но крупному бизнесу придется договариваться с автором. Впрочем, для индивидуального разработчика это отличный способ сделать своего ИИ-помощника чуть менее расточительным и гораздо более внимательным к деталям.