Как дать вашему AI агенту доступ в интернет без разорения на API ключах

Знакомая ситуация: вы настраиваете очередного AI-агента или пишете скрипт на базе Claude Code, и тут встает вопрос поиска информации в сети. Казалось бы, бери готовые API вроде Tavily или Exa. Но стоит только агенту уйти в цикл «поиск — изучение — уточнение», как счет за запросы начинает расти быстрее, чем ваша уверенность в результате. А еще эти бесконечные API-ключи, которые нужно где-то хранить и обновлять.

На днях я наткнулся на проект wigolo. Это инструмент, который превращает ваш компьютер в полноценный узел веб-разведки для AI. Главная фишка в том, что он работает по принципу local-first. Весь поиск, парсинг, кэширование и даже локальное ранжирование происходят прямо у вас на машине. Никаких платных подписок и никакой передачи ваших данных (кроме самих запросов в поисковики) третьим лицам.

Что внутри этого комбайна

wigolo — это не просто обертка над поисковиком. Это полноценный сервер, работающий по протоколу MCP (Model Context Protocol). Если вы пользуетесь Cursor, Claude Code или Windsurf, вы знаете, как удобно подключать к ним новые «умения». wigolo дает вашему агенту десять мощных инструментов.

Самое интересное начинается с функции search. Она не просто дергает один поисковик, а использует 18 адаптеров для разных движков, смешивает результаты и делает ML-ранжирование прямо на вашем процессоре. На выходе агент получает не просто ссылки, а «улики» — фрагменты текста с точными байтовыми координатами в источнике.

Затем идет fetch. Если вы когда-нибудь пытались распарсить современный SPA-сайт на React или натыкались на Cloudflare, вы поймете боль разработчиков. wigolo умеет «умно» повышать уровень доступа: сначала пробует обычный HTTP-запрос, а если видит заглушку или пустой JS-каркас — поднимает headless-браузер и вытягивает чистый Markdown.

Пять возможностей, которые меня зацепили

Вместо того чтобы описывать каждую кнопку, я выделил то, что действительно меняет рабочий процесс.

1. Автономный агент сбора данных. Инструмент agent запускает цикл «план — поиск — извлечение — синтез». Вы задаете бюджет по времени и схему данных, а wigolo сам решает, сколько страниц нужно прочесать, чтобы выдать структурированный JSON.
2. Параллельный поиск через массивы. Можно передать не одну строку, а массив запросов. wigolo отработает их параллельно, отсеет дубли и выдаст общую картину. Для глубокого ресёрча это в разы быстрее, чем гонять агента туда-сюда.
3. Локальная память. Все, что вы когда-либо искали или парсили, оседает в ~/.wigolo/. В следующий раз, когда вы спросите о чем-то похожем, инструмент сначала заглянет в кэш. Это работает мгновенно и абсолютно бесплатно.
4. Структурированное извлечение. Инструмент extract понимает JSON-LD, таблицы и метаданные. Можно скормить ему свою JSON Schema, и он вытащит данные из хаоса HTML-разметки именно в том виде, который нужен вашему приложению.
5. Мониторинг изменений. Функции diff и watch позволяют следить за конкретными страницами. Как только на сайте документации или в блоге проекта что-то изменится, wigolo сформирует отчет и может отправить его на ваш вебхук.

Как это устроено технически

В основе проекта лежит Node.js. Архитектура довольно прозрачная: один процесс выступает в роли MCP-сервера или REST API. Тяжелые компоненты вроде браузерного движка или моделей для эмбеддингов подгружаются лениво. Это значит, что если вы просто ищете текст, вам не нужно ждать, пока в памяти развернется огромная нейронка.

Интересно реализован механизм обучения: wigolo запоминает, какие сайты требуют «тяжелого» парсинга с браузером, а какие отдают данные по обычному GET-запросу. Со временем система начинает работать эффективнее, не тратя лишние ресурсы там, где они не нужны.

Как начать пользоваться

Установка на удивление простая для такого сложного инструмента. Достаточно Node.js версии 20 и выше. Одной командой можно пробросить мостик к вашему любимому редактору:

npx wigolo init --agents=cursor,claude-code

Скрипт сам скачает необходимые модели и пропишет конфиги. Если вы не доверяете автоматике, есть режим --wizard с интерактивным терминальным интерфейсом. Для тех, кто хочет использовать wigolo как сервис в своем бэкенде, есть Docker-образ и SDK для Python и TypeScript.

Кстати, хотя проект позиционируется как полностью бесплатный и не требующий ключей, разработчик рекомендует добавить ключ от бесплатного Gemini. Это нужно только для функции research, чтобы LLM могла сама написать итоговый отчет на основе найденных фактов. Без ключа вы получите просто гору структурированных данных, которые придется обрабатывать вашему основному агенту.

Кому это пригодится

Я вижу три сценария, где wigolo реально выигрывает у облачных конкурентов.

Во-первых, это локальная разработка. Если вы пишете код в Cursor и постоянно гуглите документацию или ошибки в StackOverflow, wigolo сэкономит вам кучу денег на API-запросах и сделает поиск контекстным.

Во-вторых, автоматизация рутины. Если вам нужно мониторить цены, вакансии или обновления библиотек, связка из wigolo watch и простого сервера на Python решит задачу за вечер.

В-третьих, приватность. Если вы работаете над проектом с жестким NDA, отправлять содержимое внутренних страниц на сторонние сервисы для парсинга — плохая идея. В wigolo все данные остаются на вашем диске.

Проект сейчас находится в стадии публичной беты. Документация отличная, в репозитории много примеров — от простых скриптов на curl до интеграций с LangChain и n8n. Если вы часто экспериментируете с AI-агентами, этот инструмент точно стоит того, чтобы потратить 1.5 ГБ места на диске и полчаса времени на тесты.