Как навести порядок в зоопарке ИИ-агентов с помощью Agentgateway
Представьте: ваша команда наконец-то собрала работающего ИИ-агента. Он умеет писать код, лезть в базу данных и даже отвечать в Slack. Но через неделю вы понимаете, что у вас нет контроля над расходами на токены, ключи от OpenAI разбросаны по переменным окружения, а если Anthropic упадет, всё встанет. Знакомая ситуация? В этот момент разработка превращается в попытку укротить хаос.
Проблема в том, что обычные API-шлюзы плохо понимают специфику LLM и протоколов вроде MCP (Model Context Protocol). На днях я наткнулся на Agentgateway — проект, который пытается стать тем самым «контрольно-пропускным пунктом» для всего, что связано с агентным ИИ. Это опенсорсный прокси на Rust, который встает между вашим кодом, моделями и инструментами.
Зачем вообще нужен еще один прокси
Если вы работаете с одним агентом на локалке, Agentgateway вам вряд ли пригодится. Но как только их становится два-три, или когда агент начинает использовать внешние инструменты (tools), возникают вопросы безопасности и наблюдаемости.
Проект решает три конкретные задачи:
- Как контролировать бюджеты и лимиты для разных команд, использующих одну подписку OpenAI или Anthropic.
- Как безопасно подключать агентов к вашим внутренним данным и API.
- Как заставить агентов от разных разработчиков общаться друг с другом без костылей.
Главные фишки, которые упрощают жизнь
Единая точка входа для LLM
Вместо того чтобы прописывать логику ретраев и выбора провайдеров в коде каждого агента, вы шлете запросы на Agentgateway. Он поддерживает OpenAI, Gemini, Bedrock и другие API через один интерфейс. Если одна модель недоступна или превышен лимит, шлюз сам перекинет запрос на запасной вариант. Есть встроенный контроль расходов — можно задать жесткие лимиты на токены или доллары для конкретных токенов доступа.
Шлюз для MCP
Model Context Protocol сейчас активно набирает обороты. Это стандарт, который позволяет агентам «видеть» файлы, базы данных и API. Agentgateway умеет работать как агрегатор таких ресурсов. Он поддерживает разные виды транспорта: от простого stdio до HTTP и SSE. В моей практике это выручает, когда нужно дать агенту доступ к защищенной базе, не отдавая ему прямые доступы к инфраструктуре.
Умная маршрутизация инференса
Если вы хостите свои модели (например, Llama в Kubernetes), Agentgateway умеет оценивать загрузку GPU и глубину очереди. Он не просто шлет запрос «в ту сторону», а выбирает инстанс, который ответит быстрее. Это особенно полезно, когда используются LoRA-адаптеры — шлюз понимает, на какую ноду лучше отправить запрос под конкретную задачу.
Безопасность и Guardrails
Проект позволяет на лету фильтровать контент. Можно использовать регулярки, проверять ответы через OpenAI Moderation или AWS Bedrock Guardrails. Еще есть гибкая система политик на CEL (Common Expression Language). Это позволяет настроить доступ так: «этот агент может вызывать только инструменты для чтения, но не для записи в БД».
Техническая сторона вопроса
Проект написан на Rust, что логично для сетевого прокси — память не ест, работает быстро. Для пользователей Kubernetes есть приятный бонус: кастомный контроллер и поддержка Gateway API. Вы можете описывать маршруты для ИИ-трафика прямо в YAML-манифестах рядом с остальными сервисами.
В репозитории есть встроенный UI, где можно в реальном времени смотреть, как агенты общаются с инструментами или друг с другом. Это сильно упрощает отладку, когда агент зациклился или выдает странный результат.
С чего начать
Если хотите потыкать проект руками, самый быстрый путь — Quickstart в документации. Есть готовые образы для Docker и чарты для Kubernetes.
Я бы советовал попробовать Agentgateway в двух случаях:
- Ваш проект перерос стадию «один скрипт на Python» и у вас начали расти счета за токены.
- Вы планируете внедрять MCP-серверы для расширения возможностей своих агентов и хотите централизованно управлять доступами к ним.
Проект сейчас активно развивается под эгидой Linux Foundation. Звезд пока чуть больше двух с половиной тысяч, но сообщество бодрое, проводят регулярные встречи и быстро пилят фичи. Если вам не хватает какой-то специфической проверки безопасности или маршрутизации, сейчас самое время зайти с Issue или PR.
Agentgateway — это не очередная «обертка над OpenAI API», а инфраструктурный инструмент. Он берет на себя скучную, но важную работу: авторизацию, лимиты, логирование и отказоустойчивость. Это позволяет разработчикам заниматься логикой агентов, а не переписыванием обработчиков ошибок для разных провайдеров.
Конечно, для маленьких наколенных проектов это может быть оверкиллом. Но если вы строите что-то серьезное на базе ИИ-агентов, такой слой абстракции сэкономит вам кучу времени в будущем.
