Arch — Дирижер для ваших AI-агентов и LLM в продакшене

Знакомая ситуация? Вы создали потрясающее демо AI-агента, которое на ура справляется с задачами. Но как только дело доходит до внедрения в продакшен, начинается самое "веселье". Роутинг запросов к нужным LLM, обеспечение безопасности, отладка, интеграция новых моделей — все это превращается в бесконечную рутину, отнимающую время от реальной инновации. Мы, разработчики, часто сталкиваемся с тем, что большая часть усилий уходит на "сантехнику", а не на создание уникальной логики.

К счастью, есть проекты, которые призваны решить эти проблемы. Сегодня мы поговорим об одном из них — ArchGW (или просто Arch), интеллектуальном прокси-сервере, который обещает стать вашим надежным помощником в мире больших языковых моделей и AI-агентов.

Что такое ArchGW и зачем он нужен разработчику?

Представьте, что у вас есть оркестр из множества LLM и AI-агентов, каждый из которых специализируется на чем-то своем. ArchGW — это дирижер, который гарантирует, что каждый запрос пользователя будет направлен к правильному "музыканту" в нужное время, с соблюдением всех правил и максимальной эффективностью.

ArchGW позиционируется как "models-native (edge and service) proxy server for agents". По сути, это инфраструктурный слой, который берет на себя всю низкоуровневую работу при построении AI-агентов:

• Маршрутизация и оркестрация: Куда отправить запрос — к одной LLM, к другой, а может, к целому агенту?
• Интеграция моделей: Как легко менять LLM-провайдеров или версии моделей, не переписывая половину кода?
• Наблюдаемость и управление: Как отслеживать, что происходит внутри агента, и обеспечивать безопасность?
• Обработка промтов: Как валидировать ввод, уточнять запросы и преобразовывать выходные данные?

Создатели ArchGW, кстати, имеют опыт работы над легендарным Envoy Proxy, что сразу внушает доверие к надежности и производительности решения. Их философия проста: промты — это сложные запросы, требующие тех же возможностей, что и традиционные HTTP-запросы: безопасной обработки, интеллектуальной маршрутизации, надежной наблюдаемости и интеграции с бэкенд-системами.

Практическая ценность для вас: ArchGW позволяет сосредоточиться на высокоуровневых задачах и бизнес-логике ваших AI-приложений, значительно ускоряя разработку и вывод в продакшен.

ArchGW в действии: Ключевые возможности, которые упростят вашу жизнь

Давайте разберем, какие конкретные "боли" ArchGW готов взять на себя.

1. Интеллектуальный роутинг LLM: Больше никаких "if/else" на каждый чих!

Выбор правильной LLM для конкретной задачи — это целое искусство. Одна модель лучше генерирует код, другая — пишет креативные тексты, третья — отлично справляется с логическими рассуждениями. Хардкодить логику выбора в коде приложения — путь к кошмару поддержки и медленным итерациям. ArchGW предлагает элегантное решение с тремя стратегиями роутинга:

• Модельный роутинг: Самый простой вариант. Вы явно указываете, к какой модели отправить запрос. ArchGW поддерживает более 11 LLM-провайдеров, включая OpenAI, Anthropic, DeepSeek, Mistral, Groq и другие.

  llm_providers:
    - model: openai/gpt-4o
      access_key: $OPENAI_API_KEY
      default: true
  
    - model: anthropic/claude-3-5-sonnet-20241022
      access_key: $ANTHROPIC_API_KEY
  

  А в коде это выглядит так:

  from openai import OpenAI
  
  client = OpenAI(base_url="http://127.0.0.1:12000/v1", api_key="test")
  
  response = client.chat.completions.create(
      model="anthropic/claude-3-5-sonnet-20241022",
      messages=[{"role": "user", "content": "Explain quantum computing"}]
  )
  

• Роутинг по псевдонимам (Alias-based Routing): Моя любимая стратегия для гибкости! Вы создаете семантические, понятные имена для моделей (например, fast-model, reasoning-model, creative-model). Ваше приложение работает с этими псевдонимами, а ArchGW уже знает, какая конкретная LLM за ними скрывается. Нужно поменять reasoning-model с gpt-4o на claude-3-5-sonnet? Просто обновите конфиг ArchGW, и ваше приложение даже не заметит подмены!

  model_aliases:
    fast-model:
      target: gpt-4o-mini
  
    reasoning-model:
      target: gpt-4o
  
    creative-model:
      target: claude-3-5-sonnet-20241022
  

  response = client.chat.completions.create(
      model="reasoning-model", # ArchGW сам выберет лучшую модель для рассуждений
      messages=[{"role": "user", "content": "Solve this complex problem..."}]
  )
  

• Роутинг по предпочтениям (Preference-aligned Routing): А вот это уже высший пилотаж! Вместо того чтобы жестко кодировать логику, вы описываете возможности каждой LLM на естественном языке. Например, gpt-4o хорош для "глубокого анализа" и "математического решения задач", а deepseek/deepseek-coder — для "генерации нового кода" и "ревью кода". ArchGW, используя легковесную авторегрессионную модель (1.5B), сам определяет намерение пользователя и динамически выбирает наиболее подходящую LLM. Это как иметь умного секретаря, который всегда знает, к какому эксперту отправить письмо. Никакого переобучения при добавлении новых моделей — только человекочитаемые правила!

  llm_providers:
    - model: openai/gpt-4o
      access_key: $OPENAI_API_KEY
      routing_preferences:
        - name: complex_reasoning
          description: deep analysis, mathematical problem solving, and logical reasoning
        - name: creative_writing
          description: storytelling, creative content, and artistic writing
  
    - model: deepseek/deepseek-coder
      access_key: $DEEPSEEK_API_KEY
      routing_preferences:
        - name: code_generation
          description: generating new code, writing functions, and creating scripts
        - name: code_review
          description: analyzing existing code for bugs, improvements, and optimization
  

  

2. Управление агентами и инструментами: От промта к действию

Современные AI-агенты часто нуждаются в доступе к внешним API (так называемым "инструментам"), чтобы получать актуальную информацию или выполнять действия. ArchGW упрощает этот процесс, превращая пользовательские запросы в вызовы API.

Представьте, вы хотите создать агента, который умеет проверять курсы валют. С ArchGW это становится удивительно просто:

1. Описываете API в конфиге: Указываете, какие эндпоинты доступны, их параметры и описание.
2. ArchGW сам решает: Когда пользователь спрашивает "какой курс фунта?", ArchGW понимает, что это запрос на обмен валют, извлекает символ GBP и вызывает соответствующий API, а затем форматирует ответ от LLM.

Вот как это выглядит в конфиге arch_config.yaml для агента обмена валют:

prompt_targets:
  - name: currency_exchange
    description: Get currency exchange rate from USD to other currencies
    parameters:
      - name: currency_symbol
        description: the currency that needs conversion
        required: true
        type: str
        in_path: true
    endpoint:
      name: frankfurter_api
      path: /v1/latest?base=USD&symbols={currency_symbol}
    system_prompt: |
      You are a helpful assistant. Show me the currency symbol you want to convert from USD.

  - name: get_supported_currencies
    description: Get list of supported currencies for conversion
    endpoint:
      name: frankfurter_api
      path: /v1/currencies

endpoints:
  frankfurter_api:
    endpoint: api.frankfurter.dev:443
    protocol: https

И затем вы просто взаимодействуете с ArchGW, как с обычной LLM через OpenAI-совместимый API:

$ curl --header 'Content-Type: application/json' \
  --data '{"messages": [{"role": "user","content": "what is exchange rate for gbp"}], "model": "none"}' \
  http://localhost:10000/v1/chat/completions | jq ".choices[0].message.content"

"As of the date provided in your context, December 5, 2024, the exchange rate for GBP (British Pound) from USD (United States Dollar) is 0.78558. This means that 1 USD is equivalent to 0.78558 GBP."

Это невероятно удобно, ведь вам не нужно писать сложную логику для парсинга запросов и вызова функций — ArchGW берет это на себя.

3. Guardrails: Защита от неожиданностей и нежелательного поведения

AI-агенты, как и любые сложные системы, могут вести себя непредсказуемо. Важно иметь механизмы защиты, которые предотвратят нежелательные или вредоносные действия. ArchGW позволяет централизованно настраивать "guardrails" — правила безопасности, которые фильтруют входящие запросы.

Например, вы можете легко настроить правило, которое будет отлавливать попытки "джейлбрейка" или запросы, выходящие за рамки дозволенного, еще до того, как они достигнут LLM. Это критически важно для поддержания репутации вашего приложения и обеспечения безопасности пользователей.

prompt_guards:
  input_guards:
    jailbreak:
      on_exception:
        message: Looks like you're curious about my abilities, but I can only provide assistance for currency exchange.

4. Наблюдаемость (Observability): Видеть все, что происходит

Отладка распределенных систем, особенно с участием LLM, может быть настоящим кошмаром. Где произошла ошибка? Какая модель была выбрана? Сколько времени занял каждый шаг? ArchGW решает эту проблему, предоставляя встроенные средства наблюдаемости.

Он поддерживает открытые стандарты, такие как W3C compatible request tracing, и предоставляет метрики LLM, которые легко интегрируются с популярными инструментами мониторинга. Вы всегда будете иметь полную картину того, как обрабатываются запросы, что позволяет быстро находить и устранять проблемы, а также оптимизировать производительность.

Под капотом: Мощь Envoy и Rust

ArchGW не просто так назван в честь Envoy Proxy. Он построен на базе Envoy, что сразу говорит о его серьезных архитектурных преимуществах: высокая производительность, надежность и масштабируемость, проверенные в самых нагруженных продакшен-средах. Это означает, что ArchGW может эффективно обрабатывать большой объем трафика, связанного с промтами и LLM.

К тому же, проект написан на Rust, языке, известном своей безопасностью памяти и исключительной скоростью выполнения. Все это позволяет ArchGW работать как легковесный контейнеризированный процесс рядом с вашими приложениями, обеспечивая стабильность и эффективность.

Кому стоит присмотреться к ArchGW?

ArchGW — это не просто очередной инструмент, это решение для тех, кто:

• Разрабатывает сложные AI-агенты: Если ваши агенты взаимодействуют с несколькими LLM, используют внешние инструменты и требуют строгих правил безопасности, ArchGW — ваш выбор.
• Нуждается в централизованном управлении LLM: Если вы хотите иметь единую точку контроля над всеми LLM, которые использует ваше приложение, ArchGW предоставит вам эту возможность.
• Стремится к продакшен-готовности: Для тех, кто хочет вывести свои AI-проекты за рамки прототипов и обеспечить им надежность, масштабируемость и наблюдаемость на уровне продакшена.
• Устал от "сантехники": Если вы хотите сосредоточиться на уникальной логике вашего AI-приложения, а не на низкоуровневых инфраструктурных задачах.

ArchGW — это глоток свежего воздуха для разработчиков, работающих с AI-агентами и LLM. Он элегантно решает множество инфраструктурных проблем, предлагая интеллектуальный роутинг, мощные guardrails, бесшовную интеграцию инструментов и полную наблюдаемость. Благодаря своей архитектуре на базе Envoy и реализации на Rust, ArchGW обеспечивает высокую производительность и надежность, необходимые для реальных продакшен-приложений.

Если вы планируете серьезные проекты с AI-агентами или уже столкнулись с трудностями масштабирования и управления LLM, ArchGW определенно заслуживает вашего внимания. Загляните в документацию и присоединяйтесь к Discord-серверу, чтобы узнать больше и начать использовать этот мощный инструмент уже сегодня!