Как навести порядок в зоопарке нейросетей с помощью New API
Представьте ситуацию: у вас в проекте работает связка из GPT-4 для логики, Claude для написания текстов и Gemini для анализа огромных документов. У каждого провайдера свой формат запросов, свои ключи, разные лимиты и, конечно, раздельные счета. Когда команда разрастается, управление этим «зоопарком» превращается в кошмар: ключи утекают, бюджеты сливаются непонятно куда, а код обрастает бесконечными обертками под каждое API.
Я наткнулся на проект New API, который решает эту проблему радикально. Это не просто прокси-сервер, а полноценный шлюз (gateway) для управления всеми вашими ИИ-активами. Он берет на себя роль единого входного узла, который превращает хаос из разных протоколов в стройную систему, совместимую с форматом OpenAI.
Что это такое и зачем оно вам
Если вкратце, New API — это форк известного One API, но с человеческим лицом, современным интерфейсом и пачкой критически важных доработок. Проект написан на Go, что делает его очень легким: он спокойно живет в Docker-контейнере и не отъедает ресурсы системы.
Основная идея проста: вы подключаете к New API свои ключи от OpenAI, Anthropic, Google, Azure или даже локальные модели через Ollama. На выходе получаете один эндпоинт и один API-ключ. Ваше приложение думает, что общается с OpenAI, а New API «под капотом» переводит запросы в нужный формат для конкретной модели.
Чем New API отличается от десятка аналогов
Проектов-прокси сейчас много, но этот зацепил меня несколькими вещами, которые реально экономят время в продакшене.
Единый стандарт для всего
Самая крутая фишка — кросс-конвертация форматов. Вы можете отправить запрос в формате Claude Messages, а New API перекинет его на Gemini или GPT. Это позволяет менять модели в приложении буквально одной строчкой в конфиге, не переписывая логику обработки ответов. Поддерживаются даже специфические вещи вроде Rerank-моделей от Cohere или генерация музыки через Suno.
Контроль над расходами
Внутри встроена полноценная система биллинга. Можно создавать пользователей, выдавать им токены и устанавливать жесткие квоты. Если вы даете доступ к нейросетям разным отделам компании или делаете свой SaaS, это незаменимо. Есть поддержка онлайн-пополнения баланса через Stripe или EPay, что намекает на готовность проекта к коммерческому использованию.
Умная маршрутизация и отказоустойчивость
Если у вас несколько аккаунтов OpenAI (например, чтобы обойти лимиты по RPM), New API умеет распределять нагрузку между ними. Более того, если основной канал «упал» или выдал ошибку, система автоматически повторит запрос через резервный канал. В моей практике это спасало, когда Azure начинал отдавать 503 ошибки в самый неподходящий момент.
Поддержка «рассуждающих» моделей
Разработчики оперативно добавили поддержку последних новинок: o3-mini, Claude 3.7 Sonnet с режимом thinking и Gemini 2.5 Flash. Для моделей с глубоким рассуждением можно настраивать бюджет токенов на мыслительный процесс прямо через параметры запроса.
Как это развернуть
Разработчики предлагают несколько вариантов, но Docker Compose — самый адекватный. Весь процесс занимает минуты три.
git clone https://github.com/QuantumNous/new-api.git
cd new-api
docker-compose up -d
После этого по адресу http://localhost:3000 открывается админка. По умолчанию логин root, пароль 123456 (первым делом смените его, серьезно).
Если вам нужно что-то более серьезное, чем SQLite для хранения данных, проект легко подцепляет MySQL или PostgreSQL через переменные окружения. Для высоконагруженных систем предусмотрена интеграция с Redis, чтобы кешировать токены и не дергать базу на каждый чих.
Технические нюансы, о которых стоит знать
Проект активно использует возможности Go для обработки стриминга (SSE). Это важно, потому что при работе с LLM задержка (TTFT — Time To First Token) критична для пользовательского опыта. New API практически не вносит накладных расходов на проксирование потока.
Интересная деталь: в репозитории упоминается поддержка OIDC (OpenID Connect). Это значит, что проект можно интегрировать в корпоративную систему авторизации, а не плодить локальных пользователей.
Проект поддерживается серьезными игроками, включая Пекинский университет и Alibaba Cloud, что дает надежду на долгую жизнь репозитория.
Кому это пригодится
- Командам разработки: чтобы не раздавать админские ключи от Azure или OpenAI всем подряд. Вы создаете ограниченные ключи внутри New API для каждого разработчика или сервиса.
- Создателям ИИ-сервисов: если вы делаете обертку над LLM, New API берет на себя всю грязную работу по подсчету токенов, биллингу и переключению между провайдерами.
- Self-hosted энтузиастам: если вы запускаете локальные модели через Ollama или LocalAI, New API станет удобным фасадом для доступа к ним из разных приложений (например, из плагинов для IDE).
New API выглядит как зрелый инструмент для тех, кто перерос стадию «просто дергаю API OpenAI из скрипта». У него есть свои шероховатости — например, документация местами еще переводится с китайского, а интерфейс может показаться перегруженным настройками. Но возможность объединить десятки разных ИИ-провайдеров в одну стабильную точку входа перекрывает эти мелочи.
Если вы устали следить за балансом в пяти разных личных кабинетах и хотите унифицировать работу с нейросетями в своем коде, New API — это, пожалуй, лучшее, что сейчас есть в опенсорсе для этих задач.
