Как перестать гадать на кофейной гуще при выборе GPU и софта для LLM

Знакомая ситуация: вы читаете свежий бенчмарк новой видеокарты или инференс-движка, вдохновляетесь цифрами, а через неделю выходит обновление vLLM или SGLang, которое меняет правила игры. В мире больших языковых моделей (LLM) вчерашние тесты — это уже древняя история. Пока вы допиваете утренний кофе, кто-то в другом часовом поясе выкатил новый kernel-level патч, ускоряющий генерацию токенов на 15%.

Как в этом хаосе понять, на чем реально выгоднее запускать DeepSeek или Qwen? Ребята из SemiAnalysis решили, что хватит это терпеть, и создали InferenceX — живой, постоянно обновляемый полигон для тестирования производительности ИИ.

Что такое InferenceX и почему это не просто очередной PDF с графиками

Большинство бенчмарков — это «фотография» момента. Авторы берут конкретную версию драйверов, конкретную библиотеку и показывают результат. Но софт для инференса эволюционирует быстрее, чем мы успеваем обновлять зависимости в requirements.txt.

InferenceX (ранее известный как InferenceMAX) — это опенсорсный проект, который проводит автоматизированное тестирование каждую ночь. Это не статичный отчет, а непрерывный поток данных о том, как топовые open-source фреймворки (vLLM, SGLang, TensorRT-LLM) ведут себя на самом мощном железе: от «народных» H100 до монструозных систем NVIDIA Blackwell (GB200) и AMD MI355X.

Примечание: Если вы видите этот скриншот, знайте — данные в репозитории уже могли обновиться, пока вы читаете эти строки.

Три кита, на которых держится проект

1. Актуальность софта

Разработчики InferenceX понимают, что производительность LLM — это сумма железа и софта. Если NVIDIA или AMD выпускают новые библиотеки (CUDA, ROCm), или сообщество оптимизирует распределенный инференс, InferenceX ловит эти изменения в реальном времени. Это позволяет увидеть «Pareto frontier» — ту самую грань максимально возможной производительности на текущий момент.

2. Битва титанов: NVIDIA vs AMD

Проект не зациклен на одном вендоре. Благодаря поддержке Лизы Су (AMD) и Дженсена Хуанга (NVIDIA), авторы имеют доступ к самому дефицитному железу в мире. Хотите узнать, как GB200 NVL72 чувствует себя против MI355X на реальных задачах? Здесь нет маркетинговых слайдов, только сухие цифры пропускной способности токенов.

3. Прозрачность и воспроизводимость

Весь код бенчмарков открыт под лицензией Apache 2.0. Это значит, что вы можете не просто верить цифрам на дашборде, но и заглянуть «под капот», чтобы понять, как именно измерялась задержка (latency) или потребление энергии.

Техническая начинка: что именно тестируют?

InferenceX фокусируется на критических метриках для тех, кто строит «фабрики токенов»:

• Token Throughput: Сколько текста система может выдать в секунду при разной нагрузке.
• Performance per Dollar: Самый важный вопрос для бизнеса — сколько токенов мы получаем за каждый вложенный доллар.
• Tokens per Megawatt: Энергоэффективность, которая становится решающим фактором при масштабировании дата-центров.

Проект охватывает самые востребованные модели: Qwen 2.5, DeepSeek, Llama и другие. При этом тестируются разные стратегии: от одиночных GPU до сложных распределенных конфигураций.

Кому это полезно в повседневной работе?

Архитекторам систем ИИ

Если перед вами стоит задача выбрать облачного провайдера или закупить собственное железо, InferenceX станет вашим главным советником. Вместо того чтобы полагаться на обещания сейлзов, вы смотрите на реальную производительность в SGLang или vLLM на нужных вам картах.

MLOps-инженерам

Вы можете использовать методологию проекта для настройки собственных внутренних бенчмарков. Это поможет понять, стоит ли обновлять версию инференс-движка прямо сейчас или лучше подождать стабильного релиза, если прирост производительности незначителен.

Исследователям и разработчикам софта

Для создателей vLLM или TensorRT-LLM этот проект — как зеркало. Он показывает, как их оптимизации влияют на реальный мир и где они проигрывают конкурентам. Как сказал Трай Дао (создатель Flash Attention): «Разрыв между теоретическим пиком и реальной пропускной способностью определяется системным ПО». InferenceX наглядно показывает этот разрыв.

Как этим пользоваться?

Самый простой способ — зайти на их публичный дашборд. Но если вы настоящий гик, стоит склонировать репозиторий.

git clone https://github.com/SemiAnalysisAI/InferenceX.git

Внутри вы найдете скрипты для запуска тестов. Однако стоит учитывать, что для воспроизведения некоторых результатов вам понадобится доступ к весьма экзотическому железу (например, кластеру H100 или новым чипам от AMD).

Важное предупреждение из README: Только официальный репозиторий SemiAnalysisAI/InferenceX содержит верифицированные результаты. Если вы видите форки — проверяйте их дважды, так как настройки машин и качество облачных ресурсов могут сильно отличаться, что искажает итоговые цифры.

Вместо заключения: стоит ли следить за проектом?

В индустрии, где «SOTA» (State-of-the-Art) меняется раз в неделю, InferenceX — это глоток свежего воздуха и попытка внести прозрачность в маркетинговые войны гигантов. Проект поддерживают такие игроки, как OpenAI (команда Stargate), Together AI и крупнейшие облачные провайдеры вроде Nebius и CoreWeave.

Если ваша работа связана с эксплуатацией LLM, добавьте этот репозиторий в закладки. Это поможет вам принимать решения, основываясь на данных, а не на хайпе. Ведь в конечном итоге, как говорят авторы проекта: «Speed is the Moat» — скорость и есть ваше конкурентное преимущество.

А какое железо для инференса сейчас используете вы? Делитесь в комментариях, совпадает ли ваш опыт с цифрами InferenceX!