perftest: Ваш швейцарский нож для измерения производительности высокоскоростных сетей

Представьте: вы вложили кучу денег в высокоскоростное сетевое оборудование, будь то InfiniBand или RoCE, настроили всё по последнему слову техники, а производительность всё равно не дотягивает до ожиданий. Или, что ещё хуже, после очередного обновления драйверов вы начинаете подозревать, что что-то пошло не так. Знакомая ситуация?

В мире высокопроизводительных вычислений и больших данных, где каждая микросекунда на счету, догадки и предположения – непозволительная роскошь. Нужны точные измерения, чтобы понять, где именно находится узкое место и как его расширить. Вот тут-то на сцену и выходит perftest – набор микро-бенчмарков от сообщества linux-rdma.

Что такое perftest и кому он нужен?

perftest – это не просто ещё одна утилита для пинга. Это коллекция специализированных тестов, написанных поверх uverbs (пользовательского интерфейса к InfiniBand Verbs API), предназначенных для глубокого анализа производительности сетевых адаптеров и стека протоколов. Он позволяет измерять пропускную способность и задержку для различных типов транзакций, которые используются в RDMA (Remote Direct Memory Access) и даже для нативного Ethernet.

Кому это будет полезно?

Системным администраторам и инженерам по сетям, работающим с InfiniBand, RoCE или другими высокоскоростными интерконнектами. Вы сможете точно диагностировать проблемы производительности и проверять эффективность изменений в конфигурации.
Разработчикам высокопроизводительных приложений, которым критична минимальная задержка и максимальная пропускная способность. perftest поможет понять реальные возможности вашей сетевой подсистемы.
Производителям оборудования и разработчикам драйверов, для тонкой настройки железа и софта, а также для функционального тестирования.

По сути, если вы хотите выжать максимум из своей сетевой инфраструктуры и не полагаться на интуицию, perftest – ваш незаменимый помощник.

Ключевые возможности: Глубже, чем просто скорость

perftest предлагает впечатляющий набор инструментов для детального анализа. Давайте разберем самые интересные из них.

1. Широкий спектр бенчмарков

Проект включает тесты для различных типов операций, что позволяет оценить производительность под разными углами:

Send (ib_send_bw, ib_send_lat): Классические тесты на пропускную способность и задержку для операций отправки сообщений.
RDMA Read (ib_read_bw, ib_read_lat): Измерение производительности для операций чтения данных напрямую из памяти удаленного узла.
RDMA Write (ib_write_bw, ib_write_lat): Аналогично, но для операций записи данных в память удаленного узла.
RDMA Atomic (ib_atomic_bw, ib_atomic_lat): Тесты для атомарных операций, критически важных для распределенных блокировок и синхронизации.
Native Ethernet (raw_ethernet_bw, raw_ethernet_lat): Если вы работаете с MOFED2, можно измерить производительность и обычного Ethernet, что удобно для сравнения.

Каждый из этих тестов можно настроить с помощью множества опций, таких как размер сообщения (-s), количество итераций (-n), тип соединения (RC/UC/UD/XRC/DC/SRD через -c) и многие другие.

2. Детальная методология измерения

Разработчики perftest подошли к измерениям очень серьезно. Например:

Точные таймстемпы: Бенчмарки используют счетчик циклов CPU для получения временных меток без переключения контекста, что обеспечивает высокую точность.
Медианная задержка: Для тестов задержки, помимо минимума и максимума, сообщается медианное значение. Это гораздо более устойчивая метрика к выбросам и вариациям, чем среднее значение, которое может быть сильно искажено единичными пиками.
Гистограммы результатов: С помощью флага -H в тестах задержки можно получить полную гистограмму результатов, что позволяет провести глубокий статистический анализ и выявить аномалии.

3. Продвинутые режимы и фичи

perftest не ограничивается базовыми измерениями. Он предлагает ряд уникальных возможностей:

RDMA Connected Mode (CM): Флаг -R позволяет использовать библиотеку rdma_cm для установки соединений, что удобно, если у вас нет Ethernet-соединения между узлами.
Multicast: В тестах ib_send_lat и ib_send_bw есть встроенная поддержка тестирования производительности мультикаста на уровне verbs. Вы можете указать количество QPs, присоединенных к мультикаст-группе (-g), и даже задать адрес группы (-M).
GPUDirect: Если вы используете NVIDIA GPU, perftest поддерживает тестирование GPUDirect. Это позволяет измерять производительность RDMA-операций, напрямую взаимодействующих с памятью GPU, минуя CPU. Это критически важно для задач машинного обучения, научных вычислений и других GPU-интенсивных нагрузок. Просто добавьте --use_cuda=<gpu_index>.
AES_XTS шифрование/дешифрование: Для тех, кому важна безопасность, perftest может тестировать производительность RDMA-операций с включенным аппаратным шифрованием AES_XTS. Это позволяет оценить накладные расходы на криптографию в реальных условиях.
Payload Modification: Возможность передавать файл с паттерном (--payload_file_path), который будет использоваться в качестве полезной нагрузки RDMA-операций. Это позволяет имитировать реальные данные и получать более релевантные результаты.

4. Гибкость и контроль

Проект дает вам полный контроль над процессом тестирования:

Двунаправленные тесты: Флаг -b позволяет измерять пропускную способность в обоих направлениях одновременно.
Тесты по времени: Вместо фиксированного числа итераций, можно запустить тест на определенное количество секунд (-D), что удобно для длительного мониторинга или прогрева системы.
Бесконечный режим: --run_infinitely позволяет запускать тест до прерывания пользователем, с выводом результатов каждые 5 секунд.

Установка и запуск: Быстрый старт

Установка perftest довольно стандартна для проектов, использующих autotools:

git clone https://github.com/linux-rdma/perftest.git
cd perftest/
./autogen.sh
./configure # Можно добавить --prefix=/opt/perftest для установки в конкретную директорию
make
sudo make install

После установки вы найдете исполняемые файлы тестов в директории perftest/ и в директории установки (если указали --prefix).

Пример запуска простейшего теста (клиент-сервер):

Сначала запустите сервер на одном узле:

./ib_send_bw # Сервер будет слушать на порту по умолчанию

Затем на другом узле запустите клиент, указав IP-адрес сервера:

./ib_send_bw <IP_адрес_сервера> # Клиент подключится к серверу

Важный момент: Одинаковые опции должны быть переданы как серверу, так и клиенту, чтобы обеспечить корректное взаимодействие.

Практическое применение: Где perftest покажет себя во всей красе?

Оценка нового оборудования: Выбираете между сетевыми картами разных производителей или моделей? perftest даст объективные цифры, которые помогут принять решение.
Тонкая настройка системы: Изменение параметров ядра, драйверов, прошивки коммутаторов – все это может повлиять на производительность. perftest позволит измерить эффект от каждого изменения.
Валидация сетевой инфраструктуры: Убедитесь, что ваша InfiniBand-фабрика работает так, как должна, и нет скрытых проблем с задержками или потерей пропускной способности.
Разработка и отладка: Если вы пишете приложения, использующие RDMA, perftest поможет понять базовую производительность сети, что критически важно для оптимизации вашего кода.
Сравнение технологий: Сравните производительность RDMA over InfiniBand с RDMA over Converged Ethernet (RoCE) или даже с обычным Ethernet, чтобы выбрать оптимальное решение для вашей задачи.

Выводы: Стоит ли попробовать?

Безусловно! Если вы хоть как-то связаны с высокопроизводительными сетями, InfiniBand, RoCE или просто стремитесь к максимальной эффективности, perftest – это must-have инструмент в вашем арсенале. Он предоставляет глубокий, точный и гибкий способ измерения производительности, который выходит далеко за рамки поверхностных тестов.

Не полагайтесь на догадки. Измеряйте, анализируйте и оптимизируйте с помощью perftest. Это позволит вам принимать обоснованные решения, выявлять узкие места и, в конечном итоге, создавать более быстрые и эффективные системы.

Попробуйте его в деле, и вы увидите, как много можно узнать о своей сетевой инфраструктуре, когда у вас есть правильные инструменты для измерений!