Как LinkedIn и Uber справляются с петабайтами данных в реальном времени - знакомство с Apache Pinot

Представьте, что вы заходите в свой профиль на LinkedIn и видите вкладку «Кто просматривал ваш профиль». Информация там обновляется мгновенно, графики строятся без задержек, а данные подтягиваются из огромного массива событий. Знакомая ситуация? А теперь представьте, что за кулисами этого интерфейса стоят миллионы событий в секунду и сотни тысяч одновременных запросов.

Обычные реляционные базы данных на таких масштабах начинают «задыхаться», а классические Hadoop-системы слишком медлительны для интерактивного UI. Именно для решения этой проблемы инженеры LinkedIn (а позже и Uber) создали Apache Pinot.

Что такое Apache Pinot и почему это не просто «еще одна база данных»

Если говорить просто, Apache Pinot — это распределенное OLAP-хранилище (Online Analytical Processing), заточенное под экстремально низкую задержку (low latency). Его главная фишка в том, что он умеет поглощать данные «на лету» из потоковых источников вроде Kafka или Pulsar и тут же делать их доступными для аналитических запросов.

В отличие от традиционных хранилищ, которые хороши для внутренних отчетов компании, Pinot проектировался для user-facing аналитики. Это когда аналитические графики видит не только ваш аналитик в Tableau, но и миллионы конечных пользователей в своих личных кабинетах.

Кому это пригодится?

Если вам нужно строить интерактивные дашборды, которые обновляются в реальном времени.
Если у вас огромные объемы неизменяемых (immutable) данных, по которым нужно делать агрегации.
Если вы работаете с временными рядами и множеством измерений (dimensions).

Пять причин присмотреться к Pinot

1. Скорость, которая впечатляет

Pinot позволяет выполнять агрегацию над петабайтами данных с задержкой в десятки миллисекунд (P90). Этого достаточно, чтобы пользователь даже не заметил процесса загрузки данных в интерфейсе. Достигается это за счет колоночного хранения и продвинутых механизмов индексации.

2. Индексация на любой вкус

В моей практике часто бывает так: база хороша, но индексов не хватает. В Pinot с этим проблем нет. «Из коробки» доступны:

Inverted Index: классика для быстрой фильтрации.
StarTree Index: уникальная штука для предварительной агрегации данных.
Bloom Filter: чтобы не искать там, где данных точно нет.
Geospatial: для тех, кто работает с картами и координатами.
JSON Index: для работы с неструктурированными данными без потери скорости.

3. Гибридное поглощение данных

Интересно, что Pinot умеет объединять данные из пакетных источников (S3, HDFS) и стриминговых (Kafka, Kinesis) в одной таблице. Для аналитика это выглядит как единый источник истины: старые данные подтянулись из архива, а новые только что прилетели из очереди событий.

4. SQL, который мы знаем

Не нужно учить специфические языки запросов. Pinot поддерживает стандартный SQL. Например, типичный запрос для рекламной аналитики выглядит совершенно привычно:

SELECT sum(clicks), sum(impressions) FROM AdAnalyticsTable
  WHERE
       ((daysSinceEpoch >= 17849 AND daysSinceEpoch <= 17856)) AND
       accountId IN (123456789)
  GROUP BY
       daysSinceEpoch TOP 100

5. Масштабируемость без боли

Проект изначально строился как облачно-ориентированный (cloud-native). Он отлично живет в Kubernetes, легко масштабируется горизонтально и поддерживает мультиарендность (multi-tenancy). Это значит, что вы можете изолировать данные разных команд или клиентов внутри одного кластера.

Как это устроено внутри?

Архитектура Pinot состоит из нескольких ключевых компонентов:

Controller: управляет состоянием кластера и метаданными.
Broker: принимает SQL-запросы, распределяет их по серверам и собирает результат.
Server: сердце системы, где хранятся данные и выполняются вычисления.
Minion: опциональный компонент для фоновых задач (например, пересборка сегментов данных).

Такое разделение позволяет масштабировать вычислительные мощности отдельно от хранилища, что критично для высоконагруженных систем.

Практический кейс: UberEats

Uber использует Pinot для своего «Менеджера ресторанов». Владельцы заведений могут в реальном времени видеть, как идут продажи, какие блюда популярны и где возникают задержки в доставке. Представьте масштаб: тысячи ресторанов по всему миру генерируют поток событий, и каждый владелец хочет видеть актуальную статистику прямо сейчас, а не через час после закрытия смены.

Как попробовать?

Если вы хотите потыкать Pinot в деле, проще всего запустить демо-режим. Вам понадобится Git и Maven.

# Клонируем репозиторий
$ git clone https://github.com/apache/pinot.git
$ cd pinot

# Собираем проект (это может занять время, наберитесь терпения)
$ ./mvnw clean install -DskipTests -Pbin-dist

# Запускаем быстрый старт с пакетными данными
$ cd build/
$ bin/quick-start-batch.sh

Кстати, если вы работаете на Mac с процессором M1/M2/M3, разработчики позаботились об автоматической настройке профилей для сборки protobuf — раньше это было той еще головной болью.

Итоги: стоит ли внедрять?

Apache Pinot — это мощный инструмент, но он не является заменой вашей основной PostgreSQL или MongoDB. Это специализированное решение для тех случаев, когда данных становится слишком много, а пользователи требуют мгновенных ответов.

Вам точно стоит его изучить, если:

Вы строите аналитическую платформу с высокой нагрузкой (10k+ QPS).
Вам нужно объединить исторические данные и real-time поток.
Ваши текущие BI-инструменты тормозят на больших выборках.

Проект активно развивается под эгидой Apache Foundation, у него живое сообщество в Slack и отличная документация. Если вы ищете способ сделать вашу аналитику по-настоящему быстрой — Pinot определенно заслуживает места в вашем технологическом стеке.

А вы сталкивались с проблемами производительности OLAP-систем? Делитесь своим опытом в комментариях!