Как выжить за пределами Google или справочник технологий на все случаи жизни

Представьте, что вы десять лет работали в компании, где для каждой задачи есть свой идеальный, отточенный десятилетиями внутренний инструмент. У вас есть Borg для управления кластерами, Chubby для блокировок, Stubby для RPC. Вы привыкли к этой экосистеме, она — ваш воздух. И вдруг вы выходите в «реальный мир». Выясняется, что Stubby здесь нет, а вместо Borg все обсуждают какой-то Kubernetes.

Именно для таких случаев (и не только для них) появился репозиторий jhuangtw/xg2xg. По сути, это огромная сравнительная таблица, которая переводит с «гуглового» на общечеловеческий. Но даже если вы никогда не работали в Google, этот проект — золотая жила для понимания того, как устроены высоконагруженные системы и какие аналоги индустриальных стандартов существуют сегодня.

Зачем это изучать обычному разработчику

Когда мы смотрим на архитектуру Google, мы видим результат эволюции систем, которые справляются с запредельными нагрузками. Проблема в том, что внутри компании технологии называются иначе, чем в open source. Репозиторий xg2xg убирает этот барьер.

Для архитектора или лида это готовый список проверенных временем связок. Например, если вы знаете, что Google использует Zanzibar для управления правами доступа (ACL), вы можете быстро найти в таблице SpiceDB или OpenFGA. Это не просто список библиотек, это карта соответствия концепций.

Что внутри таблицы

Автор разделил проект на несколько логических блоков: инфраструктура, хранение данных, DevOps и даже корпоративная культура.

Базовые технологии и хранилища

Тут всё самое интересное. Если вы слышали про легендарную MapReduce, то из таблицы сразу видно, что в современном мире её заменили Apache Hadoop и Spark. В разделе хранилищ (Storage) можно проследить родословную многих популярных БД:

• Внутренний Bigtable превратился в облачный Cloud Bigtable, а в мире открытого ПО его идеи живут в Cassandra и HBase.
• Протокол Stubby стал всем известным gRPC.
• Система Colossus (наследник GFS) сопоставляется с HDFS или Ceph.

Инфраструктура и оркестрация

Многие знают, что Kubernetes вырос из Borg. Но xg2xg напоминает, что есть и другие альтернативы, вроде HashiCorp Nomad или Apache Mesos. Это отрезвляет, когда кажется, что кроме K8s ничего не существует.

Интересен раздел про Zanzibar. Это внутренняя система Google для проверки разрешений (кто имеет доступ к документу в Google Docs, например). В таблице указано сразу несколько современных реализаций этой логики: Ory Keto, Authzed и OpenFGA. Если вам нужно внедрить сложную ролевую модель, этот список сэкономит неделю ресерча.

DevOps и инструменты разработки

В Google культура разработки сильно завязана на монорепозитории и специфические системы сборки.

• Вместо внутреннего Blaze мир использует Bazel (его открытую версию) или Buck от Meta.
• Мониторинг: внутренние Borgmon и Monarch находят свои отражения в Prometheus и Grafana.
• CI/CD: на место систем Sisyphus и Rapid приходят Spinnaker, GitHub Actions или GitLab CI.

Практическая польза: не только про код

Репозиторий заходит на территорию PeopleOps. Это забавно, но полезно для тимлидов. Как в Google ставили цели? Через OKR. Какие инструменты для этого есть снаружи? Lattice или Workboard. Как проводили опросы сотрудников? Через Googlegeist. Аналоги — Culture Amp или Peakon.

Даже такие мелочи, как внутренние сокращатели ссылок (go/links), имеют свои аналоги в open source, например, Trotto. Это показывает, что комфортная среда разработки складывается из десятков маленьких утилит, о которых мы часто забываем при переходе в новый проект.

Стоит ли добавлять в закладки

Проект xg2xg — это не учебник, а именно справочник. В нем нет глубоких туториалов, но есть ссылки на White Papers (научные статьи Google), которые легли в основу технологий.

Кому это пригодится:

1. Системным архитекторам: чтобы видеть общую картину и понимать, какие инструменты решают схожие задачи.
2. Подготавливающимся к System Design интервью: часто вопросы на таких собеседованиях строятся вокруг архитектур больших компаний. Знание того, как Dremel соотносится с BigQuery и Presto, даст вам +10 к уверенности.
3. Разработчикам в поиске стека: если вы не знаете, что выбрать для логирования или распределенного трейсинга, просто посмотрите, что в этом секторе сопоставляется с инструментами Google.

Проект живет за счет комьюнити. Список постоянно пополняется: например, недавно там появились упоминания современных инструментов вроде Bun, новых систем авторизации и облачных сервисов AWS/Azure. README лаконичный, но за каждой строчкой в таблице стоят годы инженерной работы. Если чувствуете, что застряли в выборе технологий — загляните туда, скорее всего, решение уже найдено.