Как перестать настраивать дашборды руками и доверить это Terraform

Представьте ситуацию: вы полдня бережно собирали идеальный дашборд в Datadog. Настроили графики, выверили пороги срабатывания алертов, добавили теги. А потом проект масштабировался, и вам нужно создать еще десять таких же для разных окружений или команд. Копировать вручную через интерфейс? Это путь к ошибкам, которые вылезут в самый неподходящий момент, когда упадет продакшн.

Репозиторий terraform-provider-datadog решает именно эту проблему. Это официальный провайдер от команды DataDog, который позволяет описывать всю вашу систему мониторинга как код (IaC). Если вы уже используете Terraform для управления инфраструктурой в AWS или Azure, логично добавить туда и наблюдаемость (observability).

Зачем это нужно инженеру

Главная ценность здесь не в автоматизации ради автоматизации. Когда мониторинг живет в коде, он становится частью вашего CI/CD цикла. Вы можете проводить код-ревью изменений в алертах, откатывать неудачные правки дашбордов и гарантировать, что стейджинг мониторится точно так же, как и прод.

В моей практике часто бывало, что кто-то случайно менял настройки монитора в UI, и команда узнавала об этом только после пропущенного инцидента. С Terraform такие «сюрпризы» исключены — любая ручная правка будет видна при следующем запуске terraform plan.

Что умеет провайдер

Проект покрывает практически все возможности платформы. Вот несколько вещей, которые вы точно будете использовать.

Управление мониторами и алертами

Вместо того чтобы кликать мышкой в браузере, вы описываете логику оповещений в HCL-файле. Это позволяет использовать переменные и циклы. Нужно создать 50 однотипных проверок для разных микросервисов? В Terraform это займет пять строк кода.

resource "datadog_monitor" "service_health" {
  name               = "Health check for ${var.service_name}"
  type               = "service check"
  query              = "\"http.can_connect\".over(\"service:${var.service_name}\").last(3).count_by_status()"
  message            = "Service is down on {{host.name}}. Notify: @devops-team"
  
  monitor_thresholds {
    critical = 2
    warning  = 1
  }
}

Дашборды как шаблоны

Вы можете создавать сложные визуализации, используя JSON-шаблоны или нативный синтаксис провайдера. Это особенно удобно для стандартизации: у каждой команды в компании будут одинаковые графики задержек (latency) и ошибок, что сильно упрощает дежурства.

Управление логами и индексами

Провайдер позволяет настраивать правила фильтрации логов, создавать архивы и управлять индексами. Если вы решите изменить срок хранения логов для экономии бюджета, это делается одной правкой в конфиге.

Как начать работу

Проект написан на Go и требует Terraform версии не ниже 1.1.5. Если вам нужно внести свой вклад в развитие или собрать кастомную версию, процесс стандартный: клонируете репозиторий в структуру $GOPATH и запускаете make build.

Для обычного использования достаточно добавить блок провайдера в ваш проект:

terraform {
  required_providers {
    datadog = {
      source = "DataDog/datadog"
    }
  }
}

provider "datadog" {
  api_key = var.datadog_api_key
  app_key = var.datadog_app_key
}

Интересно, что документация у проекта вынесена на Terraform Registry, и она довольно подробная. Там можно найти примеры для каждого ресурса — от простых тегов до сложных SLO (Service Level Objectives).

Практические кейсы

Я видел, как этот провайдер использовали для быстрого развертывания «песочниц». Когда разработчику нужна временная среда, Terraform поднимает не только виртуалки и базы данных, но и сразу вешает на них мониторинг. После тестов всё так же одной командой удаляется, не оставляя мусора в аккаунте Datadog.

Еще один сценарий — синхронизация пользователей и прав доступа. Если у вас большая организация, управлять ролями через Terraform гораздо безопаснее, чем раздавать админские права вручную.

Стоит ли внедрять

Если у вас в Datadog больше пяти графиков и трех мониторов — однозначно да. Провайдер стабильный, его поддерживает сама компания-разработчик, а количество звезд (около 450) и активное сообщество (более 400 форков) говорят о том, что инструмент проверен в бою.

Единственный нюанс: переход на Terraform требует дисциплины. Вам придется договориться с командой, что «руками в интерфейсе больше ничего не трогаем». Но профит в виде предсказуемого и восстанавливаемого мониторинга того стоит. Если вы только начинаете путь в SRE или просто хотите навести порядок в своих алертах, этот репозиторий станет отличной отправной точкой.