Перейти к основному содержимому

Подробно о мониторинге и наблюдаемости

Главы разработки научили вас создавать приложения с Core NATS, JetStream и другими возможностями. Предыдущие главы эксплуатации помогли запустить результат: подробные разделы о топологиях и безопасности дали вам работающую систему NATS. Теперь следующий шаг — научиться наблюдать за ней во время работы.

Мониторинг — это наблюдение. Эта глава показывает, где находятся показатели, какие из них указывают на неполадки и как сообщить о них человеку раньше, чем проблему заметит заказчик. Изменение конфигурации в ответ на проблему рассматривается отдельно. Когда метрика говорит «пора масштабировать» или «сделайте резервную копию», страница называет симптом и ссылается на главу эксплуатации с решением.

Ничего нового строить не будем: возьмём развёрнутую ранее систему Acme ORDERS — кластер east из трёх узлов, поток ORDERS, потребителей shipping и analytics — и начнём наблюдение. Всю главу объединяет один сюжет: потребитель shipping отстаёт, и вы видите это четырьмя разными способами.

Чему вы научитесь​

  • Запрашивать порт мониторинга :8222 каждого узла, получая состояние сервера, клиентов и кластера, а также число соединений и маршрутов учётной записи ORDERS.
  • Читать текущее состояние потока ORDERS и потребителя shipping, вычисляя отставание одним числом.
  • Подписываться на уведомления и системные события, чтобы узнавать о том, чего вы явно не запрашивали, например об исчерпании попыток доставки проблемного заказа.
  • Настраивать рабочую цепочку мониторинга: экспортёр опрашивает :8222, Prometheus хранит временные ряды, Grafana строит графики, а nats server check поднимает тревогу при превышении порога отставания shipping.

Для кого эта глава​

Вы уже прошли главу JetStream и главу топологий, знаете потоки, потребителей, подтверждения и кластеры. Здесь рассматривается их состояние, без повторного объяснения понятий. Если нужно освежить «отставание потребителя» или устройство кластера east, обратитесь к этим главам.

Опыт эксплуатации NATS не требуется. Мы начинаем с момента, когда вы уже умеете создавать систему и теперь должны за ней наблюдать.

Как читать главу​

Каждая страница вводит не больше двух новых понятий и продолжает одну рабочую сессию. Оставьте кластер east включённым: сначала вы его опрашиваете, затем добавляете подписку, затем экспортёр. На каждой странице та же система Acme рассматривается с ещё одной стороны.

Каждая метрика прослеживается до источника: обслуживающей её конечной точки или темы, в которой она приходит. Там, где существует исчерпывающий список полей и настроек, страница объясняет необходимое для понимания и отправляет за остальным в справочник.

Карта главы​

СтраницаЧто вы узнаете
Конечные точки мониторингаHTTP-порт :8222 и JSON по запросу: /varz, /connz, /routez, а также представление JetStream через /jsz
Состояние JetStreamСостояние потоков и потребителей; численные показатели отставания, неподтверждённых и повторных доставок
Уведомления и событияМимолётные сообщения в $JS.EVENT.ADVISORY.> и $SYS.* о событиях, которые вы явно не запрашивали
Prometheus и панелиЭкспортёр, временные ряды, панели Grafana и пороги проверок nats server check
Профилирование сервераПрофили CPU и памяти через системную учётную запись или prof_port, когда метрики показывают нездоровый узел, но не причину
Куда двигаться дальшеИтоги четырёх способов наблюдения и карта других глав эксплуатации

Четырём способам наблюдения соответствуют четыре страницы: числа поступают из конечных точек, отставание — из состояния потребителя, неожиданные события — из уведомлений, а история — из экспортёра. Последняя содержательная страница, профилирование, показывает следующий уровень диагностики: что делать, когда все четыре способа указывают на проблему узла, но не объясняют её причину.

Предварительные условия​

Вам понадобятся:

  • Локально работающая система Acme из предыдущих глав: кластер east из трёх узлов (n1-east, n2-east, n3-east), поток ORDERS, потребители shipping и analytics. Создание кластера описано в главе топологий, потока и потребителей — в главе JetStream.
  • Включённый порт мониторинга на каждом узле. Обычно используется :8222; см. Справочник → http_port.
  • Установленный CLI nats, настроенный на кластер, а также curl и jq для чтения JSON конечных точек. Позже добавятся экспортёр и Grafana.

Запустите кластер east, оставьте его работать и перейдите к конечным точкам мониторинга.

См. также​