Подробно о мониторинге и наблюдаемости
Главы разработки научили вас создавать приложения с Core NATS, JetStream и другими возможностями. Предыдущие главы эксплуатации помогли запустить результат: подробные разделы о топологиях и безопасности дали вам работающую систему NATS. Теперь следующий шаг — научиться наблюдать за ней во время работы.
Мониторинг — это наблюдение. Эта глава показывает, где находятся показатели, какие из них указывают на неполадки и как сообщить о них человеку раньше, чем проблему заметит заказчик. Изменение конфигурации в ответ на проблему рассматривается отдельно. Когда метрика говорит «пора масштабировать» или «сделайте резервную копию», страница называет симптом и ссылается на главу эксплуатации с решением.
Ничего нового строить не будем: возьмём развёрнутую ранее систему Acme ORDERS — кластер east из трёх узлов, поток ORDERS, потребителей shipping и analytics — и начнём наблюдение. Всю главу объединяет один сюжет: потребитель shipping отстаёт, и вы видите это четырьмя разными способами.
Чему вы научитесь
- Запрашивать порт мониторинга
:8222каждого узла, получая состояние сервера, клиентов и кластера, а также число соединений и маршрутов учётной записиORDERS. - Читать текущее состояние потока
ORDERSи потребителяshipping, вычисляя отставание одним числом. - Подписываться на уведомления и системные события, чтобы узнавать о том, чего вы явно не запрашивали, например об исчерпании попыток доставки проблемного заказа.
- Настраивать рабочую цепочку мониторинга: экспортёр опрашивает
:8222, Prometheus хранит временные ряды, Grafana строит графики, аnats server checkподнимает тревогу при превышении порога отставанияshipping.
Для кого эта глава
Вы уже прошли главу JetStream и главу топологий, знаете потоки, потребителей, подтверждения и кластеры. Здесь рассматривается их состояние, без повторного объяснения понятий. Если нужно освежить «отставание потребителя» или устройство кластера east, обратитесь к этим главам.
Опыт эксплуатации NATS не требуется. Мы начинаем с момента, когда вы уже умеете создавать систему и теперь должны за ней наблюдать.
Как читать главу
Каждая страница вводит не больше двух новых понятий и продолжает одну рабочую сессию. Оставьте кластер east включённым: сначала вы его опрашиваете, затем добавляете подписку, затем экспортёр. На каждой странице та же система Acme рассматривается с ещё одной стороны.
Каждая метрика прослеживается до источника: обслуживающей её конечной точки или темы, в которой она приходит. Там, где существует исчерпывающий список полей и настроек, страница объясняет необходимое для понимания и отправляет за остальным в справочник.
Карта главы
| Страница | Что вы узнаете |
|---|---|
| Конечные точки мониторинга | HTTP-порт :8222 и JSON по запросу: /varz, /connz, /routez, а также представление JetStream через /jsz |
| Состояние JetStream | Состояние потоков и потребителей; численные показатели отставания, неподтверждённых и повторных доставок |
| Уведомления и события | Мимолётные сообщения в $JS.EVENT.ADVISORY.> и $SYS.* о событиях, которые вы явно не запрашивали |
| Prometheus и панели | Экспортёр, временные ряды, панели Grafana и пороги проверок nats server check |
| Профилирование сервера | Профили CPU и памяти через системную учётную запись или prof_port, когда метрики показывают нездоровый узел, но не причину |
| Куда двигаться дальше | Итоги четырёх способов наблюдения и карта других глав эксплуатации |
Четырём способам наблюдения соответствуют четыре страницы: числа поступают из конечных точек, отставание — из состояния потребителя, неожиданные события — из уведомлений, а история — из экспортёра. Последняя содержательная страница, профилирование, показывает следующий уровень диагностики: что делать, когда все четыре способа указывают на проблему узла, но не объясняют её причину.
Предварительные условия
Вам понадобятся:
- Локально работающая система Acme из предыдущих глав: кластер
eastиз трёх узлов (n1-east,n2-east,n3-east), потокORDERS, потребителиshippingиanalytics. Создание кластера описано в главе топологий, потока и потребителей — в главе JetStream. - Включённый порт мониторинга на каждом узле. Обычно используется
:8222; см. Справочник → http_port. - Установленный CLI
nats, настроенный на кластер, а такжеcurlиjqдля чтения JSON конечных точек. Позже добавятся экспортёр и Grafana.
Запустите кластер east, оставьте его работать и перейдите к конечным точкам мониторинга.
См. также
- Подробно о топологиях — кластер
east, за которым мы наблюдаем. - Подробно о JetStream — поток
ORDERSи потребительshipping, состояние которых мы читаем. - Справочник → конечные точки мониторинга — полное описание полей, стоящих за каждым показателем.