Перейти к основному содержимому

JetStream в кластере

У Acme работает east из n1-east, n2-east, n3-east, соединённых полносвязной сетью маршрутов. Клиенты подключаются к любому узлу и переключаются при отказе.

Обычный pub/sub уже проходит через сеть: сообщение с n1-east достигает подписчика n3-east. Это поведение не меняется.

Изменится JetStream: он включён на всех узлах, но потоков пока нет. Создадим ORDERS с копиями на трёх серверах для переживания одного отказа.

Здесь два понятия: слой метаданных JetStream и реплицируемый по серверам поток.

Слой метаданных​

Отдельный сервер сам отвечает на запросы потоков и потребителей. Три сервера должны договориться об их существовании и размещении, чтобы create ORDERS создавал один поток. Нужен единый координатор.

Серверы выбирают лидера метаданных, принимающего решения о том, где находятся потоки и потребители: серверы новых потоков, расположение копий и реакция на исчезновение узла.

Все серверы с включённым JetStream входят в группу метаданных. Один лидер, остальные ведомые.

Конкретный победитель не важен и не задаётся вручную. Важно, что координатор один и другие способны заменить его.

Лидер метаданных размещает поток, но не обрабатывает его записи. Этим занимается механизм репликации далее.

Реплицируемому потоку нужно нечётное число серверов​

Группа метаданных принимает решения большинством: доступно должно быть больше половины участников. Поэтому обычно выбирают нечётное число серверов.

Из трёх большинство — два. Один отказ оставляет кворум, метаданные и потоки продолжают работу. Поэтому у Acme три сервера, а не два.

При втором отказе большинство исчезает. Один из трёх не может подтвердить новые записи, поэтому поток ждёт возвращения сервера. Записи не подтверждаются единственной копией без большинства.

Чётное число не добавляет защиты: два не выдерживают одного отказа, четыре выдерживают тот же один, что три. Обычно используют три или пять; поток имеет максимум пять копий. Дальнейшее увеличение числа серверов добавляет вместимость, а не реплики одного потока.

Raft, выборы и репликация журнала объясняются в Кластеризации и репликации. Здесь важно наличие большинства и одного координатора.

Защитите ORDERS от отказа сервера​

В главе JetStream ORDERS жил на одном сервере. Теперь создадим его в east с репликацией, используя три доступных узла.

Коэффициент репликации задаёт число копий. R1 — одна, по умолчанию; R3 — три, минимальная рекомендуемая конфигурация эксплуатации. Трёх серверов для неё достаточно.

Если кластер остановлен, сначала верните все серверы:

nats-server -c n1-east.conf &
nats-server -c n2-east.conf &
nats-server -c n3-east.conf &

Создайте ORDERS с тремя репликами:

nats stream add ORDERS --subjects "orders.>" --replicas=3 --defaults

Проверьте nats stream info: теперь есть раздел Cluster Information.

nats stream info ORDERS
Cluster Information:

Name: east
Cluster Group: S-R3F-xK2p9aLm
Leader: n1-east
Replica: n3-east, current, seen 0.00s ago
Replica: n2-east, current, seen 0.00s ago

Name: east — кластер потока. Репликация одного потока остаётся внутри одного кластера.

Cluster Group — внутреннее имя собственной группы Raft потока, отдельной от метаданных.

Leader: n1-east принимает записи ORDERS и передаёт остальным; подтверждение возвращается после наличия большинства. Две строки Replica показывают ведомые копии. current означает актуальную реплику, seen — время с последнего контакта.

Лидер потока не обязательно совпадает с лидером метаданных: роли независимы. Первый ведёт записи, второй размещает ресурсы. Выбор и смена лидеров разобраны в Кластеризации и репликации.

Потребители тоже реплицируются​

У потребителя есть важное состояние: позиция чтения и ожидающие подтверждения сообщения. Лидер метаданных размещает его так же, как поток. У каждого реплицируемого потребителя своя группа Raft и лидер, независимый от потока. nats consumer info показывает собственный Cluster Information.

По умолчанию потребитель наследует число реплик потока: потребитель R3 ORDERS сохраняет позицию при отказе сервера. Можно задать меньше, но R1-потребитель на R3-потоке создаёт свою единую точку отказа: данные потока выживут, а позиция чтения может потеряться. Подробности — в Кластеризации и репликации.

Типичные ошибки​

Наличие кластера само по себе не делает JetStream высокодоступным. На уровне топологии встречаются три ошибки.

R1 в кластере остаётся единственной копией. Если не запросить больше, поток создаётся на одном сервере. Его потеря делает поток недоступным независимо от окружающего кластера. Проверяйте и повышайте важные потоки до R3.

Сначала найдите потоки с одной репликой:

nats stream find --replicas=1

Для каждого выполните nats stream edit <stream> --replicas=3. Затем проверьте три реплики самого ORDERS. Проверка возвращает ненулевой код при недостаточной репликации и подходит для мониторинга:

nats server check stream --stream=ORDERS --peer-expect=3
OK ORDERS OK:3 peers OK:0 sources | sources=0

Чётное число серверов не добавляет устойчивости. Четыре выдерживают тот же отказ, что три; два теряют большинство при первом отказе. Выбирайте нечётный состав.

Три реплики в одной области отказа обесценивают R3. Узлы должны отказывать независимо. Одна стойка или зона доступности может потерять все три из-за питания или сети. Размещение разобрано в Кластеризации: само число R3 независимость не гарантирует.

Что уже готово​

Теперь система Acme устроена так:

  • JetStream включён на всех n1-east, n2-east, n3-east с отдельными store_dir.
  • Лидер метаданных координирует размещение.
  • ORDERS имеет три копии, одна принимает записи.
  • Сервис публикует прежним способом, но получает новую гарантию устойчивости.

Что дальше​

Добавим второй кластер west и соединим с east шлюзами в суперкластер. Реплики ORDERS останутся внутри east: объединение кластеров не растягивает один поток между ними.

См. также​