JetStream в кластере
У Acme работает east из n1-east, n2-east, n3-east, соединённых полносвязной сетью маршрутов. Клиенты подключаются к любому узлу и переключаются при отказе.
Обычный pub/sub уже проходит через сеть: сообщение с n1-east достигает подписчика n3-east. Это поведение не меняется.
Изменится JetStream: он включён на всех узлах, но потоков пока нет. Создадим ORDERS с копиями на трёх серверах для переживания одного отказа.
Здесь два понятия: слой метаданных JetStream и реплицируемый по серверам поток.
Слой метаданных
Отдельный сервер сам отвечает на запросы потоков и потребителей. Три сервера должны договориться об их существовании и размещении, чтобы create ORDERS создавал один поток. Нужен единый координатор.
Серверы выбирают лидера метаданных, принимающего решения о том, где находятся потоки и потребители: серверы новых потоков, расположение копий и реакция на исчезновение узла.
Все серверы с включённым JetStream входят в группу метаданных. Один лидер, остальные ведомые.
Конкретный победитель не важен и не задаётся вручную. Важно, что координатор один и другие способны заменить его.
Лидер метаданных размещает поток, но не обрабатывает его записи. Этим занимается механизм репликации далее.
Реплицируемому потоку нужно нечётное число серверов
Группа метаданных принимает решения большинством: доступно должно быть больше половины участников. Поэтому обычно выбирают нечётное число серверов.
Из трёх большинство — два. Один отказ оставляет кворум, метаданные и потоки продолжают работу. Поэтому у Acme три сервера, а не два.
При втором отказе большинство исчезает. Один из трёх не может подтвердить новые записи, поэтому поток ждёт возвращения сервера. Записи не подтверждаются единственной копией без большинства.
Чётное число не добавляет защиты: два не выдерживают одного отказа, четыре выдерживают тот же один, что три. Обычно используют три или пять; поток имеет максимум пять копий. Дальнейшее увеличение числа серверов добавляет вместимость, а не реплики одного потока.
Raft, выборы и репликация журнала объясняются в Кластеризации и репликации. Здесь важно наличие большинства и одного координатора.
Защитите ORDERS от отказа сервера
В главе JetStream ORDERS жил на одном сервере. Теперь создадим его в east с репликацией, используя три доступных узла.
Коэффициент репликации задаёт число копий. R1 — одна, по умолчанию; R3 — три, минимальная рекомендуемая конфигурация эксплуатации. Трёх серверов для неё достаточно.
Если кластер остановлен, сначала верните все серверы:
nats-server -c n1-east.conf &
nats-server -c n2-east.conf &
nats-server -c n3-east.conf &
Создайте ORDERS с тремя репликами:
nats stream add ORDERS --subjects "orders.>" --replicas=3 --defaults
Проверьте nats stream info: теперь есть раздел Cluster Information.
nats stream info ORDERS
Cluster Information:
Name: east
Cluster Group: S-R3F-xK2p9aLm
Leader: n1-east
Replica: n3-east, current, seen 0.00s ago
Replica: n2-east, current, seen 0.00s ago
Name: east — кластер потока. Репликация одного потока остаётся внутри одного кластера.
Cluster Group — внутреннее имя собственной группы Raft потока, отдельной от метаданных.
Leader: n1-east принимает записи ORDERS и передаёт остальным; подтверждение возвращается после наличия большинства. Две строки Replica показывают ведомые копии. current означает актуальную реплику, seen — время с последнего контакта.
Лидер потока не обязательно совпадает с лидером метаданных: роли независимы. Первый ведёт записи, второй размещает ресурсы. Выбор и смена лидеров разобраны в Кластеризации и репликации.
Потребители тоже реплицируются
У потребителя есть важное состояние: позиция чтения и ожидающие подтверждения сообщения. Лидер метаданных размещает его так же, как поток. У каждого реплицируемого потребителя своя группа Raft и лидер, независимый от потока. nats consumer info показывает собственный Cluster Information.
По умолчанию потребитель наследует число реплик потока: потребитель R3 ORDERS сохраняет позицию при отказе сервера. Можно задать меньше, но R1-потребитель на R3-потоке создаёт свою единую точку отказа: данные потока выживут, а позиция чтения может потеряться. Подробности — в Кластеризации и репликации.
Типичные ошибки
Наличие кластера само по себе не делает JetStream высокодоступным. На уровне топологии встречаются три ошибки.
R1 в кластере остаётся единственной копией. Если не запросить больше, поток создаётся на одном сервере. Его потеря делает поток недоступным независимо от окружающего кластера. Проверяйте и повышайте важные потоки до R3.
Сначала найдите потоки с одной репликой:
nats stream find --replicas=1
Для каждого выполните nats stream edit <stream> --replicas=3. Затем проверьте три реплики самого ORDERS. Проверка возвращает ненулевой код при недостаточной репликации и подходит для мониторинга:
nats server check stream --stream=ORDERS --peer-expect=3
OK ORDERS OK:3 peers OK:0 sources | sources=0
Чётное число серверов не добавляет устойчивости. Четыре выдерживают тот же отказ, что три; два теряют большинство при первом отказе. Выбирайте нечётный состав.
Три реплики в одной области отказа обесценивают R3. Узлы должны отказывать независимо. Одна стойка или зона доступности может потерять все три из-за питания или сети. Размещение разобрано в Кластеризации: само число R3 независимость не гарантирует.
Что уже готово
Теперь система Acme устроена так:
- JetStream включён на всех
n1-east,n2-east,n3-eastс отдельнымиstore_dir. - Лидер метаданных координирует размещение.
ORDERSимеет три копии, одна принимает записи.- Сервис публикует прежним способом, но получает новую гарантию устойчивости.
Что дальше
Добавим второй кластер west и соединим с east шлюзами в суперкластер. Реплики ORDERS останутся внутри east: объединение кластеров не растягивает один поток между ними.
См. также
- Эксплуатация → Кластеризация и репликация — Raft, кворум, репликация и размещение.
- Learn → Отказ узла — файловое хранение, память и пограничные случаи публикаций при отказе.
- Справочник → API метаданных JetStream — размещение потоков и потребителей.