# JetStream в кластере

У Acme работает `east` из `n1-east`, `n2-east`, `n3-east`, соединённых полносвязной сетью маршрутов. Клиенты подключаются к любому узлу и переключаются при отказе.

Обычный pub/sub уже проходит через сеть: сообщение с `n1-east` достигает подписчика `n3-east`. Это поведение не меняется.

Изменится JetStream: он включён на всех узлах, но потоков пока нет. Создадим `ORDERS` с копиями на трёх серверах для переживания одного отказа.

Здесь два понятия: **слой метаданных** JetStream и **реплицируемый** по серверам поток.

## Слой метаданных

Отдельный сервер сам отвечает на запросы потоков и потребителей. Три сервера должны договориться об их существовании и размещении, чтобы `create ORDERS` создавал один поток. Нужен единый координатор.

Серверы выбирают **лидера метаданных**, принимающего решения о том, *где* находятся потоки и потребители: серверы новых потоков, расположение копий и реакция на исчезновение узла.

Все серверы с включённым JetStream входят в **группу метаданных**. Один лидер, остальные ведомые.

Конкретный победитель не важен и не задаётся вручную. Важно, что координатор один и другие способны заменить его.

Лидер метаданных размещает поток, но не обрабатывает его записи. Этим занимается механизм репликации далее.

## Реплицируемому потоку нужно нечётное число серверов

Группа метаданных принимает решения большинством: доступно должно быть больше половины участников. Поэтому обычно выбирают нечётное число серверов.

Из трёх большинство — два. Один отказ оставляет кворум, метаданные и потоки продолжают работу. Поэтому у Acme три сервера, а не два.

При втором отказе большинство исчезает. Один из трёх не может подтвердить новые записи, поэтому поток ждёт возвращения сервера. Записи не подтверждаются единственной копией без большинства.

Чётное число не добавляет защиты: два не выдерживают одного отказа, четыре выдерживают тот же один, что три. Обычно используют три или пять; поток имеет максимум пять копий. Дальнейшее увеличение числа серверов добавляет вместимость, а не реплики одного потока.

Raft, выборы и репликация журнала объясняются в [Кластеризации и репликации](/learn/clustering/.md). Здесь важно наличие большинства и одного координатора.

## Защитите ORDERS от отказа сервера

В [главе JetStream](/learn/jetstream/.md) `ORDERS` жил на одном сервере. Теперь создадим его в `east` с репликацией, используя три доступных узла.

**Коэффициент репликации** задаёт число копий. `R1` — одна, по умолчанию; `R3` — три, минимальная рекомендуемая конфигурация эксплуатации. Трёх серверов для неё достаточно.

Если кластер остановлен, сначала верните все серверы:

```
nats-server -c n1-east.conf &

nats-server -c n2-east.conf &

nats-server -c n3-east.conf &
```

Создайте `ORDERS` с тремя репликами:

```
nats stream add ORDERS --subjects "orders.>" --replicas=3 --defaults
```

Проверьте `nats stream info`: теперь есть раздел Cluster Information.

```
nats stream info ORDERS
```

```
Cluster Information:



                 Name: east

        Cluster Group: S-R3F-xK2p9aLm

               Leader: n1-east

              Replica: n3-east, current, seen 0.00s ago

              Replica: n2-east, current, seen 0.00s ago
```

`Name: east` — кластер потока. Репликация одного потока остаётся внутри одного кластера.

`Cluster Group` — внутреннее имя собственной группы Raft потока, отдельной от метаданных.

`Leader: n1-east` принимает записи `ORDERS` и передаёт остальным; подтверждение возвращается после наличия большинства. Две строки `Replica` показывают ведомые копии. `current` означает актуальную реплику, `seen` — время с последнего контакта.

Лидер потока не обязательно совпадает с лидером метаданных: роли независимы. Первый ведёт записи, второй размещает ресурсы. Выбор и смена лидеров разобраны в [Кластеризации и репликации](/learn/clustering/.md).

## Потребители тоже реплицируются

У потребителя есть важное состояние: позиция чтения и ожидающие подтверждения сообщения. Лидер метаданных размещает его так же, как поток. У каждого реплицируемого потребителя своя группа Raft и лидер, независимый от потока. `nats consumer info` показывает собственный Cluster Information.

По умолчанию потребитель наследует число реплик потока: потребитель R3 `ORDERS` сохраняет позицию при отказе сервера. Можно задать меньше, но R1-потребитель на R3-потоке создаёт свою единую точку отказа: данные потока выживут, а позиция чтения может потеряться. Подробности — в [Кластеризации и репликации](/learn/clustering/.md).

## Типичные ошибки

Наличие кластера само по себе не делает JetStream высокодоступным. На уровне топологии встречаются три ошибки.

**R1 в кластере остаётся единственной копией.** Если не запросить больше, поток создаётся на одном сервере. Его потеря делает поток недоступным независимо от окружающего кластера. Проверяйте и повышайте важные потоки до R3.

Сначала найдите потоки с одной репликой:

```
nats stream find --replicas=1
```

Для каждого выполните `nats stream edit <stream> --replicas=3`. Затем проверьте три реплики самого `ORDERS`. Проверка возвращает ненулевой код при недостаточной репликации и подходит для мониторинга:

```
nats server check stream --stream=ORDERS --peer-expect=3
```

```
OK ORDERS OK:3 peers OK:0 sources | sources=0
```

**Чётное число серверов не добавляет устойчивости.** Четыре выдерживают тот же отказ, что три; два теряют большинство при первом отказе. Выбирайте нечётный состав.

**Три реплики в одной области отказа обесценивают R3.** Узлы должны отказывать независимо. Одна стойка или зона доступности может потерять все три из-за питания или сети. Размещение разобрано в [Кластеризации](/learn/clustering/.md): само число R3 независимость не гарантирует.

## Что уже готово

Теперь система Acme устроена так:

* JetStream включён на всех `n1-east`, `n2-east`, `n3-east` с отдельными `store_dir`.
* **Лидер метаданных** координирует размещение.
* `ORDERS` имеет три копии, одна принимает записи.
* Сервис публикует прежним способом, но получает новую гарантию устойчивости.

## Что дальше

Добавим второй кластер `west` и соединим с `east` **шлюзами** в [суперкластер](/learn/topologies/super-clusters.md). Реплики `ORDERS` останутся внутри `east`: объединение кластеров не растягивает один поток между ними.

## См. также

* [Эксплуатация → Кластеризация и репликация](/learn/clustering/.md) — Raft, кворум, репликация и размещение.
* [Learn → Отказ узла](/learn/jetstream/surviving-node-loss.md) — файловое хранение, память и пограничные случаи публикаций при отказе.
* [Справочник → API метаданных JetStream](/reference/jetstream/api/meta/.md) — размещение потоков и потребителей.
