Перейти к основному содержимому

RAFT и лидеры

После предыдущей страницы работает east из n1-east, n2-east, n3-east, обнаруживших друг друга через один маршрут. Серверы знают соседей и пересылают сообщения. Но знать друг друга — ещё не значит приходить к согласию.

Обычному трафику orders.created согласование не нужно: публикация поступает, пересылается и исчезает. Хранимые данные требуют другого. Три сервера с копиями ORDERS должны договориться, какие заказы существуют и в каком порядке, даже при перезапуске или недоступности одного из них.

Здесь вводятся два понятия: группа RAFT — серверы, поддерживающие одинаковый журнал через согласование, и выборы лидера — способ выбрать единственный сервер, управляющий журналом. На них основана репликация следующей страницы.

Группы RAFT​

NATS использует алгоритм согласования RAFT. Группа RAFT — определённый набор серверов, её участников, поддерживающих общий согласованный журнал. Один — лидер, остальные — ведомые. Только лидер принимает новые записи, копирует их ведомым и продвигает группу вместе.

В кластере одновременно работают несколько групп RAFT разных уровней.

Первая — группа метаданных, общая для кластера. В её журнале не ваши сообщения, а назначения: какие потоки существуют, сколько имеют реплик и где те размещены. Лидер метаданных определяет размещение новых потоков и потребителей. Каждый сервер east входит в эту группу.

Остальные — группы ресурсов: собственная группа у каждого реплицируемого потока и потребителя. Три копии ORDERS образуют группу из трёх серверов. Её лидер потока принимает записи в ORDERS и реплицирует их.

Таким образом, east с одним реплицируемым ORDERS имеет как минимум две группы: метаданные и поток. Они независимы. Их лидеры могут совпадать или находиться на разных серверах; смена одного не перемещает другого.

Можно увидеть обоих. Отчёт JetStream показывает лидера метаданных:

nats server report jetstream

Таблица RAFT Meta Group Information перечисляет серверы и помечает лидера. Для группы потока запросите сам поток; ORDERS создаётся в упражнении ниже:

nats stream info ORDERS

Блок Cluster Information содержит Leader и каждого участника Replica:

Cluster Information:

Name: east
Leader: n1-east
Replica: n2-east, current, seen 0.05s ago
Replica: n3-east, current, seen 0.07s ago

Leader — лидер потока. Строки Replica показывают ведомых, отметку синхронизации current и время последнего контакта. Это внешнее представление группы RAFT ORDERS.

Текущее состояние RAFT — срок, лидер, участники — доступно через /raftz. Все детали, включая уплотнение журнала, темы голосования $NRG.* и время снимков, описаны в Справочнике → /raftz. Здесь нужны группа, лидер и ведомые.

Выборы лидера​

В каждый момент у группы один лидер. Пока он исправен, он отправляет ведомым периодический сигнал активности — по умолчанию примерно раз в секунду. Получая его, ведомые остаются ведомыми и принимают записи.

Если лидер упал, завис или изолирован сетью, сигналы прекращаются. Ведомые видят отсутствие, но не причину. Каждый ведёт таймер выборов: по его истечении без сигнала ведомый считает лидера потерянным и начинает выборы.

Нужно ещё понятие срока (term): возрастающего номера выборов. Каждая запись и голос имеют номер срока, позволяющий отличить устаревшие сообщения. Лидер старого срока утрачивает полномочия при появлении нового.

При срабатывании таймера происходит следующее.

Ведомый становится кандидатом, третьей ролью RAFT. Он увеличивает известный срок на единицу, голосует за себя и запрашивает голоса остальных в новом сроке.

Участник отдаёт голос, если ещё не голосовал в этом сроке и журнал кандидата не менее актуален, чем его собственный. За один срок участник голосует максимум за одного кандидата, что не позволяет появиться двум лидерам одновременно.

Кандидат становится лидером после получения кворума голосов — большинства группы, (N+1)/2. Для трёх участников ORDERS достаточно двух: своего и ещё одного. Новый лидер сразу отправляет сигналы активности, остальные становятся ведомыми, и группа продолжает работу в новом сроке.

Поэтому для выборов должно сохраниться большинство. Из трёх участников достаточно двух; при потере двух оставшийся не может стать лидером до возвращения соседа. Это объясняет рекомендацию нечётного числа серверов из топологий: чётное число не увеличивает допустимое число отказов для большинства.

Наблюдение за выборами​

Для упражнения нужен реплицируемый ORDERS. Следующая страница создаёт его подробно, но сейчас достаточно команды:

nats stream add ORDERS --subjects 'orders.>' --replicas=3 --defaults

При работающем east и реплицируемом ORDERS найдите лидера потока, остановите его и наблюдайте выборы.

Сначала найдите лидера:

nats stream info ORDERS | grep Leader

Допустим, это Leader: n1-east. Остановите сервер через Ctrl-C или завершение процесса. Ненадолго группа останется без лидера: сигналы прекратились, два других узла ждут таймеров выборов.

Через несколько секунд запросите оставшийся сервер:

nats stream info ORDERS --server nats://127.0.0.1:4223

В Cluster Information появится n2-east или n3-east, а срок увеличится. Два оставшихся участника сохранили кворум, выбрали лидера, и запись в ORDERS снова доступна без n1-east.

Перемещение лидера вручную​

Иногда роль нужно передать без аварии — перед обслуживанием или для выравнивания нагрузки. Отказ от лидерства (stepdown) добровольно освобождает роль и запускает новые выборы.

Для потока попросите его группу отказаться от лидерства:

nats stream cluster step-down ORDERS

Текущий лидер уступает роль, группа выбирает другого участника. У метаданных отдельная команда на уровне кластера:

nats server cluster step-down

Она перемещает лидера метаданных независимо от потоков. Первая форма нужна отдельному потоку, вторая — общекластерным назначениям.

Типичные ошибки​

RAFT устойчив, но его временные интервалы и слои часто путают. Ошибки относятся к группам и выборам.

Выборы занимают секунды, а не миллисекунды. Таймер срабатывает через четыре-девять секунд после последнего сигнала; интервалы разнесены, чтобы кандидаты не появлялись одновременно. После остановки лидера некоторое время нет лидера и записи отклоняются. Это штатная работа RAFT. Клиент должен повторять попытку, а не считать короткое отсутствие фатальным.

Повторите запись. Запрос nats stream info во время паузы подтверждает причину:

# During the election window, the leader line is briefly empty:
nats stream info ORDERS | grep Leader
# Leader:
# Re-run a few seconds later and a new leader appears:
nats stream info ORDERS | grep Leader
# Leader: n2-east

Stepdown освобождает роль, но преемника выбирают голосованием. nats stream cluster step-down заставляет лидера уйти. В NATS Server 2.11+ можно назвать предпочтительного кандидата через nats stream cluster step-down --preferred <server>, но это пожелание, а не гарантия. После команды читайте nats stream info, чтобы узнать победителя. Размещение по кластеру и меткам само по себе лидера не назначает; см. Размещение.

Лидер метаданных и лидер потока относятся к разным группам. Потеря одного не означает потерю другого. Проверяйте нужную группу: nats server report jetstream — метаданные, nats stream info ORDERS — поток. Иначе можно ошибочно считать поток недоступным из-за смены только лидера метаданных.

Что уже готово​

Теперь у механизмов кластера есть имена:

  • Группа метаданных охватывает три сервера и хранит назначения; её лидер определяет размещение.
  • ORDERS — собственная группа из трёх участников с независимым лидером потока.
  • Вы остановили лидера, наблюдали кандидата, новый срок и кворум голосов, а затем намеренно передали роль через stepdown.

Осталось проследить одну запись: как лидер передаёт заказ всем участникам и определяет безопасность сохранения.

Что дальше​

Следующая страница проводит orders.created от журнала лидера до кворума, показывает момент фиксации и объясняет согласованность R=3: Репликация и R=3.

См. также​