Перейти к основному содержимому

Формирование кластера

Глава топологий объединила три сервера в east и показала, как клиент переживает потерю узла. Там рассмотрены cluster {} и итоговая форма, но не то, как сервер с адресом одного соседа в итоге устанавливает маршруты ко всем.

Это первый механизм главы, основа дальнейшего материала. До выборов лидера и репликации серверы должны найти друг друга. Для этого нужны маршрут — соединение серверов — и gossip, то есть обмен сведениями о других участниках.

Везде используется east: n1-east, n2-east, n3-east, клиентские порты 4222/4223/4224 и маршрутные 6222/6223/6224. К концу страницы серверы обнаружат друг друга через один начальный узел.

Маршрут — соединение между серверами​

Маршрут — соединение одного nats-server с другим для работы единым кластером. Оно отличается от клиентского: клиент приходит на 4222, маршрут — на отдельный 6222. Порты не совпадают; ошибка выбора порта — частая причина проблем формирования кластера.

Установленный маршрут двунаправленный независимо от инициатора. Обе стороны передают интерес подписчиков и подходящие сообщения по одному каналу. В полносвязном кластере каждый сервер связан с двумя другими, поэтому любой находится в одном переходе от остальных.

Есть два вида маршрутов.

Явный маршрут задан вами в routes файла nats.conf и открывается при запуске. Это начальный адрес, через который новый сервер находит кластер.

Неявный маршрут сервер открывает сам к соседу, адрес которого не был настроен. Он узнаёт о нём через gossip и заполняет недостающие связи без ручной конфигурации.

Gossip превращает начальную связь в полносвязную сеть​

У n2-east и n3-east настроено по одному явному маршруту к n1-east, но в работающем кластере каждый связан с каждым. Остальные соединения появляются благодаря gossip.

Gossip — обнаружение маршрутов через распространение INFO. При установлении маршрута серверы обмениваются INFO, небольшими сообщениями протокола с собственными адресами. Получатель узнаёт соседа и подключается. Затем INFO пересылается другим уже связанным узлам, которые тоже узнают адрес и открывают соединения. Это и есть неявные маршруты.

Проследим east. n1-east запускается и ждёт. n2-east подключается по явному маршруту, обменивается INFO. Затем так же приходит n3-east; теперь n1-east знает обоих. Следующий обмен сообщает n2-east о n3-east, и тот открывает недостающий неявный маршрут, завершая сеть.

Поэтому каждому серверу достаточно одного начального адреса n1-east: остальные находятся через gossip. Четвёртому серверу тоже достаточно одного маршрута.

Поля INFO, команды и установление маршрута описаны в Справочнике → Протокол маршрутов. Здесь важно поведение: INFO объявляет адрес участника и распространяется по существующим маршрутам.

Запустите начальный узел и двух участников​

Используем конфигурации east из топологий с включённым JetStream для дальнейшей репликации. Здесь нас интересуют маршруты; выбор формы разобран в Топологии → Ваш первый кластер. Отличие одно: у n1-east нет собственного routes, чтобы явно показать роль начального узла.

n1-east — начальный узел без routes: остальные находят его.

n1-east.conf
server_name: n1-east
listen: 127.0.0.1:4222

jetstream {
store_dir: "./js/n1-east"
}

cluster {
name: east
listen: 127.0.0.1:6222
}

Формирование определяют три параметра cluster {}.

name — идентификатор east, одинаковый на всех серверах. При несовпадении маршрут отклоняется с Rejecting connection, cluster name ... does not match ..., а отличающийся узел образует отдельный кластер. Поиск этой ошибки разобран в типичных ошибках.

listen — порт приёма маршрутов, здесь 6222, отдельный от клиентского. К нему подключаются серверы, не клиенты.

routes — начальные адреса для подключения при запуске. У n1-east их нет, у присоединяющихся серверов — по одному.

У n2-east свои порты и один явный маршрут к начальному узлу:

n2-east.conf
server_name: n2-east
listen: 127.0.0.1:4223

jetstream {
store_dir: "./js/n2-east"
}

cluster {
name: east
listen: 127.0.0.1:6223
routes: [
nats://127.0.0.1:6222
]
}

n3-east повторяет настройку с портами на единицу выше и тем же начальным адресом. n2-east указывать не нужно: его найдёт gossip.

n3-east.conf
server_name: n3-east
listen: 127.0.0.1:4224

jetstream {
store_dir: "./js/n3-east"
}

cluster {
name: east
listen: 127.0.0.1:6224
routes: [
nats://127.0.0.1:6222
]
}

Запустите все три с отдельными конфигурациями:

nats-server -c n1-east.conf &
nats-server -c n2-east.conf &
nats-server -c n3-east.conf &

Сначала поднимается n1-east. Остальные подключаются, обмениваются INFO, узнают друг друга и открывают неявные маршруты. Сеть завершается вскоре после запуска последнего сервера.

Все поля cluster {}, включая pool_size, compression, authorization и tls {}, описаны в Справочнике → Конфигурация кластера. Для формирования нужны name, listen, routes.

Убедитесь, что сеть сформирована​

Проверьте кластер снаружи. Команды nats server обращаются к системной учётной записи $SYS, не настроенной в примерах. Добавьте её по главе безопасности и подключитесь с соответствующими данными.

nats server list

Список показывает три сервера одного кластера и число маршрутов:

╭─────────────────────────────────────────────────────────────────────────╮
│ Server Overview │
├─────────┬─────────┬──────┬─────────┬─────┬───────┬──────┬────────┬────────┤
│ Name │ Cluster │ Host │ Version │ JS │ Conns │ Subs │ Routes │ Uptime │
├─────────┼─────────┼──────┼─────────┼─────┼───────┼──────┼────────┼────────┤
│ n1-east │ east │ ... │ 2.x.x │ yes │ 0 │ 9 │ 8 │ 1m2s │
│ n2-east │ east │ ... │ 2.x.x │ yes │ 0 │ 9 │ 8 │ 58s │
│ n3-east │ east │ ... │ 2.x.x │ yes │ 0 │ 9 │ 8 │ 55s │
╰─────────┴─────────┴──────┴─────────┴─────┴───────┴──────┴────────┴────────╯

У всех строк Cluster равен east. Routes считает соединения, а не соседей: на каждого соседа приходится небольшой пул, по умолчанию три соединения, плюс отдельный маршрут системной учётной записи. Поэтому записей несколько. Признак сформированной сети — одинаковое ненулевое число у всех. Ручные начальные маршруты были дополнены gossip.

Для представления одного сервера запросите его напрямую:

nats server info n1-east

Вы увидите клиентский порт n1-east, маршруты и имя кластера. Список включает настроенные и автоматически обнаруженные связи.

Типичные ошибки​

Три детали должны быть верны. Иначе сервер работает, но находится не в нужном кластере; иногда единственная подсказка — строка журнала.

Несовпадающий cluster.name создаёт два кластера. Если два узла имеют name: east, а третий name: eest, его маршрут отклоняется с Rejecting connection, cluster name "east" does not match "eest". Он образует отдельный кластер и не объединится с остальными. Задайте одинаковое имя и проверьте объединение:

nats server list

Все строки должны показывать east. Другое имя или отсутствующий сервер указывают на отдельный кластер. Исправьте name и перезапустите узел.

Маршрут на клиентский порт 4222 не работает. nats://127.0.0.1:4222 направляет сервер к клиентскому протоколу вместо маршрутного. Соединение не устанавливается, узел остаётся один. В routes нужен маршрутный порт соседа — 6222.

Одного начального адреса достаточно, но при эксплуатации задавайте два-три. Gossip обнаружит весь кластер, однако при недоступном n1-east во время запуска остальные с единственным адресом не найдут друг друга. Несколько начальных маршрутов устраняют эту зависимость:

cluster {
name: east
listen: 127.0.0.1:6223
routes: [
nats://127.0.0.1:6222
nats://127.0.0.1:6224
]
}

Что уже готово​

Кластер east запущен и обнаружил участников через один начальный адрес:

  • n1-east, n2-east, n3-east слушают клиентские 4222/4223/4224 и маршрутные 6222/6223/6224.
  • По одному явному маршруту к n1-east дополнены неявными связями: каждый сервер связан с двумя другими.
  • nats server list показывает всех в east с одинаковым ненулевым числом маршрутов.

Серверы связаны, но ещё нужно согласование: совместно решать, где находится поток, и сохранять решение при отказе. Это задача RAFT.

Что дальше​

Следующая страница вводит группы RAFT и выборы лидера: как east выбирает лидеров кластера и потоков и заменяет потерянного лидера.

Перейдите к RAFT и лидерам.

См. также​