Формирование кластера
Глава топологий объединила три сервера в east и показала, как клиент переживает потерю узла. Там рассмотрены cluster {} и итоговая форма, но не то, как сервер с адресом одного соседа в итоге устанавливает маршруты ко всем.
Это первый механизм главы, основа дальнейшего материала. До выборов лидера и репликации серверы должны найти друг друга. Для этого нужны маршрут — соединение серверов — и gossip, то есть обмен сведениями о других участниках.
Везде используется east: n1-east, n2-east, n3-east, клиентские порты 4222/4223/4224 и маршрутные 6222/6223/6224. К концу страницы серверы обнаружат друг друга через один начальный узел.
Маршрут — соединение между серверами
Маршрут — соединение одного nats-server с другим для работы единым кластером. Оно отличается от клиентского: клиент приходит на 4222, маршрут — на отдельный 6222. Порты не совпадают; ошибка выбора порта — частая причина проблем формирования кластера.
Установленный маршрут двунаправленный независимо от инициатора. Обе стороны передают интерес подписчиков и подходящие сообщения по одному каналу. В полносвязном кластере каждый сервер связан с двумя другими, поэтому любой находится в одном переходе от остальных.
Есть два вида маршрутов.
Явный маршрут задан вами в routes файла nats.conf и открывается при запуске. Это начальный адрес, через который новый сервер находит кластер.
Неявный маршрут сервер открывает сам к соседу, адрес которого не был настроен. Он узнаёт о нём через gossip и заполняет недостающие связи без ручной конфигурации.
Gossip превращает начальную связь в полносвязную сеть
У n2-east и n3-east настроено по одному явному маршруту к n1-east, но в работающем кластере каждый связан с каждым. Остальные соединения появляются благодаря gossip.
Gossip — обнаружение маршрутов через распространение INFO. При установлении маршрута серверы обмениваются INFO, небольшими сообщениями протокола с собственными адресами. Получатель узнаёт соседа и подключается. Затем INFO пересылается другим уже связанным узлам, которые тоже узнают адрес и открывают соединения. Это и есть неявные маршруты.
Проследим east. n1-east запускается и ждёт. n2-east подключается по явному маршруту, обменивается INFO. Затем так же приходит n3-east; теперь n1-east знает обоих. Следующий обмен сообщает n2-east о n3-east, и тот открывает недостающий неявный маршрут, завершая сеть.
Поэтому каждому серверу достаточно одного начального адреса n1-east: остальные находятся через gossip. Четвёртому серверу тоже достаточно одного маршрута.
Поля INFO, команды и установление маршрута описаны в Справочнике → Протокол маршрутов. Здесь важно поведение: INFO объявляет адрес участника и распространяется по существующим маршрутам.
Запустите начальный узел и двух участников
Используем конфигурации east из топологий с включённым JetStream для дальнейшей репликации. Здесь нас интересуют маршруты; выбор формы разобран в Топологии → Ваш первый кластер. Отличие одно: у n1-east нет собственного routes, чтобы явно показать роль начального узла.
n1-east — начальный узел без routes: остальные находят его.
server_name: n1-east
listen: 127.0.0.1:4222
jetstream {
store_dir: "./js/n1-east"
}
cluster {
name: east
listen: 127.0.0.1:6222
}
Формирование определяют три параметра cluster {}.
name — идентификатор east, одинаковый на всех серверах. При несовпадении маршрут отклоняется с Rejecting connection, cluster name ... does not match ..., а отличающийся узел образует отдельный кластер. Поиск этой ошибки разобран в типичных ошибках.
listen — порт приёма маршрутов, здесь 6222, отдельный от клиентского. К нему подключаются серверы, не клиенты.
routes — начальные адреса для подключения при запуске. У n1-east их нет, у присоединяющихся серверов — по одному.
У n2-east свои порты и один явный маршрут к начальному узлу:
server_name: n2-east
listen: 127.0.0.1:4223
jetstream {
store_dir: "./js/n2-east"
}
cluster {
name: east
listen: 127.0.0.1:6223
routes: [
nats://127.0.0.1:6222
]
}
n3-east повторяет настройку с портами на единицу выше и тем же начальным адресом. n2-east указывать не нужно: его найдёт gossip.
server_name: n3-east
listen: 127.0.0.1:4224
jetstream {
store_dir: "./js/n3-east"
}
cluster {
name: east
listen: 127.0.0.1:6224
routes: [
nats://127.0.0.1:6222
]
}
Запустите все три с отдельными конфигурациями:
nats-server -c n1-east.conf &
nats-server -c n2-east.conf &
nats-server -c n3-east.conf &
Сначала поднимается n1-east. Остальные подключаются, обмениваются INFO, узнают друг друга и открывают неявные маршруты. Сеть завершается вскоре после запуска последнего сервера.
Все поля cluster {}, включая pool_size, compression, authorization и tls {}, описаны в Справочнике → Конфигурация кластера. Для формирования нужны name, listen, routes.
Убедитесь, что сеть сформирована
Проверьте кластер снаружи. Команды nats server обращаются к системной учётной записи $SYS, не настроенной в примерах. Добавьте её по главе безопасности и подключитесь с соответствующими данными.
nats server list
Список показывает три сервера одного кластера и число маршрутов:
╭─────────────────────────────────────────────────────────────────────────╮
│ Server Overview │
├─────────┬─────────┬──────┬─────────┬─────┬───────┬──────┬────────┬────────┤
│ Name │ Cluster │ Host │ Version │ JS │ Conns │ Subs │ Routes │ Uptime │
├─────────┼─────────┼──────┼─────────┼─────┼───────┼──────┼────────┼────────┤
│ n1-east │ east │ ... │ 2.x.x │ yes │ 0 │ 9 │ 8 │ 1m2s │
│ n2-east │ east │ ... │ 2.x.x │ yes │ 0 │ 9 │ 8 │ 58s │
│ n3-east │ east │ ... │ 2.x.x │ yes │ 0 │ 9 │ 8 │ 55s │
╰─────────┴─────────┴──────┴─────────┴─────┴───────┴──────┴────────┴────────╯
У всех строк Cluster равен east. Routes считает соединения, а не соседей: на каждого соседа приходится небольшой пул, по умолчанию три соединения, плюс отдельный маршрут системной учётной записи. Поэтому записей несколько. Признак сформированной сети — одинаковое ненулевое число у всех. Ручные начальные маршруты были дополнены gossip.
Для представления одного сервера запросите его напрямую:
nats server info n1-east
Вы увидите клиентский порт n1-east, маршруты и имя кластера. Список включает настроенные и автоматически обнаруженные связи.
Типичные ошибки
Три детали должны быть верны. Иначе сервер работает, но находится не в нужном кластере; иногда единственная подсказка — строка журнала.
Несовпадающий cluster.name создаёт два кластера. Если два узла имеют name: east, а третий name: eest, его маршрут отклоняется с Rejecting connection, cluster name "east" does not match "eest". Он образует отдельный кластер и не объединится с остальными. Задайте одинаковое имя и проверьте объединение:
nats server list
Все строки должны показывать east. Другое имя или отсутствующий сервер указывают на отдельный кластер. Исправьте name и перезапустите узел.
Маршрут на клиентский порт 4222 не работает. nats://127.0.0.1:4222 направляет сервер к клиентскому протоколу вместо маршрутного. Соединение не устанавливается, узел остаётся один. В routes нужен маршрутный порт соседа — 6222.
Одного начального адреса достаточно, но при эксплуатации задавайте два-три. Gossip обнаружит весь кластер, однако при недоступном n1-east во время запуска остальные с единственным адресом не найдут друг друга. Несколько начальных маршрутов устраняют эту зависимость:
cluster {
name: east
listen: 127.0.0.1:6223
routes: [
nats://127.0.0.1:6222
nats://127.0.0.1:6224
]
}
Что уже готово
Кластер east запущен и обнаружил участников через один начальный адрес:
n1-east,n2-east,n3-eastслушают клиентские 4222/4223/4224 и маршрутные 6222/6223/6224.- По одному явному маршруту к
n1-eastдополнены неявными связями: каждый сервер связан с двумя другими. nats server listпоказывает всех вeastс одинаковым ненулевым числом маршрутов.
Серверы связаны, но ещё нужно согласование: совместно решать, где находится поток, и сохранять решение при отказе. Это задача RAFT.
Что дальше
Следующая страница вводит группы RAFT и выборы лидера: как east выбирает лидеров кластера и потоков и заменяет потерянного лидера.
Перейдите к RAFT и лидерам.
См. также
- Справочник → Конфигурация кластера — все поля
cluster {}. - Справочник → Протокол маршрутов — установление маршрута и INFO для gossip.
- Топологии → Ваш первый кластер — тот же
eastкак форма развёртывания.