Суперкластеры
У Acme исправный трёхузловой east с реплицируемым ORDERS. Но половина заказчиков находится на другом конце континента. Рядом с ними запускается центр west, уменьшающий задержку заказов.
Регионы должны работать как одна система: издатель одного достигает подписчика другого, но каждое сообщение не должно без необходимости пересекать медленный канал.
Два независимых развёртывания создали бы изолированные острова: west не видел бы подписчиков и ORDERS в east.
Один растянутый кластер из шести серверов тоже работает, но полносвязные маршруты постоянно используют дорогой межрегиональный канал. Такая сеть предполагает близость узлов.
Суперкластер объединяет независимые кластеры в логическую систему без общей полносвязной сети. Соединим east и west, оставив большую часть трафика локальной.
Два понятия этой страницы
Рассмотрим:
- Шлюзы — соединения кластеров в суперкластер.
- Географическую привязку — предпочтение местных обработчиков очередей и запросов, с переходом через шлюз при отсутствии местного.
Как шлюз соединяет кластеры
Внутри кластера каждый сервер имеет маршрут ко всем остальным, как в первом кластере. Шлюз связывает один кластер с другим.
Маршрут предполагает близкие серверы, шлюз — удалённые кластеры. Суперкластер оставляет сети регионов локальными: каждый сервер открывает лишь одно шлюзовое соединение к каждому другому кластеру, а не к каждому удалённому узлу.
Шлюз также переносит меньше данных: пересылает сообщения только при интересе удалённого кластера и предпочитает местного обработчика удалённому. Фильтрация по интересу и географическая привязка сохраняют межрегиональный канал свободным.
Суперкластер иногда называют кластером кластеров. Каждый продолжает работать самостоятельно; шлюз связывает их.
Шлюзы передают только сообщения с интересом
Сообщение пересекает шлюз лишь при наличии удалённого подписчика на его тему.
Если east публикует тысячи orders.created в секунду, но в west нет подписчиков, ни одно сообщение не пересечёт канал.
Объявление и отслеживание интереса описано в Справочнике → Протокол шлюзов. Здесь достаточно правила: нет интереса — нет трафика.
Соединяем east и west
Блок gateway {} задаёт локальный кластер и удалённые цели.
Блок серверов east: локальное имя east, порт входящих шлюзов и массив gateways для west:
# east gateway block — the name and the gateways list are shared
# by n1-east, n2-east, n3-east; on one host each picks its own port.
gateway {
name: "east"
port: 7222
gateways: [
{ name: "west", urls: ["nats://127.0.0.1:7322", "nats://127.0.0.1:7323", "nats://127.0.0.1:7324"] }
]
}
Внимательно прочитайте два поля.
name обозначает кластер, не сервер. У всех east оно одинаково и должно совпадать с cluster {}. Иначе запуск отклоняется с cluster name conflicts between cluster and gateway definitions. Собственная запись в gateways игнорируется, поэтому имя и список одинаковы на всех трёх серверах. На одной машине меняется порт; на разных хостах он тоже может быть одинаковым.
gateways перечисляет удалённые имена и urls их слушателей. Три URL west дают запас при отказе узла; у каждого сервера свой слушатель. На разных хостах у всех может быть порт 7222. Различные 7222–7224 в примере нужны лишь для шести процессов одной машины.
Полный список кластеров не обязателен: шлюзы тоже используют gossip. Настроив несколько начальных адресов, сервер обнаруживает остальные регионы. URL служат началом обнаружения и запасом при недоступности.
Для west блок зеркальный: локальное имя west, удалённые URL east.
# west gateway block — name and gateways list shared by
# n1-west, n2-west, n3-west; on one host each picks its own port.
gateway {
name: "west"
port: 7322
gateways: [
{ name: "east", urls: ["nats://127.0.0.1:7222", "nats://127.0.0.1:7223", "nats://127.0.0.1:7224"] }
]
}
Клиентский port и cluster {} прежние. Шлюз добавляется поверх существующего кластера.
Следующий скрипт создаёт все шесть конфигураций и запускает серверы локально. east использует клиентские 4222–4224, west — 4225–4227. Везде имя шлюза совпадает с кластером.
# Write a cluster+gateway config for each server, then start the super-cluster.
write_conf() { # name cluster client cluster-port route gateway-port remote remote-urls
cat > "$1.conf" <<EOF
server_name: $1
listen: 127.0.0.1:$3
cluster {
name: $2
listen: 127.0.0.1:$4
routes: [ nats://127.0.0.1:$5 ]
}
gateway {
name: $2
listen: 127.0.0.1:$6
gateways: [ { name: $7, urls: [ $8 ] } ]
}
EOF
}
EAST_URLS='nats://127.0.0.1:7222, nats://127.0.0.1:7223, nats://127.0.0.1:7224'
WEST_URLS='nats://127.0.0.1:7322, nats://127.0.0.1:7323, nats://127.0.0.1:7324'
write_conf n1-east east 4222 6222 6223 7222 west "$WEST_URLS"
write_conf n2-east east 4223 6223 6222 7223 west "$WEST_URLS"
write_conf n3-east east 4224 6224 6222 7224 west "$WEST_URLS"
write_conf n1-west west 4225 6225 6226 7322 east "$EAST_URLS"
write_conf n2-west west 4226 6226 6225 7323 east "$EAST_URLS"
write_conf n3-west west 4227 6227 6225 7324 east "$EAST_URLS"
for s in n1-east n2-east n3-east n1-west n2-west n3-west; do
nats-server -c "$s.conf" &
done
Для остановки используйте pkill nats-server. JetStream здесь выключен для простоты; добавьте его блок с предыдущей страницы, если нужен ORDERS.
Проверьте суперкластер
Подпишитесь в west, опубликуйте в east и проверьте доставку через шлюз.
Подписка на orders.> через сервер west в отдельном терминале:
nats sub "orders.>" --server nats://localhost:4225
Публикация через east в другом:
nats pub orders.created "order ord_8w2k" --server nats://localhost:4222
Подписчик west выводит заказ:
[#1] Received on "orders.created"
order ord_8w2k
Для этого шлюз должен работать, а west — объявить интерес orders.>, как описано выше. Если сообщения нет, ищите ошибки соединения шлюза в журналах: неверное имя или недоступный URL.
Географическая привязка оставляет трафик локальным
Acme запускает обработчики в обоих регионах как группу очереди order-workers: каждое сообщение получает один участник. Краткое объяснение есть во введении в группы очередей.
Если обработчики есть в обоих регионах, кто получит заказ, опубликованный в east?
Географическая привязка предпочитает местного подписчика очереди. Заказ east достаётся обработчику east; шлюз не используется, хотя west тоже готов.
В штатной работе каждый регион обрабатывает свои заказы, не занимая медленный канал.
Если местных обработчиков нет, сообщение идёт через шлюз. При нескольких удалённых кластерах с подходящей группой NATS выбирает один и отправляет по одному шлюзу, сохраняя единственного получателя.
Запустите по обработчику в каждом регионе в отдельных терминалах:
# terminal 1 — a worker in east
nats sub orders.created --queue order-workers --server nats://localhost:4222
# terminal 2 — a worker in west
nats sub orders.created --queue order-workers --server nats://localhost:4225
Опубликуйте заказ в east:
nats pub orders.created "order ord_8w2k" --server nats://localhost:4222
Его выведет только east. Остановите местного через Ctrl-C и повторите: теперь получит west. Издатель не менялся — отсутствие местного обработчика переключило доставку.
Типичные ошибки
Ловушки возникают при восприятии суперкластера как большого обычного кластера. Шлюзы и маршруты ведут себя по-разному.
Маршруты между регионами. Полносвязная сеть предполагает близость участников и свободно переносит трафик. Не растягивайте один cluster {} между east и west; соедините независимые кластеры через gateway {}, пересылая лишь нужное.
Несовпадение имён шлюзов. wset вместо west вызывает Failing connection to gateway "wset", remote gateway name is "west" при каждой попытке. При этом обратное соединение и gossip могут всё же сформировать суперкластер. Поэтому успешная межрегиональная публикация не доказывает корректность всех настроек: проверяйте журналы каждого сервера.
Межрегиональный трафик без местных обработчиков. Если все order-workers только в east, каждый заказ west идёт туда. Географическая привязка помогает лишь при наличии местного подписчика. Размещайте обработчики каждой нагрузки в каждом производящем её регионе.
Что уже готово
Acme выросла до суперкластера:
eastиwestостаются независимыми полносвязными кластерами.- Шлюз передаёт лишь трафик с удалённым интересом.
- Географическая привязка предпочитает местную обработку очередей и запросов.
- Код pub/sub прежний:
orders.createdдостигает подписчиков даже в другом регионе.
Что дальше
Выведем NATS за пределы центра обработки данных. Листовой узел сам подключается наружу к east, поэтому подходит цеху или ноутбуку без входящих портов. Установленная связь двунаправленная.
См. также
- Справочник → Протокол шлюзов — соединения и распространение интереса.
- Основные понятия → Группы очередей — распределение сообщений.
- Эксплуатация → Кластеризация и репликация — реплики внутри одного кластера; шлюз переносит интерес, не копии потока.