Перейти к основному содержимому

Суперкластеры

У Acme исправный трёхузловой east с реплицируемым ORDERS. Но половина заказчиков находится на другом конце континента. Рядом с ними запускается центр west, уменьшающий задержку заказов.

Регионы должны работать как одна система: издатель одного достигает подписчика другого, но каждое сообщение не должно без необходимости пересекать медленный канал.

Два независимых развёртывания создали бы изолированные острова: west не видел бы подписчиков и ORDERS в east.

Один растянутый кластер из шести серверов тоже работает, но полносвязные маршруты постоянно используют дорогой межрегиональный канал. Такая сеть предполагает близость узлов.

Суперкластер объединяет независимые кластеры в логическую систему без общей полносвязной сети. Соединим east и west, оставив большую часть трафика локальной.

Два понятия этой страницы​

Рассмотрим:

  • Шлюзы — соединения кластеров в суперкластер.
  • Географическую привязку — предпочтение местных обработчиков очередей и запросов, с переходом через шлюз при отсутствии местного.

Как шлюз соединяет кластеры​

Внутри кластера каждый сервер имеет маршрут ко всем остальным, как в первом кластере. Шлюз связывает один кластер с другим.

Маршрут предполагает близкие серверы, шлюз — удалённые кластеры. Суперкластер оставляет сети регионов локальными: каждый сервер открывает лишь одно шлюзовое соединение к каждому другому кластеру, а не к каждому удалённому узлу.

Шлюз также переносит меньше данных: пересылает сообщения только при интересе удалённого кластера и предпочитает местного обработчика удалённому. Фильтрация по интересу и географическая привязка сохраняют межрегиональный канал свободным.

Суперкластер иногда называют кластером кластеров. Каждый продолжает работать самостоятельно; шлюз связывает их.

Шлюзы передают только сообщения с интересом​

Сообщение пересекает шлюз лишь при наличии удалённого подписчика на его тему.

Если east публикует тысячи orders.created в секунду, но в west нет подписчиков, ни одно сообщение не пересечёт канал.

Объявление и отслеживание интереса описано в Справочнике → Протокол шлюзов. Здесь достаточно правила: нет интереса — нет трафика.

Соединяем east и west​

Блок gateway {} задаёт локальный кластер и удалённые цели.

Блок серверов east: локальное имя east, порт входящих шлюзов и массив gateways для west:

# east gateway block — the name and the gateways list are shared
# by n1-east, n2-east, n3-east; on one host each picks its own port.
gateway {
name: "east"
port: 7222

gateways: [
{ name: "west", urls: ["nats://127.0.0.1:7322", "nats://127.0.0.1:7323", "nats://127.0.0.1:7324"] }
]
}

Внимательно прочитайте два поля.

name обозначает кластер, не сервер. У всех east оно одинаково и должно совпадать с cluster {}. Иначе запуск отклоняется с cluster name conflicts between cluster and gateway definitions. Собственная запись в gateways игнорируется, поэтому имя и список одинаковы на всех трёх серверах. На одной машине меняется порт; на разных хостах он тоже может быть одинаковым.

gateways перечисляет удалённые имена и urls их слушателей. Три URL west дают запас при отказе узла; у каждого сервера свой слушатель. На разных хостах у всех может быть порт 7222. Различные 7222–7224 в примере нужны лишь для шести процессов одной машины.

Полный список кластеров не обязателен: шлюзы тоже используют gossip. Настроив несколько начальных адресов, сервер обнаруживает остальные регионы. URL служат началом обнаружения и запасом при недоступности.

Для west блок зеркальный: локальное имя west, удалённые URL east.

# west gateway block — name and gateways list shared by
# n1-west, n2-west, n3-west; on one host each picks its own port.
gateway {
name: "west"
port: 7322

gateways: [
{ name: "east", urls: ["nats://127.0.0.1:7222", "nats://127.0.0.1:7223", "nats://127.0.0.1:7224"] }
]
}

Клиентский port и cluster {} прежние. Шлюз добавляется поверх существующего кластера.

Следующий скрипт создаёт все шесть конфигураций и запускает серверы локально. east использует клиентские 4222–4224, west — 4225–4227. Везде имя шлюза совпадает с кластером.

# Write a cluster+gateway config for each server, then start the super-cluster.
write_conf() { # name cluster client cluster-port route gateway-port remote remote-urls
cat > "$1.conf" <<EOF
server_name: $1
listen: 127.0.0.1:$3
cluster {
name: $2
listen: 127.0.0.1:$4
routes: [ nats://127.0.0.1:$5 ]
}
gateway {
name: $2
listen: 127.0.0.1:$6
gateways: [ { name: $7, urls: [ $8 ] } ]
}
EOF
}

EAST_URLS='nats://127.0.0.1:7222, nats://127.0.0.1:7223, nats://127.0.0.1:7224'
WEST_URLS='nats://127.0.0.1:7322, nats://127.0.0.1:7323, nats://127.0.0.1:7324'

write_conf n1-east east 4222 6222 6223 7222 west "$WEST_URLS"
write_conf n2-east east 4223 6223 6222 7223 west "$WEST_URLS"
write_conf n3-east east 4224 6224 6222 7224 west "$WEST_URLS"
write_conf n1-west west 4225 6225 6226 7322 east "$EAST_URLS"
write_conf n2-west west 4226 6226 6225 7323 east "$EAST_URLS"
write_conf n3-west west 4227 6227 6225 7324 east "$EAST_URLS"

for s in n1-east n2-east n3-east n1-west n2-west n3-west; do
nats-server -c "$s.conf" &
done

Для остановки используйте pkill nats-server. JetStream здесь выключен для простоты; добавьте его блок с предыдущей страницы, если нужен ORDERS.

Проверьте суперкластер​

Подпишитесь в west, опубликуйте в east и проверьте доставку через шлюз.

Подписка на orders.> через сервер west в отдельном терминале:

nats sub "orders.>" --server nats://localhost:4225

Публикация через east в другом:

nats pub orders.created "order ord_8w2k" --server nats://localhost:4222

Подписчик west выводит заказ:

[#1] Received on "orders.created"
order ord_8w2k

Для этого шлюз должен работать, а west — объявить интерес orders.>, как описано выше. Если сообщения нет, ищите ошибки соединения шлюза в журналах: неверное имя или недоступный URL.

Географическая привязка оставляет трафик локальным​

Acme запускает обработчики в обоих регионах как группу очереди order-workers: каждое сообщение получает один участник. Краткое объяснение есть во введении в группы очередей.

Если обработчики есть в обоих регионах, кто получит заказ, опубликованный в east?

Географическая привязка предпочитает местного подписчика очереди. Заказ east достаётся обработчику east; шлюз не используется, хотя west тоже готов.

В штатной работе каждый регион обрабатывает свои заказы, не занимая медленный канал.

Если местных обработчиков нет, сообщение идёт через шлюз. При нескольких удалённых кластерах с подходящей группой NATS выбирает один и отправляет по одному шлюзу, сохраняя единственного получателя.

Запустите по обработчику в каждом регионе в отдельных терминалах:

# terminal 1 — a worker in east
nats sub orders.created --queue order-workers --server nats://localhost:4222
# terminal 2 — a worker in west
nats sub orders.created --queue order-workers --server nats://localhost:4225

Опубликуйте заказ в east:

nats pub orders.created "order ord_8w2k" --server nats://localhost:4222

Его выведет только east. Остановите местного через Ctrl-C и повторите: теперь получит west. Издатель не менялся — отсутствие местного обработчика переключило доставку.

Типичные ошибки​

Ловушки возникают при восприятии суперкластера как большого обычного кластера. Шлюзы и маршруты ведут себя по-разному.

Маршруты между регионами. Полносвязная сеть предполагает близость участников и свободно переносит трафик. Не растягивайте один cluster {} между east и west; соедините независимые кластеры через gateway {}, пересылая лишь нужное.

Несовпадение имён шлюзов. wset вместо west вызывает Failing connection to gateway "wset", remote gateway name is "west" при каждой попытке. При этом обратное соединение и gossip могут всё же сформировать суперкластер. Поэтому успешная межрегиональная публикация не доказывает корректность всех настроек: проверяйте журналы каждого сервера.

Межрегиональный трафик без местных обработчиков. Если все order-workers только в east, каждый заказ west идёт туда. Географическая привязка помогает лишь при наличии местного подписчика. Размещайте обработчики каждой нагрузки в каждом производящем её регионе.

Что уже готово​

Acme выросла до суперкластера:

  • east и west остаются независимыми полносвязными кластерами.
  • Шлюз передаёт лишь трафик с удалённым интересом.
  • Географическая привязка предпочитает местную обработку очередей и запросов.
  • Код pub/sub прежний: orders.created достигает подписчиков даже в другом регионе.

Что дальше​

Выведем NATS за пределы центра обработки данных. Листовой узел сам подключается наружу к east, поэтому подходит цеху или ноутбуку без входящих портов. Установленная связь двунаправленная.

См. также​