Перейти к основному содержимому

Подробно о pull-потребителях

shipping выдаёт сообщение по запросу обработчика — pull. Ранее это означало «дай одно сообщение».

Но можно запросить несколько, обработать и вернуться либо получать непрерывно по мере поступления. Разберём оба шаблона и их ограничения.

shipping остаётся pull с явным ack. Меняется управляющий клиентский код.

Два способа запроса​

Библиотеки называют их одинаково.

Fetch запрашивает до N сообщений и завершает пакет при заполнении или тайм-ауте. Обработайте конечный набор и при необходимости повторите вызов.

Consume поддерживает непрерывный поток. Переданная функция вызывается для каждого сообщения, библиотека фоном обновляет pull-запросы до вашей остановки.

Fetch удобен для контролируемых раундов, cron и небольших выборок обработчика запроса. Consume — для длительного сервиса, работающего по мере поступления; его используют большинство сервисов.

Получение пакета​

Укажите размер и тайм-аут: до десяти сообщений за две секунды.

#!/bin/bash
# Fetch a batch of up to 10 messages from the shipping pull consumer,
# waiting up to 2 seconds for them. nats consumer next is a single
# fetch; --count is the batch size, --wait is the timeout.
nats consumer next ORDERS shipping --count 10 --wait 2s

Нормальны два результата.

Если накоплено десять, они выдаются сразу; обработчик подтверждает и повторяет.

Если есть три, они поступят, а оставшееся время запрос подождёт новых до двух секунд. После истечения пакет завершится с тремя.

CLI не делает один пакетный запрос: nats consumer next --count N выполняет N одиночных pull подряд, каждый со своим --timeout. Это приближение цикла fetch:

#!/bin/bash
# A CLI fetch. --count retrieves up to 5 messages by issuing 5 single
# pulls in a row, not one batch request. Run this again to walk the
# stream a batch at a time.
nats consumer next ORDERS shipping --count 5

Повторяйте для чтения порциями. Позиция подтверждения продвигается так же, как при одиночных запросах.

Непрерывное потребление​

Для длительного обработчика используйте consume вместо ручного цикла fetch. Запросы остаются открытыми для немедленной доставки новых записей:

#!/bin/bash
# Consume a continuous flow from the CLI. nats consumer next exits after
# --timeout of quiet, so wrap it in a loop to keep going as new messages
# land. --ack acknowledges each message as it is received. Ctrl-C stops
# the loop.
while true; do
nats consumer next ORDERS shipping --count 100 --ack --timeout 5s || sleep 1
done

Функция обрабатывает и подтверждает сообщение. Библиотека восполняет запросы до остановки. Это обычный шаблон обработки заказов.

Два ограничения pull​

Оба способа используют один протокольный запрос с полями:

  • batch — максимум сообщений. Большой пакет сокращает обмены и повышает скорость; маленький уменьшает задержку и объём незавершённой работы при падении.
  • expires — сколько сервер ждёт сообщения перед завершением запроса. Ограничивает ожидание тихого потока.

Библиотеки задают стандартные значения и автоматически поддерживают batch и expires для consume.

Все поля — в Справочнике → Следующее сообщение. Здесь нужны только batch и expires.

Типичные ошибки​

При реальном трафике учтите несколько настроек.

Пустой fetch нормален. При истечении expires без заказов приходит 408 Request Timeout, а для no-wait — 404 No Messages. Библиотеки сообщают пустой пакет, CLI завершает с ненулевым кодом. Это отсутствие данных сейчас, не поломка: ждите и продолжайте.

#!/bin/bash
# A fetch on a drained consumer returns nothing. nats consumer next exits
# non-zero when the pull times out with no messages waiting. Treat that as
# "nothing right now," not a failure: sleep and fetch again.
if nats consumer next ORDERS shipping --count 10 --timeout 2s; then
echo "processed a batch"
else
echo "no orders waiting, will retry"
sleep 1
fi

Сырой запрос без expires может ждать бесконечно. Нулевой expires ждёт полного пакета. Библиотеки защищают стандартным сроком около 30 секунд; при нужном пределе задавайте явно. CLI использует --timeout.

Малый MaxAckPending ограничивает скорость. При лимите десять и пакете сто сервер выдаст десять и будет ждать ack. Держите предел не ниже пакета; стандарт — 1000. Он общий для всех обработчиков пула.

Большой пакет расходует память. batch считает сообщения, не байты. Для крупных заказов ограничивайте также max_bytes в fetch или consume: запрос завершится по первому достигнутому пределу.

Что уже готово​

У ORDERS и shipping прежнее устройство. Вы умеете получать конечный пакет или непрерывный поток, ограничивая pull через batch и expires.

Что дальше​

Добавим несколько обработчиков одного shipping с общей позицией. Общий для всех MaxAckPending становится особенно важен.

См. также​