Перейти к основному содержимому

Политики потоков и потребителей

Политика — поле с выбором из фиксированного списка, отвечающее за один аспект поведения. Соберём девять политик, встречавшихся в ORDERS.

У всех есть пригодное для начала значение по умолчанию. Пять фиксируются при создании: смена требует пересоздания. Таблицы ниже показывают какие.

Политики потока​

Их пять.

Retention — причины удаления. limits оставляет до пределов, interest и workqueue удаляют после ack. ORDERS — limits, FULFILLMENT — workqueue. См. Политики хранения.

Discard — действие при заполнении: old удаляет старое, new отклоняет новое. ORDERS использует old; см. Настройка потока.

Storage — file на диске с переживанием рестарта, memory в RAM, быстрее и без сохранения после рестарта. Одинакова для всех реплик; см. Отказ узла.

Compression здесь не требовалась. s2 вместо none сжимает файловые блоки за CPU. JSON сжимается хорошо, изображения обычно уже сжаты. --compression s2 задаётся при создании. Изменение разрешено, но вступает после перезапуска хранилища или смены лидера; старые блоки прежние.

Persist mode — момент PubAck относительно записи. По умолчанию сначала сброс в хранилище, затем ответ. async подтверждает до фоновой записи, повышая скорость с риском потери подтверждённого хвоста. Подходит метрикам, не заказам. Разрешён только File с одной репликой и несовместим с атомарными пакетами.

Все поля — в Конфигурации потока.

Политики потребителя​

Их четыре.

Deliver policy — начало при создании. all, стандарт billing, начинает с первого. last — с последнего и далее живые. new — только поступившие после создания. by_start_sequence и by_start_time задают номер и время (--deliver 1000, --deliver 1h). last_per_subject начинает с последнего каждой подходящей темы и лежит в основе KV watch. Это не одноимённый флаг разового Direct Get.

Ack policy — критерий обработки: explicit у shipping, также none, all, flow_control. См. Виды подтверждений.

Replay policy — скорость. instant отдаёт по готовности читателя, original сохраняет исходные интервалы, включая долгое молчание. См. Чтение потока.

Priority policy — выбор клиента. none обслуживает поступившие pull, overflow, pinned_client и prioritized задают предпочтения. См. Группы приоритетов.

Поля и начала чтения — в Конфигурации потребителя.

Что можно изменить​

Пять политик фиксируются при создании:

Политика потокаИзменение
Retentionlimits ↔ interest с воздействием на историю; workqueue неизменяем
Discardразрешено
Storageзапрещено
Compressionпосле рестарта хранилища или лидера
Persist modeзапрещено
Политика потребителяИзменение
Deliverзапрещено
Ackзапрещено
Replayзапрещено
Priorityчерез --config, отдельного флага edit нет

Типичные ошибки​

Смена фиксированной политики требует пересоздания. Ошибки: stream configuration update can not change storage type, deliver policy can not be updated. Потоку потребуется перенос данных; зеркало только читает и для превращения в основной нужны отдельные шаги. Потребитель потеряет прежнюю позицию и начнёт по новой Deliver policy. Решайте заранее.

New не пропускает очередь при каждом рестарте. Начало определяется один раз. Долговременный потребитель затем возобновляет сохранённую позицию с накопленным, не прыгает к живому трафику.

Два last per subject. Политика задаёт начало продолжающегося чтения; Direct Get делает один снимок без потребителя. Проверяйте контекст.

Что уже готово​

ORDERS и потребители прежние. Вы знаете:

  • Девять политик и страницы применения.
  • Compression и Persist mode, не понадобившиеся ORDERS.
  • Пять фиксированных и ошибки попытки изменения.

Что дальше​

Куда двигаться дальше подводит итоги модели.

См. также​