Политики потоков и потребителей
Политика — поле с выбором из фиксированного списка, отвечающее за один аспект поведения. Соберём девять политик, встречавшихся в ORDERS.
У всех есть пригодное для начала значение по умолчанию. Пять фиксируются при создании: смена требует пересоздания. Таблицы ниже показывают какие.
Политики потока
Их пять.
Retention — причины удаления. limits оставляет до пределов, interest и workqueue удаляют после ack. ORDERS — limits, FULFILLMENT — workqueue. См. Политики хранения.
Discard — действие при заполнении: old удаляет старое, new отклоняет новое. ORDERS использует old; см. Настройка потока.
Storage — file на диске с переживанием рестарта, memory в RAM, быстрее и без сохранения после рестарта. Одинакова для всех реплик; см. Отказ узла.
Compression здесь не требовалась. s2 вместо none сжимает файловые блоки за CPU. JSON сжимается хорошо, изображения обычно уже сжаты. --compression s2 задаётся при создании. Изменение разрешено, но вступает после перезапуска хранилища или смены лидера; старые блоки прежние.
Persist mode — момент PubAck относительно записи. По умолчанию сначала сброс в хранилище, затем ответ. async подтверждает до фоновой записи, повышая скорость с риском потери подтверждённого хвоста. Подходит метрикам, не заказам. Разрешён только File с одной репликой и несовместим с атомарными пакетами.
Все поля — в Конфигурации потока.
Политики потребителя
Их четыре.
Deliver policy — начало при создании. all, стандарт billing, начинает с первого. last — с последнего и далее живые. new — только поступившие после создания. by_start_sequence и by_start_time задают номер и время (--deliver 1000, --deliver 1h). last_per_subject начинает с последнего каждой подходящей темы и лежит в основе KV watch. Это не одноимённый флаг разового Direct Get.
Ack policy — критерий обработки: explicit у shipping, также none, all, flow_control. См. Виды подтверждений.
Replay policy — скорость. instant отдаёт по готовности читателя, original сохраняет исходные интервалы, включая долгое молчание. См. Чтение потока.
Priority policy — выбор клиента. none обслуживает поступившие pull, overflow, pinned_client и prioritized задают предпочтения. См. Группы приоритетов.
Поля и начала чтения — в Конфигурации потребителя.
Что можно изменить
Пять политик фиксируются при создании:
| Политика потока | Изменение |
|---|---|
| Retention | limits ↔ interest с воздействием на историю; workqueue неизменяем |
| Discard | разрешено |
| Storage | запрещено |
| Compression | после рестарта хранилища или лидера |
| Persist mode | запрещено |
| Политика потребителя | Изменение |
|---|---|
| Deliver | запрещено |
| Ack | запрещено |
| Replay | запрещено |
| Priority | через --config, отдельного флага edit нет |
Типичные ошибки
Смена фиксированной политики требует пересоздания. Ошибки: stream configuration update can not change storage type, deliver policy can not be updated. Потоку потребуется перенос данных; зеркало только читает и для превращения в основной нужны отдельные шаги. Потребитель потеряет прежнюю позицию и начнёт по новой Deliver policy. Решайте заранее.
New не пропускает очередь при каждом рестарте. Начало определяется один раз. Долговременный потребитель затем возобновляет сохранённую позицию с накопленным, не прыгает к живому трафику.
Два last per subject. Политика задаёт начало продолжающегося чтения; Direct Get делает один снимок без потребителя. Проверяйте контекст.
Что уже готово
ORDERS и потребители прежние. Вы знаете:
- Девять политик и страницы применения.
- Compression и Persist mode, не понадобившиеся ORDERS.
- Пять фиксированных и ошибки попытки изменения.
Что дальше
Куда двигаться дальше подводит итоги модели.
См. также
- Конфигурация потока — поля и значения.
- Конфигурация потребителя — поля и значения.