Перейти к основному содержимому

История и ревизии

До сих пор каждая запись ключа была операцией put: новое значение заменяло старое, и не приходилось думать, кто записал последним. Это работает, пока два автора не меняют один ключ одновременно.

Здесь добавляются два понятия, делающие одновременные записи безопасными. Первое — ревизия: последовательный номер каждой записи, назначаемый бакетом, а history сохраняет предыдущие ревизии ключа. Второе — сравнение с заменой (CAS): запись проходит, только если ключ всё ещё имеет прочитанную вами ревизию. Вместе они позволяют сервису inventory уменьшить widget-blue с 41 до 40 без потери продажи.

Бакет INVENTORY с первой страницы остаётся у вас. После обновления на странице наблюдения widget-blue равен 41, а складская панель продолжает наблюдать. Здесь используем оба результата.

Ревизии и история​

Ревизия — номер, назначаемый сервером записи. У бакета один счётчик на все ключи, и каждая запись любого ключа получает следующий номер. Ревизия ключа при записи растёт, но не обязательно на единицу: между записями счётчик двигают другие ключи. Ревизию назначаете не вы, а сервер; get возвращает её вместе со значением как часть записи.

Запись с первой страницы уже содержала ревизию. Put widget-blue 42 получил ревизию 1 как первая запись пустого бакета. Put 41 со страницы наблюдения получил ревизию 2. Последующие записи widget-red и gadget-pro взяли собственные номера, поэтому следующая запись widget-blue не получит ревизию 3. Для безопасной записи важно лишь, что прочитанная ревизия точно определяет увиденную версию; сейчас мы это используем.

Бакет также хранит историю: прежние ревизии ключа в пределах глубины истории. Глубина задавалась при создании через --history; INVENTORY создан с --history 1, сохраняющим только последнее значение ключа. Увеличьте её, чтобы ключ помнил прошлые значения:

nats kv edit INVENTORY --history 10

Максимальная глубина — 64. После увеличения новые записи будут сохраняться в пределах десяти ревизий. Значения, записанные до увеличения, уже потеряны: при глубине 1 каждая новая запись удаляла предыдущую.

Сравнение с заменой: запись без блокировок​

Рассмотрим задачу, которую put не решает. Две копии сервиса inventory одновременно продают widget-blue. Обе читают 41, вычисляют 40 и записывают 40. Продаж две, а остаток уменьшился на единицу: одна запись затёрла другую, и учёт потерял единицу товара.

Решение — оптимистическое управление конкурентным доступом, без блокировок и ожидания. Каждый автор читает текущую ревизию и записывает при условии, что она не изменилась. Если другой успел первым, условие не выполняется, запись отклоняется, ничего не затирая. Отклонённый автор читает свежее значение и повторяет попытку.

Условие реализует сравнение с заменой (CAS): вы передаёте ожидаемую ревизию, и сервер заменяет значение, только если ключ всё ещё имеет эту ревизию. В NATS CAS доступно через две операции:

  • create записывает ключ, только если его ещё нет. Это CAS с ожиданием «ключ имеет ревизию 0», то есть значение отсутствует.
  • update записывает ключ, только если его ревизия совпадает с указанной. Это CAS с ожиданием «ревизия ключа всё ещё та, которую я прочитал».

Для безопасного уменьшения widget-blue сервис inventory читает запись, берёт ревизию, вычисляет новое количество и вызывает update с этой ревизией. Если она не изменилась, запись проходит. Иначе отклоняется, и ничего не теряется.

#!/bin/bash
# Decrement widget-blue from 41 to 40 safely with compare-and-swap.
# Read the current entry, take its revision, then update on the condition
# that the key is still at that revision. If another writer got there
# first, the update is rejected and nothing is overwritten.

# Read the current revision from a get. The get prints a header line
# "... revision: N created @ ..." followed by the value, so pull N from it.
REVISION=$(nats kv get INVENTORY widget-blue | sed -n 's/.*revision: \([0-9]*\).*/\1/p')

# Update succeeds only if widget-blue is still at REVISION.
nats kv update INVENTORY widget-blue 40 "$REVISION"

Это цикл чтения, изменения и записи, нужный везде, где новое значение зависит от старого: уменьшение, увеличение, переход состояния. Ревизия делает его безопасным.

Анимация показывает конфликт: сервис читает widget-blue с ревизией 7 и вызывает update с ожиданием 7, но другой автор уже повысил ревизию до 8. Сервер отклоняет обновление. Сервис снова читает ключ с ревизией 8 и повторяет попытку с новым номером, после чего сервер принимает запись. Ничего не потеряно, блокировка не использовалась.

Чтение истории​

После увеличения глубины видны предыдущие значения widget-blue. Прочитайте историю:

#!/bin/bash
# Read the kept history of a key. With history raised to 10 on this page,
# the trail behind widget-blue is now visible. Each row is one revision:
# the key, its revision number, the operation, when it was written, its
# length, and the value.
nats kv history INVENTORY widget-blue

# Expected output after the CAS decrement — two revisions kept:
#
# History for INVENTORY > widget-blue
#
# Key Revision Op Created Length Value
# widget-blue 2 PUT ... 2 41
# widget-blue 5 PUT ... 2 40
#
# The revision numbers aren't consecutive — writes to widget-red and
# gadget-pro took the numbers in between — because the revision counter is
# bucket-wide, not per key. The value 42 written before the raise is gone;
# at history 1 each write dropped the one before it.

Видны две ревизии: 41 со страницы наблюдения и 40 после уменьшения. Номера не последовательны: записи widget-red и gadget-pro получили промежуточные номера, поскольку счётчик общий для бакета. Каждая строка содержит ключ, ревизию, операцию, время записи и значение. Ранее записанного 42 нет: глубина 1 уже удалила его.

История сохраняет прошлые ревизии одного ключа в пределах глубины. Это не журнал аудита всего бакета, и она не растёт бесконечно: при превышении глубины удаляется самая старая ревизия ключа. Все параметры бакета описаны в разделе Справочник → Создание потока.

Подводные камни​

При первом использовании ревизий распространены две ошибки. Обе возникают, если считать запись CAS безусловной.

Отклонённое обновление отбрасывается, а не ставится в очередь: повторять нужно вам. Оптимистическое управление не ждёт. Если update находит другую ревизию, сервер возвращает ошибку и не записывает значение. Если отправить update без проверки результата, конфликт незаметно потеряет запись. Проверяйте результат; при несовпадении ревизии снова читайте ключ и повторяйте с новым номером. Именно для этого цикла существует CAS. Без него остаётся та же ошибка потерянной записи, что и при put.

Обработка выглядит так: прочитать текущую ревизию, попытаться обновить, при несовпадении снова прочитать и один раз повторить с новой ревизией.

#!/bin/bash
# CAS retry loop. A rejected update is dropped, not queued, so on a
# revision mismatch re-get the key and retry with the fresh revision.
# Here the inventory service decrements widget-blue by one, safely.

# Read the value AND its revision from a SINGLE get, so the pair is
# consistent. Two separate gets could pair a stale value with a fresh
# revision if a concurrent write landed in between. The get prints a header
# line "... revision: N created @ ..." then a blank line then the value.
ENTRY=$(nats kv get INVENTORY widget-blue)
VALUE=$(printf '%s\n' "$ENTRY" | tail -n1)
REVISION=$(printf '%s\n' "$ENTRY" | sed -n 's/.*revision: \([0-9]*\).*/\1/p')
NEW_VALUE=$((VALUE - 1))

# Try the update; if a concurrent writer bumped the revision, re-get and retry once.
if nats kv update INVENTORY widget-blue "$NEW_VALUE" "$REVISION"; then
echo "decremented widget-blue to $NEW_VALUE"
else
echo "revision conflict, re-getting and retrying"
ENTRY=$(nats kv get INVENTORY widget-blue)
VALUE=$(printf '%s\n' "$ENTRY" | tail -n1)
REVISION=$(printf '%s\n' "$ENTRY" | sed -n 's/.*revision: \([0-9]*\).*/\1/p')
NEW_VALUE=$((VALUE - 1))
nats kv update INVENTORY widget-blue "$NEW_VALUE" "$REVISION"
fi

Не используйте put для цикла чтения, изменения и записи. Put безусловен: записывает независимо от текущего содержимого и может затереть значение другого автора. Он подходит, когда новое значение не зависит от старого, например при установке известного абсолютного остатка после инвентаризации. Если значение вычисляется из текущего, как уменьшение при продаже, используйте update с ревизией. Put устанавливает заданное значение, update безопасно меняет его относительно текущего.

Текущее состояние​

Теперь у вас есть:

  • Бакет INVENTORY, где widget-blue уменьшен с 41 до 40 обновлением CAS, а не безусловным put.
  • Умение читать историю ключа и понимать ревизии.
  • Модель оптимистического управления: прочитать ревизию, записать при этом условии, повторить при несовпадении.

Складская панель увидела уменьшение в реальном времени, как любое другое изменение.

Что дальше​

Следующая страница задаёт одному ключу собственный TTL и ограничивает весь бакет лимитами.

Переходите к странице TTL и лимиты.

См. также​