Куда двигаться дальше
В начале главы у вас были слишком крупные или двоичные для сообщения файлы без места хранения. Теперь есть INVOICES со счетами из фрагментов, метаданными и ссылкой; analytics следит за новыми объектами, а базовый поток OBJ_INVOICES понятен.
Эта страница не вводит новых понятий, а собирает модель и ссылки на главы и справочник для дальнейшего изучения.
Три основные идеи
Каждая страница возвращалась к трём понятиям, которые стоит запомнить.
Бакет — именованное хранилище объектов. Вы записываете файл по имени через put и получаете через get, не работая с сообщениями напрямую. Бакет — API (put, get, list, watch, link) над одним потоком JetStream OBJ_<bucket>.
Фрагмент — часть объекта. Put разбивает байты по заданному размеру, пишет каждую часть сообщением, вычисляет хеш SHA-256 всего объекта и завершает запись метаданными. Get читает метаданные, получает части по порядку и проверяет хеш перед возвратом.
Свёртка сохраняет текущее состояние вместо истории. Каждая запись метаданных несёт заголовок свёртки, и поток оставляет последние метаданные каждого имени. Повторная запись даёт одно текущее описание, а не историю ревизий — в этом отличие от KV.
Три понятия — бакет, фрагмент и свёртка. Остальное — метаданные, ссылки, watch, list, мягкое удаление — уточняет их работу.
Где искать подробности
Глава не привязана к версии и объясняет понятия. Точные флаги, значения по умолчанию и диапазоны находятся в полном справочнике с разделением по версиям. Там ищите допустимый размер фрагмента, все поля ObjectInfo и параметры наблюдения.
Полный набор настроек хранилища объектов приведён в справочнике. Здесь рассматривалось поведение; все ссылки главы на полный перечень ведут туда.
Связанные подробные главы
Хранилище объектов находится поверх JetStream рядом с другими абстракциями хранения, поэтому соседние главы непосредственно связаны с построенной моделью.
Углублённый курс JetStream — основа всего описанного. Для понимания OBJ_INVOICES как потока, его потребителей, хранения и прямого чтения начните там.
Глава о ключах и значениях посвящена другой форме данных. Объекты сохраняют крупные файлы из частей и последние метаданные; KV — небольшие структурированные значения с историей ревизий. Если нужна история значения, переходите туда. Страница Наблюдение показывает наблюдение за значениями ключей, которого нет у объектов.
Глава о кластеризации и репликации объясняет replicas базового потока: как R=3 переживает отказ узла, как работает размещение и выглядит распределённое по кластеру хранилище объектов.
Глава о мониторинге рассматривает наблюдение за базовым потоком в эксплуатации: размер, рост и признаки неожиданно быстрого заполнения бакета.
Резервное копирование и восстановление объясняет снимки и восстановление OBJ_INVOICES, чтобы объекты пережили отказ отдельного диска.
Безопасность объясняет защиту бакета. Темы фрагментов и метаданных — обычные темы JetStream; к ним напрямую применяются учётные записи, экспорт и разрешения.
Текущее состояние
Глава завершена; нового состояния здесь нет. Бакет INVOICES, счета, ссылка label-ord_8w2k.png и наблюдатель analytics остаются в сеансе. Можно продолжать эксперименты или завершить работу, удалив бакет через nats object rm INVOICES.
Основная модель такова: бакет хранит файлы фрагментами, хеш проверяет неизменность байтов после записи и чтения, свёртка поддерживает актуальные метаданные. На этом основаны остальные возможности хранилища объектов.
Проверки перед эксплуатацией
Каждая страница завершалась подводными камнями. Здесь собраны действия перед использованием бакета для настоящих счетов, со ссылками на объяснения.
Первый объект — см. Подводные камни
- Проверяйте результат и ошибку get до использования байтов: прерванный put не создаёт доступного объекта, потерянные или повреждённые фрагменты приводят к ошибке хеша.
- Повторяйте неудачные операции с задержкой:
putне считается завершённым без подтверждения результата. - Обрабатывайте
ErrObjectNotFoundкак обычный исход для отсутствующего или удалённого имени, а не аварийное завершение.
Разбиение на фрагменты — см. Подводные камни
- Сохраняйте стандартный размер без особой причины: мелкие части создают множество сообщений и накладные расходы, крупные могут превысить лимит сообщения.
- Проверяйте get до использования байтов: непроверенная ошибка асинхронного put может привести к несовпадению хеша при чтении.
- При неудачном get заново записывайте исходный файл; не отправляйте частичный и не считайте put успешным без сборки и проверки через get.
Метаданные и ссылки — см. Подводные камни
- Проверяйте существование цели перед чтением ссылки: сохранённый при создании адрес после удаления цели даёт
ErrObjectNotFound. - Создавайте ссылку заново после удаления или переименования цели. Она не следует за изменениями; get ссылки на бакет возвращает
ErrCantGetBucket, а не байты. - Для нового размера частей удаляйте и перезаписывайте объект; для новой цели пересоздавайте ссылку.
UpdateMetaмолча сохраняет прежние размер и цель. - Не переименовывайте объект в существующее неудалённое имя: это даёт
ErrObjectAlreadyExists.
Наблюдение и список объектов — см. Подводные камни
- Узнавайте изменения через watch, а байты запрашивайте отдельным get: наблюдение передаёт только метаданные.
- Не читайте крупную полезную нагрузку из канала наблюдения: данные находятся в другой теме.
- Считайте пустой бакет пустым результатом: при отсутствии объектов list возвращает
ErrNoObjectsFound.
Внутреннее устройство — см. Подводные камни
- Учитывайте, что мягкое удаление ставит признак отсутствия и очищает части, но место на диске освобождается после завершения очистки.
- Считайте put после удаления новой идентичностью объекта, а не восстановлением истории: сохраняются только последние метаданные.
См. также
- Справочник — все поля, флаги, значения по умолчанию и ошибки, полно и по версиям.
- Углублённый курс JetStream — потоки, на которых построены бакеты.
- Глава о ключах и значениях — небольшие значения с историей версий.