Перейти к основному содержимому

Куда двигаться дальше

В начале главы у вас были слишком крупные или двоичные для сообщения файлы без места хранения. Теперь есть INVOICES со счетами из фрагментов, метаданными и ссылкой; analytics следит за новыми объектами, а базовый поток OBJ_INVOICES понятен.

Эта страница не вводит новых понятий, а собирает модель и ссылки на главы и справочник для дальнейшего изучения.

Три основные идеи​

Каждая страница возвращалась к трём понятиям, которые стоит запомнить.

Бакет — именованное хранилище объектов. Вы записываете файл по имени через put и получаете через get, не работая с сообщениями напрямую. Бакет — API (put, get, list, watch, link) над одним потоком JetStream OBJ_<bucket>.

Фрагмент — часть объекта. Put разбивает байты по заданному размеру, пишет каждую часть сообщением, вычисляет хеш SHA-256 всего объекта и завершает запись метаданными. Get читает метаданные, получает части по порядку и проверяет хеш перед возвратом.

Свёртка сохраняет текущее состояние вместо истории. Каждая запись метаданных несёт заголовок свёртки, и поток оставляет последние метаданные каждого имени. Повторная запись даёт одно текущее описание, а не историю ревизий — в этом отличие от KV.

Три понятия — бакет, фрагмент и свёртка. Остальное — метаданные, ссылки, watch, list, мягкое удаление — уточняет их работу.

Где искать подробности​

Глава не привязана к версии и объясняет понятия. Точные флаги, значения по умолчанию и диапазоны находятся в полном справочнике с разделением по версиям. Там ищите допустимый размер фрагмента, все поля ObjectInfo и параметры наблюдения.

Полный набор настроек хранилища объектов приведён в справочнике. Здесь рассматривалось поведение; все ссылки главы на полный перечень ведут туда.

Связанные подробные главы​

Хранилище объектов находится поверх JetStream рядом с другими абстракциями хранения, поэтому соседние главы непосредственно связаны с построенной моделью.

Углублённый курс JetStream — основа всего описанного. Для понимания OBJ_INVOICES как потока, его потребителей, хранения и прямого чтения начните там.

Глава о ключах и значениях посвящена другой форме данных. Объекты сохраняют крупные файлы из частей и последние метаданные; KV — небольшие структурированные значения с историей ревизий. Если нужна история значения, переходите туда. Страница Наблюдение показывает наблюдение за значениями ключей, которого нет у объектов.

Глава о кластеризации и репликации объясняет replicas базового потока: как R=3 переживает отказ узла, как работает размещение и выглядит распределённое по кластеру хранилище объектов.

Глава о мониторинге рассматривает наблюдение за базовым потоком в эксплуатации: размер, рост и признаки неожиданно быстрого заполнения бакета.

Резервное копирование и восстановление объясняет снимки и восстановление OBJ_INVOICES, чтобы объекты пережили отказ отдельного диска.

Безопасность объясняет защиту бакета. Темы фрагментов и метаданных — обычные темы JetStream; к ним напрямую применяются учётные записи, экспорт и разрешения.

Текущее состояние​

Глава завершена; нового состояния здесь нет. Бакет INVOICES, счета, ссылка label-ord_8w2k.png и наблюдатель analytics остаются в сеансе. Можно продолжать эксперименты или завершить работу, удалив бакет через nats object rm INVOICES.

Основная модель такова: бакет хранит файлы фрагментами, хеш проверяет неизменность байтов после записи и чтения, свёртка поддерживает актуальные метаданные. На этом основаны остальные возможности хранилища объектов.

Проверки перед эксплуатацией​

Каждая страница завершалась подводными камнями. Здесь собраны действия перед использованием бакета для настоящих счетов, со ссылками на объяснения.

Первый объект — см. Подводные камни​

  • Проверяйте результат и ошибку get до использования байтов: прерванный put не создаёт доступного объекта, потерянные или повреждённые фрагменты приводят к ошибке хеша.
  • Повторяйте неудачные операции с задержкой: put не считается завершённым без подтверждения результата.
  • Обрабатывайте ErrObjectNotFound как обычный исход для отсутствующего или удалённого имени, а не аварийное завершение.

Разбиение на фрагменты — см. Подводные камни​

  • Сохраняйте стандартный размер без особой причины: мелкие части создают множество сообщений и накладные расходы, крупные могут превысить лимит сообщения.
  • Проверяйте get до использования байтов: непроверенная ошибка асинхронного put может привести к несовпадению хеша при чтении.
  • При неудачном get заново записывайте исходный файл; не отправляйте частичный и не считайте put успешным без сборки и проверки через get.
  • Проверяйте существование цели перед чтением ссылки: сохранённый при создании адрес после удаления цели даёт ErrObjectNotFound.
  • Создавайте ссылку заново после удаления или переименования цели. Она не следует за изменениями; get ссылки на бакет возвращает ErrCantGetBucket, а не байты.
  • Для нового размера частей удаляйте и перезаписывайте объект; для новой цели пересоздавайте ссылку. UpdateMeta молча сохраняет прежние размер и цель.
  • Не переименовывайте объект в существующее неудалённое имя: это даёт ErrObjectAlreadyExists.

Наблюдение и список объектов — см. Подводные камни​

  • Узнавайте изменения через watch, а байты запрашивайте отдельным get: наблюдение передаёт только метаданные.
  • Не читайте крупную полезную нагрузку из канала наблюдения: данные находятся в другой теме.
  • Считайте пустой бакет пустым результатом: при отсутствии объектов list возвращает ErrNoObjectsFound.

Внутреннее устройство — см. Подводные камни​

  • Учитывайте, что мягкое удаление ставит признак отсутствия и очищает части, но место на диске освобождается после завершения очистки.
  • Считайте put после удаления новой идентичностью объекта, а не восстановлением истории: сохраняются только последние метаданные.

См. также​