S3Sync

Что это

S3Sync - действительно быстрый инструмент синхронизации для S3.

Ограничения - каждый объект загружается в оперативную память. Таким образом, вам потребуется объём оперативной памяти, равный <средний размер объекта> * <количество рабочих процессов>.

Умеет сихронизировать между как между локальным и удаленным инстансом S3, так и напрямуж между удаленными инстансами.

s3sync - неразрушающая односторонняя синхронизация: она не удаляет файлы в целевом или исходном пути, которые не синхронизированы.

Возможности

• Многопоточная загрузка/выгрузка файлов;
• Повторная попытка при ошибках;
• Текущая статистика;
• Ограничение скорости по объектам;
• Ограничение скорости по полосе пропускания;
• Гибкие фильтры по расширению, Content-Type, ETag и mtime объекта.

Зачем нужен

Проект закрывает специализированную практическую задачу и может заменить набор ручных действий или несколько разрозненных утилит. Перед постоянным использованием его стоит проверить на тестовом окружении и сопоставить возможности с вашим сценарием.

Когда пригодится

• Для регулярного создания копий по понятному расписанию;
• Для контроля успешности заданий и соблюдения политики хранения;
• Для подготовки к восстановлению после ошибки, сбоя или потери узла.

Что учесть

Перед внедрением S3Sync обязательно проверьте восстановление, шифрование, ротацию и хранение копии вне исходного узла. Начните с тестового окружения, зафиксируйте рабочую конфигурацию и только после этого переносите инструмент в постоянный процесс.