S3Sync

Что это

S3Sync - действительно быстрый инструмент синхронизации для S3

Основная особенность: очень высокая скорость. Средняя скорость листинга составляет около 5 тыс. объектов/сек для S3. При 128 рабочих процессах средняя скорость синхронизации составляет около 2 тыс. объектов/сек (небольшие объекты 1–20 кб) (ограничено скоростью восходящего канала 1 Гбит).

Возможности

• Многопоточная загрузка/выгрузка файлов;
• Возможна синхронизация несколькими способами;
• S3 в локальную FS;
• Локальная FS в S3;
• Из S3 в S3;
• Повторная попытка при ошибках;
• Текущая статистика;
• Ограничение скорости по объектам;
• Ограничение скорости по полосе пропускания;
• Гибкие фильтры по расширению, Content-Type, ETag и mtime объекта.

Подробнее

Посвящается южнокорейским коллегам.

Зачем нужен

Проект закрывает специализированную практическую задачу и может заменить набор ручных действий или несколько разрозненных утилит. Перед постоянным использованием его стоит проверить на тестовом окружении и сопоставить возможности с вашим сценарием.

Когда пригодится

• Для ускорения повторяющихся действий во время разработки и отладки;
• Для более удобной работы с кодом, репозиториями или API;
• Для включения в локальный процесс разработки или CI/CD.

Что учесть

Перед внедрением S3Sync проверьте совместимость с вашим стеком, активность проекта и возможность встроить его в CI/CD. Начните с тестового окружения, зафиксируйте рабочую конфигурацию и только после этого переносите инструмент в постоянный процесс.