Сценарий замечает появление файлов в S3 и сам запускает запросы в CrateDB. Работает само, без ручного переноса.
Перенос данных из S3 в CrateDB делается готовым сценарием: он сам замечает новое и переносит его.
Настроить такую автоматизацию (S3 + CrateDB) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.