Сценарий замечает появление записей в CrateDB и сам загружает файлы в Databricks. Работает само, без ручного переноса.
Чтобы данные из CrateDB автоматически попадали в Databricks, достаточно готового сценария — без выгрузок руками.
Настроить такую автоматизацию (CrateDB + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.