Сценарий по расписанию забирает новые файлы с Databricks и пачками загружает их в Box, сохраняя имена.
Перенос данных из Databricks в Box делается готовым сценарием: он сам замечает новое и переносит его.
Эту интеграцию Databricks и Box можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.