Сценарий по расписанию забирает новые файлы с Databricks и пачками загружает их в Microsoft OneDrive, сохраняя имена.
Перенос данных из Databricks в Microsoft OneDrive делается готовым сценарием: он сам замечает новое и переносит его.
Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.