Рутину в Databricks и Dropbox берёт на себя готовый сценарий — настраивается за пару минут.
Запуск: Расписание
Затем: Dropbox
Затем: Vk Cloud S3
Затем: Dropbox 2
Затем: Vk Cloud S3 2
Затем: Dropbox 3
Эту интеграцию Databricks и Dropbox можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.