Чтобы данные из Databricks автоматически попадали в vkCloudS3, достаточно готового сценария — без выгрузок руками.
Эту интеграцию Databricks и vkCloudS3 можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.