Сценарий находит файлы в Databricks и сам загружает файлы в Yandex Disk. Работает само, без ручного переноса.
Перенос данных из Databricks в Yandex Disk делается готовым сценарием: он сам замечает новое и переносит его.
Настроить такую автоматизацию (Databricks + Yandex Disk) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.