Сценарий по расписанию забирает новые файлы с yandexDisk и пачками загружает их в Databricks, сохраняя имена.
Чтобы данные из yandexDisk автоматически попадали в Databricks, достаточно готового сценария — без выгрузок руками.
Настроить такую автоматизацию (yandexDisk + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.