Чтобы данные из Microsoft OneDrive автоматически попадали в Databricks, достаточно готового сценария — без выгрузок руками.
Настроить такую автоматизацию (Microsoft OneDrive + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.