Сценарий замечает появление сообщений в Compass и сам создаёт файлы в Databricks. Работает само, без ручного переноса.
Уведомления из Compass в Databricks настраиваются готовым сценарием: он ловит событие и сразу шлёт сообщение.
Настроить такую автоматизацию (Compass + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.