По расписанию сценарий выполняет нужные операции в Databricks и присылает отчёт в smscRu.
Автоматизация smscRu и Databricks не требует кода: готовый сценарий выполняет рутину сам.
Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.