По расписанию сценарий выполняет нужные операции в Databricks и присылает отчёт в Twake.
Автоматизация Twake и Databricks не требует кода: готовый сценарий выполняет рутину сам.
Эту интеграцию Twake и Databricks можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.