По расписанию сценарий выполняет нужные операции в Databricks и присылает отчёт в compass.
Рутину в compass и Databricks берёт на себя готовый сценарий — настраивается за пару минут.
Настроить такую автоматизацию (compass + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.