Сценарий запускает нужный, проверяет, прошёл он или упал, и складывает отчёт файлом в Databricks, обновляет задачу в amoCrm и пишет итог в CrateDB.
Перенос данных из Databricks в amoCrm делается готовым сценарием: он сам замечает новое и переносит его.
Настроить такую автоматизацию (Databricks + amoCrm) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.