По расписанию сценарий сравнивает два хранилища, находит новые и изменившиеся документы и переносит только их в Databricks, ведя учёт в Azure Cosmos DB и supabase.
Перенос данных из Azure Cosmos DB в Databricks делается готовым сценарием: он сам замечает новое и переносит его.
Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.