По расписанию сценарий сравнивает два хранилища, находит новые и изменившиеся документы и переносит только их в Databricks, ведя учёт в stepik и supabase.
Перенос данных из stepik в Databricks делается готовым сценарием: он сам замечает новое и переносит его.
Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.