Каждый понедельник сценарий забирает данные, собирает отчёт-таблицу, отправляет его на SendGrid и складывает в архив в Databricks.
Чтобы данные из SendGrid автоматически попадали в Databricks, достаточно готового сценария — без выгрузок руками.
Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.