Новые файлы в Databricks — запуск запросов в CrateDB

Сценарий замечает появление файлов в Databricks и сам запускает запросы в CrateDB. Работает само, без ручного переноса.

  • Каждый файл в Databricks сразу запускает обработку в CrateDB.
  • Файлы не лежат в ожидании ручного запуска.
  • Обработка идёт в тот же миг, круглосуточно.
Поставить себеScriptera

Как это работает

Перенос данных из Databricks в CrateDB делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Расписание
  2. Затем: Google Drive
  3. Затем: Snowflake

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.

Похожие сценарии