Новые файлы в Databricks — запуск запросов в TimescaleDB

Сценарий замечает появление файлов в Databricks и сам запускает запросы в TimescaleDB. Работает само, без ручного переноса.

  • Каждый файл в Databricks сразу запускает обработку в TimescaleDB.
  • Файлы не лежат в ожидании ручного запуска.
  • Обработка идёт в тот же миг, круглосуточно.
Поставить себеScriptera

Как это работает

Перенос данных из Databricks в TimescaleDB делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Расписание
  2. Затем: Google Drive
  3. Затем: Snowflake

Эту интеграцию Databricks и TimescaleDB можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.

Похожие сценарии