Новые файлы в Databricks — запуск запросов в Snowflake

Сценарий замечает появление файлов в Databricks и сам запускает запросы в Snowflake. Работает само, без ручного переноса.

  • Каждый файл в Databricks сразу запускает обработку в Snowflake.
  • Файлы не лежат в ожидании ручного запуска.
  • Обработка идёт в тот же миг, круглосуточно.

Как это работает

Перенос данных из Databricks в Snowflake делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Расписание
  2. Затем: Google Drive
  3. Затем: Snowflake

Настроить такую автоматизацию (Databricks + Snowflake) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.