Новые компании в GitHub — запуск запросов в Databricks

Сценарий замечает появление компаний в GitHub и сам запускает запросы в Databricks. Работает само, без ручного переноса.

  • Каждая компания в GitHub сразу запускает обработку в Databricks.
  • Компании не лежат сырыми записями.
  • Входной конвейер работает без ручных запусков.

Как это работает

Перенос данных из GitHub в Databricks делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Pipedrive
  2. Затем: Google Big Query

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.