Новые папки в AWS S3 — загрузка файлов в Databricks

Сценарий замечает появление папок в AWS S3 и сам загружает файлы в Databricks. Работает само, без ручного переноса.

  • Каждый файл из AWS S3 — копия в хранилище Databricks.
  • Важные файлы не теряются при сбое.
  • Бэкап идёт сам, без напоминаний.

Как это работает

Чтобы данные из AWS S3 автоматически попадали в Databricks, достаточно готового сценария — без выгрузок руками.

  1. Запуск: Расписание
  2. Затем: Google Drive
  3. Затем: Hubspot

Эту интеграцию AWS S3 и Databricks можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.