Новые корзины файлов в S3 — загрузка файлов в Databricks

Сценарий замечает появление корзин файлов в S3 и сам загружает файлы в Databricks. Работает само, без ручного переноса.

  • Каждый файл из S3 — копия в хранилище Databricks.
  • Важные файлы не теряются при сбое.
  • Бэкап идёт сам, без напоминаний.

Как это работает

Перенос данных из S3 в Databricks делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Расписание
  2. Затем: Vk Cloud S3
  3. Затем: Google Drive

Эту интеграцию S3 и Databricks можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.