Новые корзины файлов в Google Cloud Storage — загрузка файлов в Databricks

Сценарий замечает появление корзин файлов в Google Cloud Storage и сам загружает файлы в Databricks. Работает само, без ручного переноса.

  • Каждый файл из Google Cloud Storage — копия в хранилище Databricks.
  • Важные файлы не теряются при сбое.
  • Бэкап идёт сам, без напоминаний.

Как это работает

Перенос данных из Google Cloud Storage в Databricks делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Расписание
  2. Затем: Vk Cloud S3
  3. Затем: Google Drive

Настроить такую автоматизацию (Google Cloud Storage + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.