Резервная копия файлов с сервера в Databricks — по расписанию

Сценарий по расписанию заходит на AWS S3, скачивает файлы и загружает их в Databricks, сохраняя ту же структуру папок, что и на исходном сервере.

  • Бэкап делается сам, по расписанию — не нужно помнить
  • Структура папок в копии повторяет исходную
  • Файлы уходят в надёжное хранилище Databricks
  • Пропали данные на сервере — свежая копия уже есть