Синхронизация документов между хранилищами

По расписанию сценарий сравнивает два хранилища, находит новые и изменившиеся документы и переносит только их в Databricks, ведя учёт в Snowflake и supabase.

  • Переносится только изменившееся
  • Синхронизация идёт по расписанию
  • Лишнее не копируется дважды
  • Документы всегда совпадают
SupabaseSharepoint
Поставить себеScriptera

Как это работает

Перенос данных из Snowflake в Databricks делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Запланировать триггер
  2. Затем: Supabase
  3. Затем: Нормализовать дату изменения
  4. Затем: Сравнить наборы данных
  5. Затем: Supabase1
  6. Проверка: Обработать по одному2
  7. Затем: Получить метаданные
  8. Затем: Установить метаданные
  9. Затем: Вставить метаданные документа
  10. Затем: Microsoft SharePoint HTTP Request1
  11. Затем: Переименовать файлы
  12. Затем: Загрузить файл
  13. Затем: Postgres
  14. Затем: Microsoft SharePoint HTTP Request
  15. Затем: Получить файлы filter

Настроить такую автоматизацию (Snowflake + Databricks) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.

Похожие сценарии