Перенос большого набора данных в базу — порциями

Сценарий грузит большой набор данных пачками: запрашивает строки, чистит, добавляет метки и складывает в базу по кругу, пока данные не кончатся.

  • Данные едут порциями — память не переполняется
  • Каждая запись чистится и размечается
  • Работает даже с очень большими наборами
  • Перенос идёт сам, без ручного контроля
Поставить себеScriptera

Как это работает

Чтобы данные из AWS DynamoDB автоматически попадали в , достаточно готового сценария — без выгрузок руками.

  1. Запуск: Подтриггер
  2. Затем: Получить строки {HF}
  3. Затем: Извлечь строки
  4. Проверка: Есть строки?
  5. Если да — Разделить строки
  6. Затем: Преобразовать: удалить ID, добавить метаданные
  7. Затем: Вставить или обновить в Mongo
  8. Затем: Агрегировать
  9. Затем: Установить смещение
  10. Если нет — Смещение при отсутствии строк
  11. Затем: Конфигурация Start
  12. Затем: Вставить пакет
  13. Проверка: Продолжить цикл?
  14. Запуск: Запустить вручную

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.

Похожие сценарии