Перенос большого набора данных в базу — порциями

Сценарий грузит большой набор данных пачками: запрашивает строки, чистит, добавляет метки и складывает в базу по кругу, пока данные не кончатся.

  • Данные едут порциями — память не переполняется
  • Каждая запись чистится и размечается
  • Работает даже с очень большими наборами
  • Перенос идёт сам, без ручного контроля
Поставить себеScriptera

Как это работает

Перенос данных из Microsoft SQL в делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Подтриггер
  2. Затем: Получить строки {HF}
  3. Затем: Извлечь строки
  4. Проверка: Есть строки?
  5. Если да — Разделить строки
  6. Затем: Преобразовать: удалить ID, добавить метаданные
  7. Затем: Вставить или обновить в Mongo
  8. Затем: Агрегировать
  9. Затем: Установить смещение
  10. Если нет — Смещение при отсутствии строк
  11. Затем: Конфигурация Start
  12. Затем: Вставить пакет
  13. Проверка: Продолжить цикл?
  14. Запуск: Запустить вручную

Настроить такую автоматизацию можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.

Похожие сценарии