Перенос поисковой базы между сервисами — без пересчёта данных

Сценарий переносит записи из одной поисковой базы в другую порциями, запоминая место остановки. Готовые данные едут как есть, пересчитывать их не нужно.

  • Переезд без повторного пересчёта — экономит деньги
  • Место остановки хранится в asproCloud: можно прерывать и продолжать
  • Данные едут порциями — большие базы не падают
  • Завершение переезда видно явно
Поставить себеScriptera

Как это работает

Чтобы данные из asproCloud автоматически попадали в , достаточно готового сценария — без выгрузок руками.

  1. Запуск: Запланировать триггер
  2. Затем: Параметры
  3. Затем: Получить токен следующей страницы
  4. Проверка: Токен следующей страницы пуст?
  5. Если да — Первая итерация
  6. Если да — Получить первую запись
  7. Затем: Сохранить токен следующей страницы
  8. Затем: Выбрать ID
  9. Затем: Подготовить тело запроса
  10. Затем: Загрузить векторы
  11. Затем: Форматировать в Weaviate
  12. Затем: Загрузить WeAviate
  13. Если нет — Получить следующую запись
  14. Затем: Сохранить токен следующей страницы1
  15. Затем: Выбрать ID1

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.

Похожие сценарии