Синхронизация базы знаний ИИ с очередью файлов

Сценарий следит за очередью в таблица, удаляет устаревшие документы и загружает новые из sbermegamarket, yandexObjectStorage или по ссылке, отмечая статус каждого.

  • База знаний всегда отражает актуальные файлы
  • Устаревшие документы удаляются автоматически
  • Файлы берутся из хранилища, облака или по ссылке
  • Статус обработки каждого файла виден в таблице
Google SheetsOpenAI
Поставить себеScriptera

Как это работает

Перенос данных из sbermegamarket в yandexObjectStorage делается готовым сценарием: он сам замечает новое и переносит его.

  1. Запуск: Каждые 2 минуты
  2. Затем: Получить строки из таблицы
  3. Проверка: Если устарело
  4. Если да — Удалить файл из векторного хранилища
  5. Затем: Отметить строку как удаленную
  6. Если нет — Filter новые файлы
  7. Проверка: Обработать по одному
  8. Проверка: Маршрутизировать по источнику файла
  9. Если да — Скачать из Google Drive
  10. Затем: Загрузить файл в OpenAI
  11. Затем: Добавить файл в векторное хранилище
  12. Затем: Подождать 30 секунд
  13. Затем: Опросить статус файла в векторном хранилище
  14. Проверка: Маршрутизировать по статусу эмбеддинга
  15. Если да — Отметить строку как активную
  16. Если нет — Отметить строку как ошибку
  17. Если нет — Скачать из S3
  18. Если нет — Скачать через HTTP

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.

Похожие сценарии