Синхронизация базы знаний ИИ с очередью файлов

Как это работает

Перенос данных из Quick Base в AWS S3 делается готовым сценарием: он сам замечает новое и переносит его.

1. Запуск: Каждые 2 минуты
2. Затем: Получить строки из таблицы
3. Проверка: Если устарело
4. Если да — Удалить файл из векторного хранилища
5. Затем: Отметить строку как удаленную
6. Если нет — Filter новые файлы
7. Проверка: Обработать по одному
8. Проверка: Маршрутизировать по источнику файла
9. Если да — Скачать из Google Drive
10. Затем: Загрузить файл в OpenAI
11. Затем: Добавить файл в векторное хранилище
12. Затем: Подождать 30 секунд
13. Затем: Опросить статус файла в векторном хранилище
14. Проверка: Маршрутизировать по статусу эмбеддинга
15. Если да — Отметить строку как активную
16. Если нет — Отметить строку как ошибку
17. Если нет — Скачать из S3
18. Если нет — Скачать через HTTP

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.