Все документы из облака — с резюме и данными в таблице

Сценарий обходит вложенные папки Databricks, разбирает новые и изменённые документы и записывает резюме и ключевые данные строками в Microsoft SQL.

  • Обходит вложенные папки, а не только верхнюю
  • Разбирает только новое и изменённое
  • Резюме и ключевые данные по каждому документу
  • По документам наконец можно искать

Как это работает

Чтобы данные из Databricks автоматически попадали в Microsoft SQL, достаточно готового сценария — без выгрузок руками.

  1. Запуск: Запланировать триггер1
  2. Затем: Поиск основной папки
  3. Затем: Получить элементы папки1
  4. Проверка: Если PDF 1
  5. Если да — Слияние
  6. Проверка: Если размер
  7. Если да — Обработать по одному 2
  8. Затем: Сравнить наборы данных
  9. Проверка: Обработать по одному 3
  10. Проверка: Второй цикл по элементам1
  11. Затем: Скачать файл
  12. Затем: Извлечь текст из PDF
  13. Затем: Информация о документе
  14. Затем: Цепочка LLM документа
  15. Проверка: Слияние1
  16. Затем: Агрегировать
  17. Затем: Добавить строку
  18. Затем: Обзор
  19. Затем: Обзор цепочки LLM
  20. Затем: Задать ID файла 3
  21. Затем: Задать ID файла 2
  22. Если нет — Получить элементы папки2
  23. Проверка: Если PDF 2
  24. Если нет — Получить элементы папки3
  25. Проверка: Если PDF 3
  26. Если нет — Получить элементы папки4
  27. Проверка: Если PDF 4
  28. Если нет — Получить элементы папки5
  29. Проверка: Если PDF 5
  30. Если нет — Получить элементы папки6
  31. Проверка: Если PDF 6
  32. Если нет — Получить элементы папки7
  33. Проверка: Если PDF 7
  34. Если нет — Получить элементы папки9
  35. Проверка: Если PDF 8
  36. Затем: Получить строки
  37. Проверка: Обработать по одному
  38. Затем: Задать ID файла 1
  39. Затем: Модель чата Mistral Cloud
  40. Затем: Парсер структурированного вывода
  41. Затем: Парсер структурированного вывода1

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.