Очистка документов от персональных данных — локально, без отправки наружу

Сценарий забирает текстовые документы из хранилище, прогоняет их через локальную модель, убирает персональные данные и сохраняет очищенную версию, отмечая находки в yclients.

  • Документы не уезжают наружу — модель работает локально
  • Персональные данные находятся и убираются автоматически
  • Видно, в каких файлах они вообще были — отметки в yclients
  • Большие документы обрабатываются частями, без сбоев
Google DriveOllama Model
Поставить себеScriptera

Как это работает

Чтобы данные из yclients автоматически попадали в Google Drive, достаточно готового сценария — без выгрузок руками.

  1. Запуск: При создании подпапки
  2. Затем: Получить файлы из папки
  3. Затем: Разделить файлы
  4. Проверка: Выбрать файлы markdown
  5. Затем: Скачать файлы из Drive
  6. Затем: Текст из markdown
  7. Затем: Объединить весь текст
  8. Затем: Разбить текст для локальной LLM
  9. Затем: Базовая цепочка LLM
  10. Затем: Обработать JSON-текст с флагом
  11. Затем: Записать текст с флагом PII
  12. Затем: Объединить текст фрагментов
  13. Затем: Объединить фрагменты текста
  14. Затем: Создать файл очищенного текста
  15. Затем: Модель Ollama

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.

Похожие сценарии