Оценка качества пересказов ИИ-помощника

Сценарий берёт транскрипт из selectelS3, ИИ делает саммари, а проверка оценивает его полноту и точность, складывая оценки в evaluation.

  • Качество саммари — в цифрах
  • Оценка полноты и точности
  • Видно, что помощник упускает
  • Оценки в одном месте
Webhook
Поставить себеScriptera

Как это работает

Интеграция selectelS3 и Webhook собирается из готового сценария — вот как он устроен по шагам.

  1. Запуск: Строка из набора данных
  2. Затем: Скачать расшифровку
  3. Затем: Извлечь из файла
  4. Затем: Агент суммаризации
  5. Затем: Проверка оценки
  6. Затем: Оценить суммаризацию
  7. Затем: Установить выходные данные
  8. Затем: Установить метрики
  9. Затем: Модель чата OpenAI
  10. Затем: Модель
  11. Затем: Результат
  12. Запуск: Вебхук
  13. Затем: Получить URL Google Drive

Эту интеграцию selectelS3 и Webhook можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.

Похожие сценарии