Оценка качества пересказов ИИ-помощника

Сценарий берёт транскрипт из Box, ИИ делает саммари, а проверка оценивает его полноту и точность, складывая оценки в evaluation.

  • Качество саммари — в цифрах
  • Оценка полноты и точности
  • Видно, что помощник упускает
  • Оценки в одном месте
Webhook

Как это работает

Чтобы связать Box и Webhook, не нужен программист: готовый сценарий соединяет их за пару минут.

  1. Запуск: Строка из набора данных
  2. Затем: Скачать расшифровку
  3. Затем: Извлечь из файла
  4. Затем: Агент суммаризации
  5. Затем: Проверка оценки
  6. Затем: Оценить суммаризацию
  7. Затем: Установить выходные данные
  8. Затем: Установить метрики
  9. Затем: Модель чата OpenAI
  10. Затем: Модель
  11. Затем: Результат
  12. Запуск: Вебхук
  13. Затем: Получить URL Google Drive

Такой сценарий можно запустить в Scriptera: задача описывается обычными словами, сборка и запуск — на стороне сервиса.