Оценка качества пересказов ИИ-помощника

Сценарий берёт транскрипт из vkCloudS3, ИИ делает саммари, а проверка оценивает его полноту и точность, складывая оценки в evaluation.

  • Качество саммари — в цифрах
  • Оценка полноты и точности
  • Видно, что помощник упускает
  • Оценки в одном месте
Webhook

Как это работает

Интеграция vkCloudS3 и Webhook собирается из готового сценария — вот как он устроен по шагам.

  1. Запуск: Строка из набора данных
  2. Затем: Скачать расшифровку
  3. Затем: Извлечь из файла
  4. Затем: Агент суммаризации
  5. Затем: Проверка оценки
  6. Затем: Оценить суммаризацию
  7. Затем: Установить выходные данные
  8. Затем: Установить метрики
  9. Затем: Модель чата OpenAI
  10. Затем: Модель
  11. Затем: Результат
  12. Запуск: Вебхук
  13. Затем: Получить URL Google Drive

Настроить такую автоматизацию (vkCloudS3 + Webhook) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.