Проверка защиты помощника: набор тестов и отчёт с точностью

Сценарий прогоняет через вашу защиту десятки проверок на опасные и безобидные запросы, считает точность и присылает отчёт письмом.

  • Проверяются разные виды опасного, а не один
  • Ловятся и пропуски, и лишние срабатывания
  • Итог — конкретный процент точности, а не ощущение
  • Отчёт с разбором по категориям приходит письмом
Поставить себеScriptera

Как это работает

Интеграция Mandrill и собирается из готового сценария — вот как он устроен по шагам.

  1. Запуск: Запуск вручную
  2. Затем: Установить тестовые данные (код)
  3. Проверка: Обработать по одному
  4. Затем: Рассчитать метрики
  5. Затем: Форматировать отчет
  6. Затем: Markdown
  7. Затем: Отправить сообщение
  8. Затем: Сохранить исходные данные
  9. Затем: Проверить ограничения
  10. Затем: Форматировать результат «Пройдено»
  11. Проверка: Объединить результаты
  12. Затем: Форматировать результат «Провал»
  13. Затем: Модель чата OpenAI

Эту интеграцию Mandrill и ваших сервисов можно запустить в Scriptera: опишите задачу словами — сценарий соберут, запустят и будут следить, чтобы он работал.

Похожие сценарии