Проверка защиты помощника: набор тестов и отчёт с точностью

Сценарий прогоняет через вашу защиту десятки проверок на опасные и безобидные запросы, считает точность и присылает отчёт письмом.

  • Проверяются разные виды опасного, а не один
  • Ловятся и пропуски, и лишние срабатывания
  • Итог — конкретный процент точности, а не ощущение
  • Отчёт с разбором по категориям приходит письмом
Guardrails

Как это работает

Интеграция SendGrid и Guardrails собирается из готового сценария — вот как он устроен по шагам.

  1. Запуск: Запуск вручную
  2. Затем: Установить тестовые данные (код)
  3. Проверка: Обработать по одному
  4. Затем: Рассчитать метрики
  5. Затем: Форматировать отчет
  6. Затем: Markdown
  7. Затем: Отправить сообщение
  8. Затем: Сохранить исходные данные
  9. Затем: Проверить ограничения
  10. Затем: Форматировать результат «Пройдено»
  11. Проверка: Объединить результаты
  12. Затем: Форматировать результат «Провал»
  13. Затем: Модель чата OpenAI

Настроить такую автоматизацию (SendGrid + Guardrails) можно в Scriptera — без кода: опишите задачу, остальное сделают за вас.