Как проверить ИИ-агента: набор вопросов и оценка вместо «вроде нормально»

Первое впечатление от агента почти всегда хорошее: он отвечает связно и уверенно. Проблемы появляются потом, когда клиент получает уверенный, но неверный ответ. Проверка по принципу «потыкал, вроде нормально» не работает: ошибки сидят в редких вопросах, а изменение базы знаний легко ломает ответы, которые вчера были верны.

Эталонный набор

Начните с 30–50 реальных вопросов из переписки с клиентами. Для каждого запишите:

вопрос в том виде, как его задают (с опечатками и разговорной речью);
эталонные факты, которые должны быть в ответе (не готовый текст, а факты);
нужно ли передать диалог человеку;
чего ответ не должен содержать (например, обещаний или чужих цен).

Включите вопросы, на которые в базе знаний ответа нет. Правильное поведение для них — честно сказать «не знаю» и передать человеку, и именно это проверяет, не выдумывает ли агент.

Оценка по фактам

Ответ оценивается не по «похоже на эталон», а по критериям:

Верность: все ключевые факты названы правильно.
Обоснованность: каждое утверждение подтверждено источником. Выдуманная деталь делает ответ неверным, даже если остальное правильно.
Передача человеку: агент передал диалог там, где нужно, и не передал там, где мог ответить.
Тон: вежливо, без шаблонов и обещаний.

Оценивать можно вручную или другой моделью («модель проверяет модель»). Во втором случае важно давать ей строгую инструкцию и эталонные факты, а не просить «оцени от 1 до 10». Выборочно проверяйте её оценки сами: проверяющая модель тоже ошибается.

Когда запускать

После каждого изменения базы знаний.
После каждого изменения системного промпта.
При смене модели.
Перед выпуском.

Результаты сохраняйте и сравнивайте: если доля верных ответов упала, вы узнаете об этом до клиентов.

Что делать с ошибками

Каждая ошибка — это улучшение: дополнить базу знаний, уточнить правило в промпте или добавить граничный случай в набор. Ошибочные ответы из реальной работы добавляйте в эталонный набор, и он будет расти вместе с продуктом.

Я собрал свои рабочие промпты для такой проверки и для самого агента в отдельный набор: он есть в магазине.