Как измерить эффективность AI-бота: ключевые метрики
Какие показатели смотреть после запуска AI-бота и как их улучшать.
Главные метрики AI-бота: доля решённых без оператора (Containment Rate) — целевой показатель 60–80%, время первого ответа (мгновенный у AI, против 5–30 минут у людей), CSat — оценка удовлетворённости. Baseline измеряйте до запуска, чтобы видеть реальный эффект.
Технические метрики: релевантность ответов (насколько бот отвечает по теме), hallucination rate (как часто придумывает несуществующую информацию), fallback rate (как часто не может ответить и переводит на оператора). Логируйте все диалоги — первые недели нужно просматривать вручную выборочно.
Улучшение качества после запуска: анализируйте топ-10 вопросов, на которые бот ответил неточно → добавляйте недостающую информацию в базу знаний → дорабатывайте промпт для граничных случаев. За 2–4 недели итераций качество обычно вырастает на 20–30%.