Как измерять работу AI-агентов без пустых метрик

Прямой ответ

Считайте, быстрее ли работа доходит до конца при приемлемом качестве: время цикла, ручные переделки, причины отказов на точках ручного контроля и число инцидентов. Избегайте пустых метрик, которые считают сообщения модели вместо результата.

Хорошая метрика отвечает на вопрос: «стало ли бизнесу лучше по конкретному процессу?» Плохая - «сколько токенов сожгли» или «сколько чатов открыли».

Что измерять в первую очередь

1. Время цикла - от входа задачи до закрытого результата в системе учёта.
2. Доля переделок - сколько раз человек исправлял вывод агента перед сдачей.
3. Отказы на точках контроля - почему человек отклонил действие (неверный инструмент, устаревший контекст, риск).
4. Ошибки и инциденты - записи не туда, ошибочные исходящие, сбои доступа.
5. Доля эскалаций - стандартный путь vs передача человеку.

Эти пять цифр уже показывают, живёт ли агент в реальной эксплуатации или только в демо.

Как выглядит хорошо

• Есть карта процессов до сборки, а не после.
• Необратимые действия имеют владельца и точки ручного контроля.
• Системы учёта (CRM, каталог, тикеты) названы явно - агент пишет туда, а не «куда получится».
• Успех = качество завершённой работы, а не многословность модели.
• Есть «стоп-кнопка» и журнал изменений.

Как выглядит плохо

• Демо-театр без пути в боевую работу.
• Автоматизация без владельца: сломалось - никто не чинит.
• Выдуманные баллы «AI adoption» вместо операционных фактов.
• Метрики «сообщений в минуту» без связи с закрытыми задачами.
• Нет разбора причин отказов - только зелёные дашборды.

Как связать метрики с процессом

Сначала выберите один путь: например, ответ на типовой лид или обновление карточки товара. Зафиксируйте «до»: сколько минут, сколько касаний человека, сколько ошибок в неделю. После пробного запуска сравните те же цифры.

Не смешивайте все процессы в одну среднюю. Среднее по больнице скрывает, какой путь реально сломан.

Как помогает Dali

Dali проектирует и внедряет агентные системы вместе с инженерией и операциями - от разбора процессов до путей в реальную эксплуатацию и видимости ИИ. Смотрите решения и материал про боевых агентов.