Сбои боевых AI-агентов и как проектировать против них

Прямой ответ

Проектируйте против: неверных записей инструментами, устаревшего контекста, отсутствующих точек ручного контроля, дрейфа промптов без проверок и отсутствия человеческого владельца. У каждого пути в реальной эксплуатации должны быть стоп-кнопка и цикл разбора.

Демо падает красиво. Боевой агент падает в CRM, письмах клиентам и деньгах.

Основные режимы отказа

1. Wrong-tool write - агент вызвал не тот tool или с неверными аргументами (чужой клиент, неверная сумма, неверный stage).
2. Stale context - устаревшая база знаний, старый курс, отменённая политика; модель уверена и неправа.
3. Missing gates - необратимое действие ушло без человека.
4. Prompt drift - «чуть подкрутили промпт» без evals; качество тихо просело.
5. No owner - инцидент есть, дежурного и runbook нет.
6. Silent partial failure - часть шагов прошла, часть нет; система выглядит «зелёной».

Как выглядит хорошо

• Карта процессов до сборки.
• Необратимые действия с владельцем и точками ручного контроля.
• Явные системы учёта: куда пишем, откуда читаем.
• Успех = качество завершённой работы, не длина ответа модели.
• Логи tool-вызовов, причины reject, возможность stop.

Как выглядит плохо

• Демо-театр без пути в боевую работу.
• Автоматизация без владельца.
• Выдуманные метрики вместо операционных фактов.
• «Починили промптом» без регрессионных сценариев.
• Нет стоп-кнопки: единственный выход - выключить весь сервис.

Минимальная защита

1. Whitelist tools + schema validation аргументов.
2. Tenant / entity id обязателен на запись.
3. Gates на money / access / outbound.
4. Eval-набор из реальных кейсов до и после смены промпта.
5. On-call роль и короткий runbook: как остановить, как откатить, кого звать.
6. Метрики: время цикла, rework, incidents - см. измерение ops.

Как помогает Dali

Dali проектирует и внедряет агентные системы с инженерией и операциями - от разбора процессов до путей в реальную эксплуатацию. Решения, боевые агенты.