Инциденты ИИ-агента и ответственность: базовый порядок действий
Что делать, если агент ошибся: локализовать, отозвать доступ, уведомить, исправить и как в договоре делить ответственность.
Dali
Dali - студия AI agent systems. Давид ведёт engineering и продукт, Лиана - operations и fit процессов. Делаем production-агентов в tools, которыми команда уже пользуется.
David Hakobyan · Dali
Прямой ответ
Когда агент fails: остановите агента, revoke credentials если нужно, сохраните traces, исправьте customer impact, затем patch prompts/tools. Contracts должны сказать, кто отвечает за business decisions vs software defects.
Contain
Kill switch, отключите write tools, pause queues.
Investigate
Достаньте correlation ids, tool args, approvals - вот почему observability matters.
Customer fix
Human outreach, refunds, corrections - с real owner.
Prevent
Eval case из incident, tighter gates, better idempotency.
Liability
Policies и human approval не исчезают, потому что model suggested text. Align vendor SOW с who owns outcomes.
SLA
Определите response times для agent-impacted queues как для других production systems.
Как помогает Dali
Pilots Dali определяют stop-switches и handoff owners: solutions.
FAQ
Следуйте law и brand policy; honesty often reduces damage, когда errors happen.