Точки ручного контроля для ИИ-агентов в боевой работе
Куда ставить проверку человеком, где агент может навредить необратимо - без полной остановки процессов.
Dali
Dali - студия AI agent systems. Давид ведёт engineering и продукт, Лиана - operations и fit процессов. Делаем production-агентов в tools, которыми команда уже пользуется.
David Hakobyan · Dali
Прямой ответ
Ставьте human approval gate перед любым действием агента, которое трудно откатить, дорого ошибочно или видно снаружи без review. Не гейтите чистые research-шаги, которые только готовят внутренние заметки.
Gates - это не бюрократия. Это граница между полезной автоматизацией и operational risk.
Что гейтить
- Отправки: email, сообщения, счета, изменения контрактов
- Записи: сдвиги стадий CRM, возвраты, изменения прав
- Деньги и доступ: платежи, admin-роли, production deploys
- Публичный контент: посты, customer-facing ответы на чувствительные темы
Что не гейтить
- Внутренние саммари для человека, который уже владеет следующим шагом
- Retrieval и ranking, которые только информируют позднее approved-действие
- Генерацию черновиков, которые не могут покинуть sandbox без approval
Минимальный дизайн gate
- Назовите действие и его blast radius.
- Определите, кто может approve (роль, а не «кто сейчас онлайн»).
- Покажите evidence pack агента: входы, intended action, confidence, источники.
- Логируйте approve / reject / edit с причиной.
- Ограничьте срок «протухания» approvals, чтобы работа не гнила молча.
Failure modes
- Гейтить всё → агенты превращаются в медленные chat-stubs
- Не гейтить ничего → один плохой tool call = customer incident
- Размытые approvers → никто не владеет решением
- Нет audit trail → политику нельзя улучшить
Как Dali использует gates
В production agent systems мы сначала картируем workflows, затем ставим gates на необратимых шагах, затем автоматизируем остальное внутри существующих tools. Начните с аудита.
FAQ
Нет. Approve outbound и необратимые действия, а не каждый внутренний черновик.