Человек в контуре: как устроены контролируемые ИИ-агенты
Что значит «человек в контуре» для боевых агентов, куда ставить контроль и как не заморозить каждый шаг.
Dali
Dali - студия AI agent systems. Давид ведёт engineering и продукт, Лиана - operations и fit процессов. Делаем production-агентов в tools, которыми команда уже пользуется.
David Hakobyan · Dali
Прямой ответ
Human-in-the-loop значит: люди утверждают необратимые или high-risk agent actions, пока routine safe steps идут автоматически. Gate'ьте blast radius, не каждый internal draft.
Почему HITL существует
Models probabilistic. Бизнесу нужна accountability за external и financial actions.
Что gate'ить
Sends, money, access changes, public content, destructive updates.
Что не gate'ить
Internal retrieval, draft generation, который не может покинуть sandbox, pure ranking для human, который уже owns next step.
Operating model
Role-based approvers, evidence packs, SLAs для stale approvals, logs.
Как помогает Dali
Dali проектирует gate placement во время discovery: solutions.
FAQ
Иногда вы ослабляете gates после metrics, которые доказывают safety. Иногда gates остаются навсегда.