Наблюдаемость агента: журналы, трассы и что хранить
Что логировать для боевых ИИ-агентов, не захлебнувшись токенами и не утекая секретами.
Dali
Dali - студия AI agent systems. Давид ведёт engineering и продукт, Лиана - operations и fit процессов. Делаем production-агентов в tools, которыми команда уже пользуется.
David Hakobyan · Dali
Прямой ответ
Логируйте structured events: request id, tool name, args (redacted), results status, approvals, model ids, latency, cost. Raw prompts храните только under retention rules. Если вы не можете восстановить incident, вы не production.
Minimum viable trace
Correlation id across steps, who/what triggered the run, tools attempted, gate decisions, final side effects.
Redaction
Убирайте secrets, tokens, full card numbers, unnecessary PII из logs, которые уходят third parties.
Metrics
Success, exceptions, human overrides, p95 latency, $ per successful completion.
Privacy tradeoff
Больше logging помогает debug и может увеличить compliance burden - define retention explicitly.
Как помогает Dali
Dali включает logging expectations в pilots: solutions.
FAQ
Обычно нет. Храните hashes или truncated spans, unless investigating.