Բլոգ

2 րոպե կարդալուtutorial

Human approval gate-եր AI գործակալների համար production-ում

Ինչպես տեղադրել human review այնտեղ, որտեղ գործակալը կարող է անդառնալի վնաս պատճառել՝ առանց ամբողջ workflow-ն սառեցնելու։

Dali

Dali-ն AI agent systems ստուդիա է։ Դավիթը՝ engineering/product, Լիանան՝ operations/workflow fit։ Production գործակալներ առկա tools-ում։

David Hakobyan · Dali

Աբստրակտ control-gate դիագրամ human approval-ի համար agent համակարգերում

Ուղիղ պատասխան

Դրեք human approval gate ցանկացած agent գործողությունից առաջ, որը դժվար է հետ շրջել, թանկ է սխալվելու դեպքում, կամ արտաքինից տեսանելի է առանց review-ի։ Մի gate արեք մաքուր research քայլերը, որոնք միայն ներքին նշումներ են draft անում։

Gate-երը bureaucracy չեն։ Դրանք սահմանն են օգտակար automation-ի և operational risk-ի միջև։

Ինչը gate անել

  • Ուղարկումներ. email, հաղորդագրություններ, հաշիվներ, պայմանագրի փոփոխություններ
  • Գրումներ. CRM stage տեղափոխումներ, refund-ներ, permission փոփոխություններ
  • Փող և մուտք. վճարումներ, admin role-եր, production deploy-ներ
  • Հրապարակային բովանդակություն. գրառումներ, customer-facing պատասխաններ զգայուն թեմաներով

Ինչը չgate անել

  • Ներքին ամփոփումներ այն human-ի համար, ով արդեն տիրապետում է հաջորդ քայլին
  • Retrieval և ranking, որոնք միայն տեղեկացնում են ավելի ուշ approve արվող գործողությանը
  • Draft generation, որը չի կարող դուրս գալ sandbox-ից առանց approval-ի

Նվազագույն gate դիզայն

  1. Անվանեք գործողությունը և նրա blast radius-ը։
  2. Սահմանեք, թե ով կարող է approve անել (role, ոչ թե «ցանկացած online»)։
  3. Ցույց տվեք agent evidence pack-ը. inputs, նախատեսված գործողություն, confidence, sources։
  4. Log արեք approve / reject / edit՝ պատճառով։
  5. Time-box արեք stale approval-ները, որպեսզի աշխատանքը լուռ չփչանա։

Ձախողման ռեժիմներ

  • Ամեն ինչ gate անել → գործակալները դառնում են դանդաղ chat stub-եր
  • Ոչինչ gate չանել → մեկ վատ tool call-ը ստեղծում է customer incident
  • Անորոշ approver-ներ → ոչ ոք չի տիրապետում որոշմանը
  • Առանց audit trail → չեք կարող բարելավել policy-ն

Ինչպես է Dali-ն օգտագործում gate-երը

Production agent համակարգերում նախ map ենք անում workflow-ները, հետո gate-եր ենք դնում irreversible քայլերի վրա, հետո automate ենք անում մնացածը առկա tools-ում։ Սկսեք audit-ից։

FAQ

  • Ոչ։ Approve արեք outbound և irreversible գործողությունները, ոչ թե յուրաքանչյուր ներքին draft։