საბრძოლო AI აგენტების მარცხის რეჟიმები და როგორ დავაპროექტოთ მათ წინააღმდეგ

პირდაპირი პასუხი

დააპროექტეთ წინააღმდეგ: არასწორი tool ჩაწერების, მოძველებული კონტექსტის, ადამიანის კონტროლის წერტილების არარსებობის, პრომპტის დრეიფის შემოწმებების გარეშე და ადამიანი მფლობელის არარსებობის. რეალური ექსპლუატაციის ყოველ გზას სჭირდება გაჩერების ღილაკი და განხილვის ციკლი.

დემო ლამაზად ვარდება. საბრძოლო აგენტი ვარდება CRM-ში, კლიენტის წერილებში და ფულში.

ძირითადი მარცხის რეჟიმები

1. Wrong-tool write - აგენტმა გამოიძახა არასწორი tool ან არასწორი არგუმენტებით (სხვისი კლიენტი, არასწორი თანხა, არასწორი stage).
2. Stale context - მოძველებული ცოდნის ბაზა, ძველი კურსი, გაუქმებული პოლიტიკა; მოდელი დარწმუნებულია და ცდება.
3. Missing gates - შეუქცევადი მოქმედება გავიდა ადამიანის გარეშე.
4. Prompt drift - «ცოტა შევცვალეთ პრომპტი» evals-ის გარეშე; ხარისხი ჩუმად დაეცა.
5. No owner - ინციდენტი არის, მორიგე და runbook არ არის.
6. Silent partial failure - ნაწილი ნაბიჯების გავიდა, ნაწილი არა; სისტემა «მწვანედ» ჩანს.

როგორ გამოიყურება კარგი

• პროცესების რუკა აგებამდე.
• შეუქცევადი მოქმედებები მფლობელითა და ადამიანის კონტროლის წერტილებით.
• ცხადი აღრიცხვის სისტემები: სად ვწერთ, საიდან ვკითხულობთ.
• წარმატება = დასრულებული სამუშაოს ხარისხი, არა მოდელის სიგრძე.
• Tool გამოძახებების ლოგები, reject მიზეზები, stop შესაძლებლობა.

როგორ გამოიყურება ცუდი

• დემო თეატრი საბრძოლო გზის გარეშე.
• ავტომატიზაცია მფლობელის გარეშე.
• გამოგონილი მეტრიკები ოპერაციული ფაქტების ნაცვლად.
• «პრომპტით გავასწორეთ» რეგრესიის სცენარების გარეშე.
• გაჩერების ღილაკი არ არის: ერთადერთი გამოსავალი - მთელი სერვისის გათიშვა.

მინიმალური დაცვა

1. Tools-ის whitelist + არგუმენტების schema validation.
2. Tenant / entity id სავალდებულო ჩაწერაზე.
3. Gates ფულზე / წვდომაზე / გამავალზე.
4. Eval ნაკრები რეალური ქეისებით პრომპტის/tools ცვლილებამდე და შემდეგ.
5. On-call როლი და მოკლე runbook: როგორ შევაჩეროთ, როგორ დავაბრუნოთ, ვინ დავრეკოთ.
6. მეტრიკები: ციკლის დრო, rework, incidents - იხილეთ ops გაზომვა.

როგორ ეხმარება Dali

Dali პროექტირებს და ნერგავს აგენტურ სისტემებს ინჟინერიასთან და ოპერაციებთან ერთად - პროცესების კვლევიდან რეალური ექსპლუატაციის გზებამდე. გადაწყვეტილებები, საბრძოლო აგენტები.