Стоимость моделей и выбор модели для бизнес-агентов
Как выбирать модели для операционных агентов и держать бюджет: маршрутизация, кэш, лимиты и запасные варианты.
Dali
Dali - студия AI agent systems. Давид ведёт engineering и продукт, Лиана - operations и fit процессов. Делаем production-агентов в tools, которыми команда уже пользуется.
David Hakobyan · Dali
Прямой ответ
Выбирайте самую дешёвую model, которая проходит ваш eval bar для каждого шага. Контролируйте cost routing'ом, caching, truncation, step caps и hard budgets per run - не надеждой, что invoice останется маленьким.
Model choice
Strong models для hard reasoning и risky drafts; smaller/faster models для classification и extraction, если evals проходят.
Routing
Classifier step → specialized prompts/models. Не используйте frontier model на каждый «yes/no».
Caching
Кешируйте stable system instructions и repeated retrieval chunks, где policy позволяет.
Budgets
Max tokens, max tool calls, kill switch на spend anomalies.
Fallbacks
Secondary model или queue-to-human, когда primary errors или times out.
Как помогает Dali
Cost-aware design - часть Dali pilots: solutions.
FAQ
Нет, если вы платите GPU ops, а quality drops вызывают rework.