大模型延迟优化
0关注 | 1内容
热门排序
回复时间
发帖时间
Web极客码
2026-10-12
Jev 决策模型实战:一套低延迟、低成本、输出可预期的模型路由实现
先说一个很多团队都踩过的坑:上线一个 AI 功能时,为了"保险",把所有用户请求都发给当前最强的模型。功能确实跑起来了,但月底一看账单,再一测响应时间,往往都让人皱眉——很多请求其实根本不需要最强模型