#行业动态#成本
月度账单复盘模板:四个维度定位浪费

账单涨了,先别急着换供应商。按模型、场景、重试、缓存四个维度拆开,浪费通常集中在两三个具体位置。
月度账单复盘的价值不在于省钱本身,而在于找到“钱花在哪个具体环节”。四个维度足以覆盖多数浪费。
第一个维度是模型分布。按调用次数与费用分别排序,通常会看到两类偏差:高频调用的其实是小模型,或者低频调用的旗舰模型贡献了大部分费用。前者说明架构合理但缺优化空间,后者说明有少数场景值得单独优化。
第二个维度是场景分布。把调用按业务场景打标,算每个场景的平均输入、平均输出与单次成本。长期运行后往往能看到某个场景的输入长度在悄悄增长,例如历史对话没有截断,导致每次请求都带着全部上下文。
第三个维度是重试率。按线路统计失败率与平均重试次数,把重试成本单独列一行。重试率高于 3% 的线路,值得单独排查是限流、超时还是模型不可用。
第四个维度是缓存命中。固定前缀的请求占比、实际命中率、命中带来的折扣,三项放在一起看。命中率低于 20% 时,优化前缀结构通常比换供应商更有效。
复盘产出应当是三条以内的行动项,例如“把客服场景的历史对话截断到 8 轮”“把摘要任务切到小模型”“给主力线路加一条备用”。行动项越具体,下个月的账单变化越可解释。
复盘频率不必很高,月度足够,但数据要留痕。把每个月的四维统计存成一张表,连续看三个月,趋势比单月数字更有信息量。多数浪费不是某个月突然出现,而是某个指标缓慢爬升,直到被人注意到。
复盘时还要区分“可优化”与“不可优化”两类成本。不可优化的是业务量增长带来的自然上升,可优化的是结构性浪费,例如用旗舰模型做分类、把长文档整段送入、或者重复计算同一前缀。把两类分开列,讨论才不会变成单纯的“省一点是一点”。