跳到正文
掘金· 桃西西呀beverlyLee·· 2 小时前AI 评分72

我给网关加了计量埋点,才发现限流配错三个月,下游账单多烧了两倍

AI 导读

作者给公司 AI 客服网关补做计量埋点后,发现限流配置失误让下游 LLM 账单在三个月内翻倍。根因是只记总量、不按租户、模型、状态拆维度,且漏记 429 与重试、时延只存平均值,导致缓存命中率从 87% 掉到 0 也无人察觉。文章给出按维度切分指标、用 Histogram 存时延看 p99、拆分 cached 与 uncached token 的修复方案。

来源:掘金 · juejin.cn