掘金· 桃西西呀beverlyLee·· 2 小时前AI 评分72
我给网关加了计量埋点,才发现限流配错三个月,下游账单多烧了两倍
AI 导读
作者给公司 AI 客服网关补做计量埋点后,发现限流配置失误让下游 LLM 账单在三个月内翻倍。根因是只记总量、不按租户、模型、状态拆维度,且漏记 429 与重试、时延只存平均值,导致缓存命中率从 87% 掉到 0 也无人察觉。文章给出按维度切分指标、用 Histogram 存时延看 p99、拆分 cached 与 uncached token 的修复方案。
来源:掘金 · juejin.cn