掘金· BUTFL·· 3 小时前AI 评分73
一次 429 打挂全站,我连夜重写了整个熔断器
AI 导读
自建 LLM 网关因单个上游 key 返回 429 触发全局熔断导致全站静默,作者连夜将熔断器重写为按 key 粒度的三态状态机。重构按错误码语义分类,401/403 硬错误直接隔离,429/529 走带随机抖动的指数退避,并叠加最小请求间隔、在途请求上限和令牌桶三层节奏控制。上线一周后全站静默从日均 3 次降为 0,单 key 故障影响面从全体用户收窄到该 key 约 20% 的流量份额。
来源:掘金 · juejin.cn