量子位· 思邈·· 23 小时前AI 评分41
首 Token 延迟降低 32.4%!是石科技发布 TokenFleet 集群调度框架
首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效
AI 导读
是石科技发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理,提升集群有效 Token 产出。GLM5.3 调优数据显示,预测延迟路由使 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%;流控协同调度下达标输出吞吐提高约 29.4%,达标比例从约 67% 升至约 86%。
来源:量子位 · qbitai.com