GLM-5.2 投机解码实测：吞吐最高1.91倍
热点事件持续更新
GLM-5.2 投机解码实测：吞吐最高1.91倍
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
MoonOut 在博客园发布 GLM-5.2 投机解码实测：用 16 卡 H200 自部署 GLM-5.2（FP8），通过 sglang 开启模型自带 MTP 层做投机解码；同参数 A/B 测试显示，吞吐涨到 1.43~1.91 倍，延迟降到原来的 49%~79%。 测试请求约 2 万 token 上下文、512 token 输出，分别在并发 4 和并发 32 两档下，开启和关闭投机解码各跑一遍。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 02:15
GLM-5.2 投机解码加速原理与实测：吞吐涨到 1.43~1.91 倍报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- 博客园GLM-5.2 投机解码加速原理与实测：吞吐涨到 1.43~1.91 倍
作者用 16 卡 H200 自部署 GLM-5.2（zai-org/GLM-5.2-FP8），用 sglang 开启其自带的 MTP 层做投机解码同参数 A/B 测试，吞吐涨到 1.43~1.91 倍，延迟降到原来的 49%~79%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。