跳到正文
博客园· MoonOut·· 9 小时前AI 评分55

GLM-5.2 投机解码加速原理与实测:吞吐涨到 1.43~1.91 倍

LLM | 投机解码:加速原理与实验结果 - MoonOut

AI 导读

作者用 16 卡 H200 自部署 GLM-5.2(zai-org/GLM-5.2-FP8),用 sglang 开启其自带的 MTP 层做投机解码同参数 A/B 测试,吞吐涨到 1.43~1.91 倍,延迟降到原来的 49%~79%。

来源:博客园 · cnblogs.com