掘金· 加宝的起点雷达·· 12 小时前AI 评分46
扩散式语言模型如何在单卡 RTX 5090 上跑出 2788 tokens/s
扩散语言模型跑出 2788 tokens/s,单卡就够,怎么做到的
AI 导读
海外本地模型社区在单张 RTX 5090 上把扩散式语言模型(dLLM)跑到 2,788 tokens/s,关键在于扩散式模型可一次并行更新一批 token,而非像自回归模型那样逐 token 串行生成。该速度来自受控测试,推理引擎、模型权重和部署工具仍处早期,短期内难以直接落地产品。它证明"单卡实时生成"这条路可行,可作为日后做实时翻译、本地客服等即时功能时的判断信号。
来源:掘金 · juejin.cn