扩散式模型单卡 RTX 5090 跑出 2788 tokens/s

海外本地模型社区在单张 RTX 5090 上把扩散式语言模型（dLLM）跑到 2,788 tokens/s。与逐 token 串行生成的自回归模型不同，扩散式模型可一次并行更新一批 token，这是其速度优势的来源。 该成绩来自受控测试，推理引擎、模型权重和部署工具仍处早期，短期内难以直接落地产品。报道将其视为“单卡实时生成”可行的证明，可作为日后做实时翻译、本地客服等即时功能时的判断信号。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。