Hugging Face预览VocabX：词表专精降推理成本77%

Hugging Face（Dharma-AI）预览了即将发表的 VocabX 论文部分成果：按每个 token 的成本而非频率专精词表，在不改变基座模型的情况下，将真实应用中实测的推理成本削减 77%。 实验基于 Qwen3-4B 的葡萄牙语作文自动批改系统，方法将输出层词表从约 152,000 行缩减至约 65,000 行，以降低内存带宽受限下的解码开销。 作者说明，文中数字来自仍在审稿的论文当前版本，正式发表前可能变动；完整方法、全部实验数据表及被放弃的干预方案将在后续发布的论文中给出。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。