专精 SLM 词表如何在真实应用中削减 77% 推理成本

Hugging Face 预览 VocabX 论文成果：围绕 token 成本而非频率专精词表，可在不改变基座模型的情况下将真实应用中的推理成本削减 77%。在基于 Qwen3-4B 的葡萄牙语作文自动批改系统中，该方法将输出层词表从约 152,000 行缩减至约 65,000 行，有效降低了内存带宽受限的解码开销。