从零训练4B中文模型：词表开训前必须定死

作者在两张 RTX 4090 上从零训练面向中文用户的 4B 模型，指出词表一旦开训便与 embedding 锁死，更换等于重训，因此是开训前必须定死的决定。 最终词表以 OpenAI o200k 为基础构建，命名为 mgt-v1-o200k，embedding 共 201216 行，并为对话、思考、工具调用、FIM 和多模态预留了特殊 token。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。