从零训大模型：词表是开训前必须定死的决定

作者在两张 RTX 4090 上从零训练面向中文用户的 4B 模型，指出词表一旦开训就与 embedding 锁死、更换等于重训。最终以 OpenAI o200k 为基础构建 mgt-v1-o200k 词表，embedding 共 201216 行，并为对话、思考、工具调用、FIM 和多模态预留特殊 token。