从语料到词表：学习大模型分词器的训练

文章讲解大模型分词器如何从语料中训练出来，并用 Hugging Face tokenizers 库的 BpeTrainer 亲手训练了一个 BPE 分词器。词表和合并规则由 BPE 算法从语料统计中学习，词表同时决定模型 embedding 层和输出层的大小。