2500万参数字节级 Transformer：CPU 训练的结构与评估

本文用约 2500 万参数的 Llama 风格教学模型，在 CPU 上把字节输入、参数计数、前向检查、注意力变体、MoE 与后训练连成可检查链路。模型配置为词表 256、隐藏维度 512、7 层、8 头、FFN 中间维度 1632，权重共享后合计 25,026,048 个参数；文本以 UTF-8 字节直接作为 token ID，省词表但拉长序列，密集注意力成本随之上升。