博客园· 罗西的思考·· 5 天前AI 评分49
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3) - 罗西的思考
AI 导读
本项目以全 CPU 方式轻量化复刻 KIMI K3 的 Multi-Token Prediction(MTP)训练层,并将其微调为 EAGLE-3 草稿模型用于投机解码。
来源:博客园 · cnblogs.com