跳到正文
博客园· 罗西的思考·· 5 天前AI 评分49

【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)

【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3) - 罗西的思考

AI 导读

本项目以全 CPU 方式轻量化复刻 KIMI K3 的 Multi-Token Prediction(MTP)训练层,并将其微调为 EAGLE-3 草稿模型用于投机解码。

来源:博客园 · cnblogs.com