跳到正文
博客园· 罗西的思考·· 10 天前AI 评分49

【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理(2)

【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理(2) - 罗西的思考

AI 导读

本篇为 KIMI K3 Attention Residuals(AttnRes)完整梳理的第二部分,逐层拆解打分核与伪查询、Full/Block AttnRes、AttnResState 状态机及 online-softmax 两阶段算法。

来源:博客园 · cnblogs.com