博客园· 罗西的思考·· 10 天前AI 评分49
【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理(2)
【轻量化复刻大模型 / KIMI K3】Attention Residuals 完整梳理(2) - 罗西的思考
AI 导读
本篇为 KIMI K3 Attention Residuals(AttnRes)完整梳理的第二部分,逐层拆解打分核与伪查询、Full/Block AttnRes、AttnResState 状态机及 online-softmax 两阶段算法。
来源:博客园 · cnblogs.com