跳到正文
博客园· 凪风sama·· 3 小时前AI 评分48

从零搭建 Transformer:CS336 作业 1 之 Linear 与 Embedding 层详解

从零搭建Transformer-CS336作业 - 凪风sama

AI 导读

凪风sama 的 CS336 作业 1 笔记从零讲解了 Transformer 中 Linear 层与 Embedding 层的原理与 PyTorch 实现:Linear 层以 Y = XW + b 对输入特征加权组合并实现升维或降维,Embedding 层则将 token 映射到可学习的向量空间。

来源:博客园 · cnblogs.com