CS336 作业一：交叉熵、SGD 与 AdamW 实现
热点事件持续更新
CS336 作业一：交叉熵、SGD 与 AdamW 实现
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
博客园作者发布「从零搭建 Transformer」的 CS336 作业一补充笔记，实现 CrossEntropyLoss、SGD 与 AdamW 优化器、梯度裁剪和学习率调度器等训练模块。 笔记从信息熵出发推导交叉熵公式，给出减去最大值防止 softmax 溢出的数值稳定写法及 PyTorch 代码，最后用这些模块完成模型的训练与推理验证。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 19:20
CS336 Assignment 1 训练组件：CrossEntropyLoss、SGD 与 AdamW 的实现报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- 博客园CS336 Assignment 1 训练组件：CrossEntropyLoss、SGD 与 AdamW 的实现
本笔记为「从零搭建 Transformer」的 CS336 作业补充训练所需基本模块，涵盖 CrossEntropyLoss、SGD 与 AdamW 优化器、梯度裁剪与学习率调度器。文中从信息熵出发推导交叉熵公式，并给出减去最大值防止 softmax 溢出的数值稳定写法及 PyTorch 代码。最后用这些模块完成模型的训练与推理验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。