CS336 Assignment 1 训练组件：CrossEntropyLoss、SGD 与 AdamW 的实现

本笔记为「从零搭建 Transformer」的 CS336 作业补充训练所需基本模块，涵盖 CrossEntropyLoss、SGD 与 AdamW 优化器、梯度裁剪与学习率调度器。文中从信息熵出发推导交叉熵公式，并给出减去最大值防止 softmax 溢出的数值稳定写法及 PyTorch 代码。最后用这些模块完成模型的训练与推理验证。