Transformer 与自注意力机制：一台“全员检索”机器的说明书

本文把自注意力解释为发生在词与词之间的内部检索：每个词发出查询、与全句标签做点积打分、经缩放与 softmax 归一化后加权混合出新的表示。文章依次拆解了多头注意力、位置编码、因果遮罩与 Transformer 整机流水线，并指出注意力、RAG、预训练共享“相似度打分加加权取回”的同一数学内核，只在词级、文档级、互联网级三个尺度上运行。