Transformer 架构解析 | 山风Blog

Transformer 架构解析

整条链路拆成四段走一遍：先把「国王他有个女儿」分词成四个 token，词嵌入叠上位置编码凑成 4×512 的矩阵；Q、K、V 由这个矩阵乘三个可学习参数得到，八个头各看一个视角，Mask 挡住还没生成的词；编码器靠残差连接与层归一化稳住梯度，FFN 把 512 放大到 2048 再压回来；解码器从 bos 起步，一次一个词，把输出接回输入循环。末页把全程收在一张图上。

拾遗/学习笔记Transformer / 注意力机制 / 自回归 / 课程笔记615 字4 分钟

615 字

4 分钟

Transformer 架构解析

2026-11-03

拾遗/学习笔记

/

注意力机制

/

/

Transformer 架构解析第 1 页

Transformer 架构解析第 2 页

Transformer 架构解析第 3 页

Transformer 架构解析第 4 页

Transformer 架构解析第 5 页

Transformer 架构解析第 6 页

Transformer 架构解析第 7 页

Transformer 架构解析第 8 页

Transformer 架构解析第 9 页

Transformer 架构解析第 10 页

Transformer 架构解析第 11 页

Transformer 架构解析第 12 页

Transformer 架构解析第 13 页

Transformer 架构解析第 14 页

Transformer 架构解析第 15 页

Transformer 架构解析第 16 页

Transformer 架构解析第 17 页

Transformer 架构解析第 18 页

Transformer 架构解析第 19 页

Transformer 架构解析第 20 页

Transformer 架构解析第 21 页

Transformer 架构解析第 22 页

Transformer 架构解析第 23 页

支持与分享

如果这篇文章对你有帮助，欢迎分享给更多人或打赏支持！