第 2 章 Attention、QKV 与 Transformer
来自《大模型基础学习》 · 原稿更新 2026-10-30 · 服务器只读阅读视图
2.1 自注意力(Self-Attention)
Attention 按位置之间的关联计算权重,再汇总相关信息。它是数值计算,不是人类式地判断“哪个词重要”。
正确理解
- 对序列中的一个位置,Attention 根据其他位置与它的关联算出权重,再按权重汇总信息。
- 例子:“猫趴在垫子上,它睡着了。”模型可能要利用上下文判断“它”指什么。具体结果来自学到的参数和上下文,不是写死的规则。
2.2 Q、K、V
Q 与 K 计算关联分数,softmax 得到注意力权重,再对 V 加权求和。
正确理解
- Query(Q):当前位置在找什么信息。
- Key(K):每个位置提供哪些可供匹配的特征。
- Value(V):匹配后需要汇总的内容。
- 这是向量运算,不是按关键词查字典。“会不会按最高权重的字输出”的疑问见 2.6。
2.3 Transformer 与训练
Transformer 是网络架构,不是训练算法。
正确理解
- Self-Attention 是 Transformer 的核心部件之一。架构在训练和推理时都会用到。
- 训练用数据和优化算法更新权重;推理用已有权重生成结果。
- Transformer 有多种用法。许多生成式大语言模型主要用自回归的 Decoder-only 结构,但并非所有 Transformer 都是这种形态。
- 多头注意力(AI 补充,待学习):并行做多组 Q、K、V,把结果拼接后再投影,让模型同时捕捉不同的关联。这只是直觉说法,不代表每个头都有人能读懂的含义。
- 一层的组成(AI 补充,待学习):注意力之后接前馈网络(FFN),两处都带残差连接和层归一化(LayerNorm),让深层网络更容易训练。多层叠加后才输出预测。来源:Attention Is All You Need。
2.4 因果注意力
自回归生成模型用因果掩码,让每个位置只能看到自己和前面的位置。
我踩过的坑
- 2026-08-24 读《深入理解 AI Agent》时我问过:“每个字只能和前面的字打分,不能偷看未来是什么意思?”
正确理解
- 按顺序生成文字的模型里,第 1 个位置看不到后面,第 2 个位置只参考前两个,以此类推,所以注意力矩阵允许的位置呈下三角形。
- 这是自回归生成模型使用的因果掩码,并非所有 Transformer 的注意力都只能看左边。
2.5 KV 缓存与提示词缓存
KV 缓存在一次生成内复用旧位置的 Key、Value;提示词缓存在不同请求之间复用共同前缀。两者都不是缓存回答。
我踩过的坑
- 我问过:“KV 有点像键值对吗?”“是不是只有 DeepSeek 才有 KV 缓存?”
- 一次五分钟检索练习里,我把不缓存时的重复计算量说成类似指数增长。不缓存时是反复处理越来越长的前缀,并不等于计算量是 2 的 N 次方。
正确理解
- KV 缓存保存模型各层对已有 Token 算过的 Key、Value 向量。自回归生成新 Token 时,不用每一步重算旧位置的 Key/Value,但新 Query 仍要和相应的 Key 算权重、汇总 Value。
- 它不是编程里的字典,不是 DeepSeek 独有的功能,更不是把回答直接缓存下来。
- 要分清两段工作:
- Prefill(处理输入前缀):模型先处理已有上下文,建立相应的计算状态。
- Decode(逐 Token 生成):复用旧前缀的 KV,计算新位置并继续生成。上下文越长,注意力计算和显存仍可能增加。
- 复述时要分清 prefill、逐 token decode、缓存历史 K/V、算力与显存。可以沿 3 个输出 token 画一遍计算过程,再在明确的假设下核对复杂度,不把简化的“平方”直接当完整结论。
- 提示词缓存在不同请求之间复用满足条件的共同前缀。能否命中、有没有费用优惠,要按服务提供方的具体规则核对;改了前缀或模型,缓存可能失效。“有 KV 缓存”不等于“跨请求一定省钱”。
- 稳定前缀、动态内容与实际命中的工程检查,见《AI Agent 学习》8.4。
2.6 注意力权重与输出
Attention 按多个位置的权重混合 Value,不是挑分数最高的那个字直接输出。
我踩过的坑
- 我问过:“第一个字的权重很高,会不会把回答带偏?Q 会按最高权重那个字输出吗?”
正确理解
- 混合后的结果还要经过后续网络层。权重分布也会随上下文、层和注意力头变化。
- 提示词里反复写“严禁”,不等于模型对它的注意力线性增加,更不保证遵守。关键约束要在任务说明中讲清,并用程序落实权限和结果验证。