跳转到内容

第 2 章 Attention、QKV 与 Transformer

来自《大模型基础学习》 · 原稿更新 2026-10-30 · 服务器只读阅读视图

2.1 自注意力(Self-Attention)

Attention 按位置之间的关联计算权重,再汇总相关信息。它是数值计算,不是人类式地判断“哪个词重要”。

正确理解

  • 对序列中的一个位置,Attention 根据其他位置与它的关联算出权重,再按权重汇总信息。
  • 例子:“猫趴在垫子上,它睡着了。”模型可能要利用上下文判断“它”指什么。具体结果来自学到的参数和上下文,不是写死的规则。

2.2 Q、K、V

Q 与 K 计算关联分数,softmax 得到注意力权重,再对 V 加权求和。

正确理解

  • Query(Q):当前位置在找什么信息。
  • Key(K):每个位置提供哪些可供匹配的特征。
  • Value(V):匹配后需要汇总的内容。
  • 这是向量运算,不是按关键词查字典。“会不会按最高权重的字输出”的疑问见 2.6。

2.3 Transformer 与训练

Transformer 是网络架构,不是训练算法。

正确理解

  • Self-Attention 是 Transformer 的核心部件之一。架构在训练和推理时都会用到。
  • 训练用数据和优化算法更新权重;推理用已有权重生成结果。
  • Transformer 有多种用法。许多生成式大语言模型主要用自回归的 Decoder-only 结构,但并非所有 Transformer 都是这种形态。
  • 多头注意力(AI 补充,待学习):并行做多组 Q、K、V,把结果拼接后再投影,让模型同时捕捉不同的关联。这只是直觉说法,不代表每个头都有人能读懂的含义。
  • 一层的组成(AI 补充,待学习):注意力之后接前馈网络(FFN),两处都带残差连接和层归一化(LayerNorm),让深层网络更容易训练。多层叠加后才输出预测。来源:Attention Is All You Need。

2.4 因果注意力

自回归生成模型用因果掩码,让每个位置只能看到自己和前面的位置。

我踩过的坑

  • 2026-08-24 读《深入理解 AI Agent》时我问过:“每个字只能和前面的字打分,不能偷看未来是什么意思?”

正确理解

  • 按顺序生成文字的模型里,第 1 个位置看不到后面,第 2 个位置只参考前两个,以此类推,所以注意力矩阵允许的位置呈下三角形。
  • 这是自回归生成模型使用的因果掩码,并非所有 Transformer 的注意力都只能看左边。

同一段前缀的注意力与键值缓存

2.5 KV 缓存与提示词缓存

KV 缓存在一次生成内复用旧位置的 Key、Value;提示词缓存在不同请求之间复用共同前缀。两者都不是缓存回答。

我踩过的坑

  • 我问过:“KV 有点像键值对吗?”“是不是只有 DeepSeek 才有 KV 缓存?”
  • 一次五分钟检索练习里,我把不缓存时的重复计算量说成类似指数增长。不缓存时是反复处理越来越长的前缀,并不等于计算量是 2 的 N 次方。

正确理解

  • KV 缓存保存模型各层对已有 Token 算过的 Key、Value 向量。自回归生成新 Token 时,不用每一步重算旧位置的 Key/Value,但新 Query 仍要和相应的 Key 算权重、汇总 Value。
  • 它不是编程里的字典,不是 DeepSeek 独有的功能,更不是把回答直接缓存下来。
  • 要分清两段工作:
    • Prefill(处理输入前缀):模型先处理已有上下文,建立相应的计算状态。
    • Decode(逐 Token 生成):复用旧前缀的 KV,计算新位置并继续生成。上下文越长,注意力计算和显存仍可能增加。
  • 复述时要分清 prefill、逐 token decode、缓存历史 K/V、算力与显存。可以沿 3 个输出 token 画一遍计算过程,再在明确的假设下核对复杂度,不把简化的“平方”直接当完整结论。
  • 提示词缓存在不同请求之间复用满足条件的共同前缀。能否命中、有没有费用优惠,要按服务提供方的具体规则核对;改了前缀或模型,缓存可能失效。“有 KV 缓存”不等于“跨请求一定省钱”。
  • 稳定前缀、动态内容与实际命中的工程检查,见《AI Agent 学习》8.4。

2.6 注意力权重与输出

Attention 按多个位置的权重混合 Value,不是挑分数最高的那个字直接输出。

我踩过的坑

  • 我问过:“第一个字的权重很高,会不会把回答带偏?Q 会按最高权重那个字输出吗?”

正确理解

  • 混合后的结果还要经过后续网络层。权重分布也会随上下文、层和注意力头变化。
  • 提示词里反复写“严禁”,不等于模型对它的注意力线性增加,更不保证遵守。关键约束要在任务说明中讲清,并用程序落实权限和结果验证。