跳转到内容

第 3 章 预训练、下一个 Token 与生成

来自《大模型基础学习》 · 原稿更新 2026-10-30 · 服务器只读阅读视图

3.1 下一个 Token 预测

预训练的底层目标是预测下一个 Token,但模型的全部能力不能用一句“只是接词”概括。

图解:训练更新参数,推理使用参数

训练更新参数,推理使用参数(概念示意)

读图: 两条路径都进行预测计算,但训练包含参数更新。普通生成不是边回答边重新训练整个模型。

正确理解

  • 典型的自回归语言模型在预训练时,学习根据前面的 Token 预测下一个 Token 的概率分布,通过损失函数和反向传播更新参数。
  • 推理时用训练好的参数,逐步生成后续 Token。
  • 反向传播(AI 补充,待学习):先算预测和真实下一个 Token 之间的损失(常用交叉熵),再算出每个参数对损失的梯度,优化器按梯度更新参数。

3.2 压缩即预测

更好的概率预测通常也能让压缩更高效,但“预测、压缩、理解”不是严格相等。

我踩过的坑

正确理解

  • 语言模型的预测训练和概率编码确实有联系,这个类比可以帮助建立直觉。
  • 压缩率和预测损失不能代替事实正确性、推理能力和实际任务评估。

3.3 Temperature、Top-p 与重复生成

采样策略影响输出的稳定性和多样性,但重复和不确定性都不只是温度问题。

我踩过的坑

  • 旧笔记把 Temperature=0 仍有差异的原因简单归咎于“GPU 原子操作顺序不确定”,这是过度概括。

正确理解

  • Temperature 较低时选择通常更集中,较高时可能更发散;Top-p 限制采样的候选概率范围。
  • 重复不全是温度问题:Prompt、上下文里的重复模式、任务限制、模型本身和其他解码设置都可能有影响。
  • Temperature=0 也不保证每次 API 输出逐字相同。 即使贪心选 Token,推理服务的并发负载、动态 Batch、数值归约顺序和不同内核实现,仍可能带来微小差异,进而影响后续 Token。研究指出关键还包括计算是否对 Batch 大小保持数值不变。

动手前检查

  • 要求可复现时,固定模型、参数和运行环境,记录请求和推理后端版本,在相同条件下多次验证。
  • 不要只设固定随机种子就宣称 100% 确定性。
来源

Thinking Machines Lab:Defeating Nondeterminism in LLM Inference(2025-09-10)