跳转到内容

第 1 章 Token、向量与位置信息

来自《大模型基础学习》 · 原稿更新 2026-10-30 · 服务器只读阅读视图
文字 → Token ID → Embedding + 位置信息 → Transformer

1.1 Token

Token 是模型处理文字的基本单位,切分方式由 tokenizer 决定。

图解:文字到模型输入,中间经过什么

文字到模型输入,中间经过什么(概念示意)

读图: 图展示处理层次,不给虚构的 Token ID。具体切分由 tokenizer 决定,后续网络还会结合上下文改变表示。

正确理解

  • 文本先被 tokenizer 转成 Token ID。
  • Token 不一定对应一个汉字,也不一定是一个完整的英文单词。

1.2 Embedding

Embedding 把 Token ID 映射成可以计算的数值向量。

正确理解

  • 可以先把它理解成模型内部的表示。
  • 它不是“某个词永远对应同一个最终语义”。后续 Transformer 层会结合上下文改变这个表示。

1.3 位置编码

模型需要位置信息,才能区分词的顺序。

正确理解

  • “猫追狗”和“狗追猫”包含相似的词,关系却相反。没有位置信息,模型无法处理这种顺序差异。