第 1 章 Token、向量与位置信息
来自《大模型基础学习》 · 原稿更新 2026-10-30 · 服务器只读阅读视图
文字 → Token ID → Embedding + 位置信息 → Transformer1.1 Token
Token 是模型处理文字的基本单位,切分方式由 tokenizer 决定。
图解:文字到模型输入,中间经过什么
读图: 图展示处理层次,不给虚构的 Token ID。具体切分由 tokenizer 决定,后续网络还会结合上下文改变表示。
正确理解
- 文本先被 tokenizer 转成 Token ID。
- Token 不一定对应一个汉字,也不一定是一个完整的英文单词。
1.2 Embedding
Embedding 把 Token ID 映射成可以计算的数值向量。
正确理解
- 可以先把它理解成模型内部的表示。
- 它不是“某个词永远对应同一个最终语义”。后续 Transformer 层会结合上下文改变这个表示。
1.3 位置编码
模型需要位置信息,才能区分词的顺序。
正确理解
- “猫追狗”和“狗追猫”包含相似的词,关系却相反。没有位置信息,模型无法处理这种顺序差异。