第 4 章 从模型原理到真实场景
来自《大模型基础学习》 · 原稿更新 2026-10-30 · 服务器只读阅读视图
4.1 长篇小说助手的三个问题
角色漂移、伏笔遗忘、句式重复,先查上下文和生成设置,不要一上来归咎于模型原理。
图解:先检查输入,再归因模型
读图: 这是原文小说练习题的排查图,不是生产故障截图。先确认模型真正看到什么,再考虑机制或能力不足。
我踩过的坑
- 训练案例(不是线上故障): 小说写到第 5 章,侦探突然变得冲动;第 1 章的戒指伏笔被遗忘;段落开头反复出现相同句子。我最初的判断都偏向模型原理。
正确理解
| 现象 | 我的初步判断 | 正确排查方向 |
|---|---|---|
| 角色设定漂移 | 注意力出问题 | 先看人设是否进入当前 Context,是否被新剧情覆盖;必要时用角色卡和一致性检查 |
| 关键线索遗忘 | 自回归生成导致 | 检查线索是否还能被检索或放入上下文,按需要使用剧情摘要与结构化记忆 |
| 句式重复 | 温度太低 | 连同 Prompt、上下文重复模式、采样策略和结果检查一起排查 |
- 这里只讨论模型生成和上下文的关系;RAG 和 Memory 的实现见《AI Agent 学习》。
4.2 Token 估算与真实账单
本地工具的 Token 估算不等于服务商 API Usage,也不一定等于实付金额。
我踩过的坑
- 一份旧 Wiki 用“界面约 2.5B Token”和 8 份同源历史文件的累计值做例子,提示可能存在恢复任务或重复统计。但当时没拿到账单对照,不能说已经证明真实账单无消耗或存在某个收费错误。
正确理解
- CodexBar 等本地工具可能根据客户端历史任务文件、累计值和价格表做估算。
- Token 用量和真实扣费是两种证据。历史单价缺失时,可以按明确的时段和假设费率重估,但必须标成“估算值”,不能当账单。
动手前检查
- 数据离谱时按顺序查:计数对象是请求、会话还是恢复日志 → 同一文件是否被重复统计 → Input/Output、缓存读取/写入是否分开 → 真实服务商 Usage 与账单。
- 保留时间窗、模型 ID、Provider、请求 ID 和采样记录,比只看一个大数字可靠。
- 回填会话日志前先备份,并跳过仍在被进程追加的文件。
来源
旧 Wiki“本地估算与真实账单分离”。这是一份用量口径的解释,不是当前账户的实时消费报告。
4.3 Embedding 相似度与相邻类目
相似度分数接近 1,不代表相邻的业务类目能可靠区分。
我踩过的坑
- 旧小样本里,商品类目 “Coffee Tables” 和 “End & Side Tables” 在向量空间都得到了较高的相似分数。详细数字见《AI Agent 学习》5.4。
正确理解
- 更重要的是正确类和错误邻居之间的 margin(差距)、相邻类误分率、拒识率,以及同一向量模型在不同文本表示方法下的变化。
- 如果模型对相邻类无法稳定区分,应该考虑结构化业务规则或人工复核,而不是调一个看上去好看的相似度阈值。
动手前检查
- 先固定模型版本、输入清洗、向量归一化和相似度函数。
- 再给成对的相邻类目建带人工正确答案的测试集,比较 top-1、top-k、margin、拒识和错误代价。
来源
旧 Wiki“embedding模型如何区分相邻类目”。原 BGE/nomic 结果来自有限样本,不代表对所有领域或语言都有效。