跳转到内容

第 4 章 从模型原理到真实场景

来自《大模型基础学习》 · 原稿更新 2026-10-30 · 服务器只读阅读视图

4.1 长篇小说助手的三个问题

角色漂移、伏笔遗忘、句式重复,先查上下文和生成设置,不要一上来归咎于模型原理。

图解:先检查输入,再归因模型

先检查输入,再归因模型(概念示意)

读图: 这是原文小说练习题的排查图,不是生产故障截图。先确认模型真正看到什么,再考虑机制或能力不足。

我踩过的坑

  • 训练案例(不是线上故障): 小说写到第 5 章,侦探突然变得冲动;第 1 章的戒指伏笔被遗忘;段落开头反复出现相同句子。我最初的判断都偏向模型原理。

正确理解

现象 我的初步判断 正确排查方向
角色设定漂移 注意力出问题 先看人设是否进入当前 Context,是否被新剧情覆盖;必要时用角色卡和一致性检查
关键线索遗忘 自回归生成导致 检查线索是否还能被检索或放入上下文,按需要使用剧情摘要与结构化记忆
句式重复 温度太低 连同 Prompt、上下文重复模式、采样策略和结果检查一起排查

4.2 Token 估算与真实账单

本地工具的 Token 估算不等于服务商 API Usage,也不一定等于实付金额。

我踩过的坑

  • 一份旧 Wiki 用“界面约 2.5B Token”和 8 份同源历史文件的累计值做例子,提示可能存在恢复任务或重复统计。但当时没拿到账单对照,不能说已经证明真实账单无消耗或存在某个收费错误。

正确理解

  • CodexBar 等本地工具可能根据客户端历史任务文件、累计值和价格表做估算。
  • Token 用量和真实扣费是两种证据。历史单价缺失时,可以按明确的时段和假设费率重估,但必须标成“估算值”,不能当账单。

动手前检查

  • 数据离谱时按顺序查:计数对象是请求、会话还是恢复日志 → 同一文件是否被重复统计 → Input/Output、缓存读取/写入是否分开 → 真实服务商 Usage 与账单。
  • 保留时间窗、模型 ID、Provider、请求 ID 和采样记录,比只看一个大数字可靠。
  • 回填会话日志前先备份,并跳过仍在被进程追加的文件。
来源

旧 Wiki“本地估算与真实账单分离”。这是一份用量口径的解释,不是当前账户的实时消费报告。

4.3 Embedding 相似度与相邻类目

相似度分数接近 1,不代表相邻的业务类目能可靠区分。

我踩过的坑

  • 旧小样本里,商品类目 “Coffee Tables” 和 “End & Side Tables” 在向量空间都得到了较高的相似分数。详细数字见《AI Agent 学习》5.4。

正确理解

  • 更重要的是正确类和错误邻居之间的 margin(差距)、相邻类误分率、拒识率,以及同一向量模型在不同文本表示方法下的变化。
  • 如果模型对相邻类无法稳定区分,应该考虑结构化业务规则或人工复核,而不是调一个看上去好看的相似度阈值。

动手前检查

  • 先固定模型版本、输入清洗、向量归一化和相似度函数。
  • 再给成对的相邻类目建带人工正确答案的测试集,比较 top-1、top-k、margin、拒识和错误代价。
来源

旧 Wiki“embedding模型如何区分相邻类目”。原 BGE/nomic 结果来自有限样本,不代表对所有领域或语言都有效。