跳转到内容

第 4 章 Prompt、模型调用与结果可信度

来自《AI Agent 学习》 · 原稿更新 2026-11-09 · 服务器只读阅读视图

4.1 Prompt 与业务规则

稳定的任务规则放 Prompt,实时业务数据按请求注入;权限、金额、业务状态这类能由程序确定的规则,不交给模型自由判断。

我踩过的坑

  • 2026-07-16 我问过:“预设问答来自业务接口,哪些内容应该留在代码里,哪些交给 Prompt 平台?”
  • 2026-08-03 讨论“提示词需要放在该放的地方”时,我才意识到 Schema 里的 description 也会被模型读到。

正确理解

  • 用户订单、数据库记录、实时配置属于 Runtime Context,按请求注入。
  • Few-shot 例子的价值在于定义易混淆的边界,不在于让 Prompt 变长,尤其适合放典型反例。
  • 代码负责获取和校验实时业务数据、处理异常、控制调用顺序;Prompt 平台适合管理可迭代的说明、措辞、输出约束和模板版本。 代码把本次真实数据传给固定版本的模板,而不是把业务数据库复制一份放进 Prompt。
  • Schema 的 description 也可能成为模型输入。 Schema 发给模型时,Field(description=...) 里的文字也参与理解,分类优先级、场景示例、“遇到什么就选什么”就不只是给程序员看的注释。字段描述适合解释含义、允许值和空值;需要频繁调整的分类指导,要和项目的 Prompt 版本一起管理。只有实际随请求发送的 Schema 才参与模型输入。
  • “配置化”不能把权限、字段校验、业务算术和状态规则也交给模型。

动手前检查

  • 把分类说明从 Schema 移走前,先确认目标 Prompt 已经承接这些规则。
  • 上线前确认模板版本存在、数据变量能正确填入,并在 Trace 中核对最终输入,避免只删了旧说明却没接上新位置。
  • 治理散落的提示词,先确认唯一源文件、实际加载入口和命名规则,再用独立工作树小范围迁移,跑一次真实业务请求。文件搬进统一目录不等于运行时改用了它,也不必一开始就引入复杂的版本平台。
来源

《需要学习的》,2026-08-03“Pydantic 字段描述里能不能写业务提示词”。保留模型输入与字段契约的区别,不将历史项目的 Prompt 平台要求推广为所有项目的统一规定。机制核对:Pydantic JSON Schema(2026-10-22)。

4.2 结构化输出

Schema 只保证输出有指定字段,不保证字段值正确:风险等级合法地返回 low,也可能判断错。

图解:“调用成功”要一层层核对

“调用成功”要一层层核对(概念示意)

读图: 上面一层通过,不代表下面一层也通过。Schema 合法仍可能判断错;错误要落到发生的那一层。

我踩过的坑

  • 2026-08-15 的单条真实对照:旧分类任务把一则推广书籍的信息误判为交易信号;同一条内容,带结构化输出约束时判错,去掉约束后判为噪声。这说明约束字段可能影响模型怎样完成判断,但只有一条案例,不能推出“Schema 一定降低推理质量”。模型、Prompt、采样和输出解析也都可能影响结果。

正确理解

  • 分开评估格式是否稳定可解析和语义是否判断正确。任务需要固定字段时,先明确类别和允许拒答,再用相同的有真值样本、尽量一致的条件,比较“原生 Schema / 受约束 JSON / 自由生成再解析”,同时统计误判和解析失败,不要凭一次结果移除全链路约束。

  • 验收至少分 HTTP 调用、结构解析、字段有效性、业务语义、下游实际消费 五层。业务错误不能都归咎于“模型效果差”。

  • 字段默认值不能掩盖条件缺失。 教学例:资讯分类为“产品发布”时必须有可核对的产品实体;模型省略实体字段后由解析器补成空数组,格式合法却违背业务条件。要表达分类与字段的允许组合,并在解析后校验;其他合法无实体类别仍允许为空,不能强迫模型凑一个实体。null → [] 只适用于两者已确认等价的兼容字段,不能普遍把缺证改成正常结果。

  • “启用 Schema”可能是不同调用方式。 原生约束参数、把完整 Schema 文字追加到 Prompt、仅要求 JSON,要分别取证。固定最终消息和实际 SDK 参数做对照,必要时拆成“原生参数有/无 × 文字有/无”;低温也可能有不同输出。某条路径错了,不能据此删除所有结构化约束。

历史依据:条件字段缺失 · 参数与文字对照 · 空正文与兼容空值。实验方法详见调用契约与重复实验。

  • 翻译后字符串没变,未必是翻译错。 代币符号、品牌、URL 和专有名词在多种语言里都可以保持原样;规定“译文等于原文即失败”,会让正确结果被反复重试。程序负责字段、索引、空值这些可以机械验证的条件;是不是目标语言、该不该翻译,要按业务语义验证。
  • 旧培训文档里也有用固定词长阈值导致大量误报的经历。用 LLM 判断语义可以补规则的盲区,但LLM 判断也需要人工校准和错误成本评估,不是所有约束都该交给模型。
  • 结构化结果解析失败,要先看原始 content、reasoning_tokens、output_tokens 和停止原因。案例见附录 A.4.1。
  • AI 富化在数据管线里的位置:ETL 先清洗、归一原始记录,AI 再按固定字段提取实体、总结事件、补充标签或候选影响。抓到“交易所上线 ABC”后识别出交易所、币种和事件类型,只是候选的结构化结果,必须保留新闻原文和字段证据,不能把模型推测当成已验证的投资事实。

展示、存储契约和字段保留分别验收(待学习)

枚举和允许组合尽量由同一份规则驱动提示词和程序校验。显示文字交给确定性模板,只有已存结构或解释语义改变时才考虑迁移。旧回归用例显式绑定旧规则和模板版本,避免默认值一改,旧行为就从测试里消失。

验分类和分析内容时,用一段容易辨认的中英文样例走真实出口,分别断言分类、原文、提前返回和缺值时的兜底。页面有一段默认文字,最多说明兜底生效。要追某字段是后来删掉还是从未接通,用历史版本核对行为,业务原因另看当时的需求记录。

展示与结构记录 · 字段保留记录

4.3 Provider、Route 与 SDK Adapter

Provider 提供模型,Route 负责主备模型选择,Adapter 统一不同厂商的 API 与异常。

我踩过的坑

  • 混淆过重试和模型切换,以为日志里出现第二次 Attempt 就是换了模型。
  • 2026-06-29 我把“生成到 max_tokens 上限而截断”和“输入上下文超限”串成一条恢复路径,还把 429 当成普通网络故障。

正确理解

情况 实际发生什么
HTTP 400 等模型调用错误 请求参数、能力或协议可能不符合要求,需查具体响应
Fallback 路由层按配置和错误类型尝试备用模型
Agent Retry 外层重新执行任务,不一定更换模型
  • 是否切换了模型,要核对实际 model_id 和错误类型。哪些 400 应该触发回退,要按具体路由实现验证。

  • 输出截断要核对停止原因和输出预算,在模型支持的范围内增加预算或受控续写;输入超限要清理或压缩历史,是另一个问题。

  • 429 通常表示限流,503 常见于服务暂不可用,可以考虑 Retry-After、退避和有限次重试。404 先核对路径和资源是否存在;能否暂时恢复要看接口语义,不是见到错误就自动重试或切模型。有没有切到备用模型,以实际调用记录为准。旧教材里的具体重试次数、Token 阈值和型号不是通用规则。

  • 简洁要求、推理档位、输出上限各管不同的事。 提示词要求短是软约束;推理档位调整模型的推理投入;最大输出 token 是 API 或适配器的硬限制。配置里有这个字段,不证明它被正确发给上游或被采用;要用当前实际请求和停止原因核对,不沿用历史型号的结论。

  • 模型身份、能力和速度分开验证。 记录 UI 展示名、provider、请求的模型 ID、响应里的模型标识和日期;模型自述不能当独立验证,一次慢响应也推断不出模型身份。延迟再拆成首字、生成、工具、重试、代理几段。

  • 切换模型前,确认上下文、Tool Calling、Schema、成本和最低能力都兼容。模型能力统一记在 Provider/Model 能力表里,避免业务代码到处写 if model == ...。不支持原生结构化输出不等于完全不能传 Schema;静态配置、动态配置和运行时探测怎样组合还待验证。

  • 动态 Schema 的真正约束在 API 契约。 目标语言每次可能不同时,开放的 dict[str,str] 没有声明哪些键必填,部分严格的结构化输出接口会拒绝这类 Schema。可以按本次请求生成明确的 properties、required 和 additionalProperties,同时核对 Provider 支持的 Schema 子集。格式有效之后,还要另外校验语言对不对、有没有漏段落。切到备用模型前要确认它支持同一套约束,不能假设 Fallback 会自动重建 Schema。

  • 界面档位、实际下发参数和供应商限制要分开验证。 切通道前保留同一请求的模型 ID、消息条数、参数、工具轨迹和响应证据。案例见附录 A.4.2。

  • 多个 provider 应各用独立的密钥变量,并分清“静态密钥”“执行命令取值”“变量引用”。案例见附录 A.4.3。

  • 单次模型超时、整条主备链、外层任务要分开预算。 主模型用满全部时间,备用模型就没有机会;SDK、框架、业务层重试叠加还会放大请求数。用同一执行的调用轨迹确认“已尝试回退”及“备用模型完成”,接口成功也可能只是进入默认回复。

  • 图片支持与图片可达分开。 本机能下载 URL,不证明供应商能下载。对同一素材区分应用下载、供应商拉图、发送的多模态请求和识别结果;先保留 HTTP/下载原始错误,再解析业务 JSON,避免把下载失败盖成解析失败。预下载、转存或改二进制发送各有代价,按实际链路决定。

历史依据:分层超时与错误归属 · 主备分类链验证 · 图片输入与接入验收。旧型号、秒数和测试比例均不作为当前配置建议。

  • 候选模型的概率不等于业务评分。 相关概率、重要度总分、校准置信度回答不同问题,不能因为都长得像数值就替换。决策模型适合候选分类,不会因此获得任意字段抽取、解释生成或确定性算术能力;按同任务真值重新校准。依据:决策模型适用边界。

  • 单次模型超时、整条主备链、外层任务要分开预算。 主模型用满全部时间,备用模型就没有机会;SDK、框架、业务层重试叠加还会放大请求数。用同一执行的调用轨迹确认“已尝试回退”及“备用模型完成”,接口成功也可能只是进入默认回复。

  • 图片支持与图片可达分开。 本机能下载 URL,不证明供应商能下载。对同一素材区分应用下载、供应商拉图、发送的多模态请求和识别结果;先保留 HTTP/下载原始错误,再解析业务 JSON,避免把下载失败盖成解析失败。预下载、转存或改二进制发送各有代价,按实际链路决定。

历史依据:分层超时与错误归属 · 主备分类链验证 · 图片输入与接入验收。旧型号、秒数和测试比例均不作为当前配置建议。

只有错误描述的记录,保留假设而不补结论

原故障只记录备用调用403及两个可能原因,没有实际调用路径、配置生效和上游返回的完整证据,不能由错误码断言选错供应商或余额不足。4.3已有分层排障方法,此处仅补未完成取证的回退故障原文,不补造修复结果。

4.4 Prompt 版本与线上版本

Latest 是最新候选,Production 是明确选定、供线上使用的版本;提示词改得好不好要靠回归证据。

我踩过的坑

  • 以为“Latest 是生产版本,只是变化更频繁”。
  • 明明写了语言规则,模型偶尔仍用另一种语言回复,我当时不知道从哪查。

正确理解

  • 上线前固定 Prompt、模型、参数和评测集,测试通过再切换生产引用;最终用实际版本或标签配置核对,不靠名称猜。

  • Diff 很大只说明改动多,不代表质量更好。先针对一个真实失败案例做最小修改,固定模型、参数、评测集和评分标准,对比新旧版本:目标问题有没有改善?原本正确的案例有没有退步?有证据支持,才考虑把候选版本推到生产。

  • 语言不对时,检查用户语言设置、实际模板版本、最终输入里业务资料和示例的位置,以及真实输出。目前没有跨模型实验证明“越靠后的文字影响一定越强”。

  • 排查异常时先分清是 Prompt、Context、Router、Tool、模型能力还是数据源出了问题,不要一失败就继续加规则。

  • 测试与生产选中同名模型,仍不等于请求一致。 测试入口应复用同一套路由规则,传齐任务类型、等级、实际图片和输出能力要求,再核对 Prompt 组合、Schema 方式、参数与解析。动态配置跟随最新版本适合当前一致性,历史对照还需冻结实际生效版本。

  • 字段抽取不对时,把 Prompt 白名单、Schema 枚举和正确答案一起对照。旧排查里出现过声称正确的类别不在自己列出的允许值里;不能只凭“一个入口稳定对、另一个稳定错”排除模型或提示词问题,也不能未取证就认定缓存覆写。

历史依据:测试入口与路由契约 · 字段抽取的未决假设 · 执行模式对齐后的剩余验收。

4.5 可信回答与证据

回答要能回到事实源;没有证据时允许回答不知道。“准备开发”不能被 AI 写成“已经上线”。

我踩过的坑

  • 内容可信度练习里,我以为把接口结果、聊天记录和旧讨论草稿都塞给 LLM,信息越多就越不会编;内容出错时第一反应是换更强的模型。

正确理解

  • 保留事实源、时间、引用片段和原文路径。AI 的二次总结不是唯一事实源,检索片段也必须符合权限。高风险判断继续依赖数据库、规则和明确的人类审核。
  • 先区分当前权威数据、历史事实、讨论中的计划和推测。练习中出现过把“打算做”的功能写成已存在,移除被污染的草稿后有所改善;但这只是当时的排查观察,不能推出所有幻觉都由输入导致。
  • 对准确性要求高的文章,可以由人先定大纲、事实来源和不许扩展的范围,让模型在范围内组织表达,而不是自由补充未经确认的产品事实。
来源

原始笔记:Prompt 工程 · LLM 内容可信度。

引用要绑到具体对象(待学习)

核对一条引用时,分别检查链接能否打开、内容能否支持这个判断、它指向的是否是同一个对象。同名对象容易拿错,优先用稳定 ID 对照原帖或元数据,再检查引用格式能否被下游程序消费。

同名对象案例

4.6 聊天模板

聊天模板把结构化的 system / user / assistant / tool 消息转换成模型能处理的特殊标记格式,不要自己把历史拼成一条文本。

我踩过的坑

  • 2026-08-24 我问过:“Chat Template 是什么,和 API 格式有关吗?”“换模型会不会打断思考?”

正确理解

  • 客户端通常提交结构化的角色消息。把所有历史拼成一条 user 文本,容易丢掉角色边界和工具调用结构。
  • 换模型时可以根据结构化消息重新构造输入,但旧模型的 KV 缓存、隐藏推理状态和工具协议不保证能原样迁移;这和“跨模型是否保留聊天历史”不是一回事。
  • 工具结果虽然有独立角色,内容仍可能不可信。 外部返回值只能当数据用,权限校验必须由程序完成。

4.7 Schema 也是模型实验条件(待学习)

Schema 的字段、枚举和描述可能参与生成。正文相同而 Schema 不同,不能称同一模型请求;结构完整、语义正确、重复一致分别统计。先保留原输出与解析状态,缺字段被拒收后转成空列表,不能当作模型判无结果。固定输入、模型、参数和提示词后重复,再只改变 Schema 做对照,不能从差异位于模型阶段直接认定根因。

来源与当时边界

原始记录 2026-10-29

4.8 模型、协议与档位都要查实际请求(待学习)

子代理默认模型仍可能被代理定义、调用参数或特殊代理规则覆盖;配置和自报身份不能证明上游模型。让代理真实读隔离样例,从调用轨迹核对工具、模型与返回。2026-10-29 的强制模型开关只作版本线索,不照搬未来版本。

定时任务也可能覆盖全局模型,交互路径能传加速参数不代表调度路径会传。分别核对协议、模型、service_tier 和用量,先小请求,再带工具完整任务与定时验收;当日联通不代表迁移完成。

来源与当时边界

原始记录 2026-10-29 · 原始记录 2026-10-30