第 4 章 Prompt、模型调用与结果可信度
4.1 Prompt 与业务规则
稳定的任务规则放 Prompt,实时业务数据按请求注入;权限、金额、业务状态这类能由程序确定的规则,不交给模型自由判断。
我踩过的坑
- 2026-07-16 我问过:“预设问答来自业务接口,哪些内容应该留在代码里,哪些交给 Prompt 平台?”
- 2026-08-03 讨论“提示词需要放在该放的地方”时,我才意识到 Schema 里的
description也会被模型读到。
正确理解
- 用户订单、数据库记录、实时配置属于 Runtime Context,按请求注入。
- Few-shot 例子的价值在于定义易混淆的边界,不在于让 Prompt 变长,尤其适合放典型反例。
- 代码负责获取和校验实时业务数据、处理异常、控制调用顺序;Prompt 平台适合管理可迭代的说明、措辞、输出约束和模板版本。 代码把本次真实数据传给固定版本的模板,而不是把业务数据库复制一份放进 Prompt。
- Schema 的
description也可能成为模型输入。 Schema 发给模型时,Field(description=...)里的文字也参与理解,分类优先级、场景示例、“遇到什么就选什么”就不只是给程序员看的注释。字段描述适合解释含义、允许值和空值;需要频繁调整的分类指导,要和项目的 Prompt 版本一起管理。只有实际随请求发送的 Schema 才参与模型输入。 - “配置化”不能把权限、字段校验、业务算术和状态规则也交给模型。
动手前检查
- 把分类说明从 Schema 移走前,先确认目标 Prompt 已经承接这些规则。
- 上线前确认模板版本存在、数据变量能正确填入,并在 Trace 中核对最终输入,避免只删了旧说明却没接上新位置。
- 治理散落的提示词,先确认唯一源文件、实际加载入口和命名规则,再用独立工作树小范围迁移,跑一次真实业务请求。文件搬进统一目录不等于运行时改用了它,也不必一开始就引入复杂的版本平台。
来源
《需要学习的》,2026-08-03“Pydantic 字段描述里能不能写业务提示词”。保留模型输入与字段契约的区别,不将历史项目的 Prompt 平台要求推广为所有项目的统一规定。机制核对:Pydantic JSON Schema(2026-10-22)。
4.2 结构化输出
Schema 只保证输出有指定字段,不保证字段值正确:风险等级合法地返回 low,也可能判断错。
图解:“调用成功”要一层层核对
读图: 上面一层通过,不代表下面一层也通过。Schema 合法仍可能判断错;错误要落到发生的那一层。
我踩过的坑
- 2026-08-15 的单条真实对照:旧分类任务把一则推广书籍的信息误判为交易信号;同一条内容,带结构化输出约束时判错,去掉约束后判为噪声。这说明约束字段可能影响模型怎样完成判断,但只有一条案例,不能推出“Schema 一定降低推理质量”。模型、Prompt、采样和输出解析也都可能影响结果。
正确理解
-
分开评估格式是否稳定可解析和语义是否判断正确。任务需要固定字段时,先明确类别和允许拒答,再用相同的有真值样本、尽量一致的条件,比较“原生 Schema / 受约束 JSON / 自由生成再解析”,同时统计误判和解析失败,不要凭一次结果移除全链路约束。
-
验收至少分 HTTP 调用、结构解析、字段有效性、业务语义、下游实际消费 五层。业务错误不能都归咎于“模型效果差”。
-
字段默认值不能掩盖条件缺失。 教学例:资讯分类为“产品发布”时必须有可核对的产品实体;模型省略实体字段后由解析器补成空数组,格式合法却违背业务条件。要表达分类与字段的允许组合,并在解析后校验;其他合法无实体类别仍允许为空,不能强迫模型凑一个实体。
null → []只适用于两者已确认等价的兼容字段,不能普遍把缺证改成正常结果。 -
“启用 Schema”可能是不同调用方式。 原生约束参数、把完整 Schema 文字追加到 Prompt、仅要求 JSON,要分别取证。固定最终消息和实际 SDK 参数做对照,必要时拆成“原生参数有/无 × 文字有/无”;低温也可能有不同输出。某条路径错了,不能据此删除所有结构化约束。
历史依据:条件字段缺失 · 参数与文字对照 · 空正文与兼容空值。实验方法详见调用契约与重复实验。
- 翻译后字符串没变,未必是翻译错。 代币符号、品牌、URL 和专有名词在多种语言里都可以保持原样;规定“译文等于原文即失败”,会让正确结果被反复重试。程序负责字段、索引、空值这些可以机械验证的条件;是不是目标语言、该不该翻译,要按业务语义验证。
- 旧培训文档里也有用固定词长阈值导致大量误报的经历。用 LLM 判断语义可以补规则的盲区,但LLM 判断也需要人工校准和错误成本评估,不是所有约束都该交给模型。
- 结构化结果解析失败,要先看原始 content、reasoning_tokens、output_tokens 和停止原因。案例见附录 A.4.1。
- AI 富化在数据管线里的位置:ETL 先清洗、归一原始记录,AI 再按固定字段提取实体、总结事件、补充标签或候选影响。抓到“交易所上线 ABC”后识别出交易所、币种和事件类型,只是候选的结构化结果,必须保留新闻原文和字段证据,不能把模型推测当成已验证的投资事实。
展示、存储契约和字段保留分别验收(待学习)
枚举和允许组合尽量由同一份规则驱动提示词和程序校验。显示文字交给确定性模板,只有已存结构或解释语义改变时才考虑迁移。旧回归用例显式绑定旧规则和模板版本,避免默认值一改,旧行为就从测试里消失。
验分类和分析内容时,用一段容易辨认的中英文样例走真实出口,分别断言分类、原文、提前返回和缺值时的兜底。页面有一段默认文字,最多说明兜底生效。要追某字段是后来删掉还是从未接通,用历史版本核对行为,业务原因另看当时的需求记录。
4.3 Provider、Route 与 SDK Adapter
Provider 提供模型,Route 负责主备模型选择,Adapter 统一不同厂商的 API 与异常。
我踩过的坑
- 混淆过重试和模型切换,以为日志里出现第二次 Attempt 就是换了模型。
- 2026-06-29 我把“生成到
max_tokens上限而截断”和“输入上下文超限”串成一条恢复路径,还把 429 当成普通网络故障。
正确理解
| 情况 | 实际发生什么 |
|---|---|
| HTTP 400 等模型调用错误 | 请求参数、能力或协议可能不符合要求,需查具体响应 |
| Fallback | 路由层按配置和错误类型尝试备用模型 |
| Agent Retry | 外层重新执行任务,不一定更换模型 |
-
是否切换了模型,要核对实际
model_id和错误类型。哪些 400 应该触发回退,要按具体路由实现验证。 -
输出截断要核对停止原因和输出预算,在模型支持的范围内增加预算或受控续写;输入超限要清理或压缩历史,是另一个问题。
-
429 通常表示限流,503 常见于服务暂不可用,可以考虑
Retry-After、退避和有限次重试。404 先核对路径和资源是否存在;能否暂时恢复要看接口语义,不是见到错误就自动重试或切模型。有没有切到备用模型,以实际调用记录为准。旧教材里的具体重试次数、Token 阈值和型号不是通用规则。 -
简洁要求、推理档位、输出上限各管不同的事。 提示词要求短是软约束;推理档位调整模型的推理投入;最大输出 token 是 API 或适配器的硬限制。配置里有这个字段,不证明它被正确发给上游或被采用;要用当前实际请求和停止原因核对,不沿用历史型号的结论。
-
模型身份、能力和速度分开验证。 记录 UI 展示名、provider、请求的模型 ID、响应里的模型标识和日期;模型自述不能当独立验证,一次慢响应也推断不出模型身份。延迟再拆成首字、生成、工具、重试、代理几段。
-
切换模型前,确认上下文、Tool Calling、Schema、成本和最低能力都兼容。模型能力统一记在 Provider/Model 能力表里,避免业务代码到处写
if model == ...。不支持原生结构化输出不等于完全不能传 Schema;静态配置、动态配置和运行时探测怎样组合还待验证。 -
动态 Schema 的真正约束在 API 契约。 目标语言每次可能不同时,开放的
dict[str,str]没有声明哪些键必填,部分严格的结构化输出接口会拒绝这类 Schema。可以按本次请求生成明确的properties、required和additionalProperties,同时核对 Provider 支持的 Schema 子集。格式有效之后,还要另外校验语言对不对、有没有漏段落。切到备用模型前要确认它支持同一套约束,不能假设 Fallback 会自动重建 Schema。 -
界面档位、实际下发参数和供应商限制要分开验证。 切通道前保留同一请求的模型 ID、消息条数、参数、工具轨迹和响应证据。案例见附录 A.4.2。
-
多个 provider 应各用独立的密钥变量,并分清“静态密钥”“执行命令取值”“变量引用”。案例见附录 A.4.3。
-
单次模型超时、整条主备链、外层任务要分开预算。 主模型用满全部时间,备用模型就没有机会;SDK、框架、业务层重试叠加还会放大请求数。用同一执行的调用轨迹确认“已尝试回退”及“备用模型完成”,接口成功也可能只是进入默认回复。
-
图片支持与图片可达分开。 本机能下载 URL,不证明供应商能下载。对同一素材区分应用下载、供应商拉图、发送的多模态请求和识别结果;先保留 HTTP/下载原始错误,再解析业务 JSON,避免把下载失败盖成解析失败。预下载、转存或改二进制发送各有代价,按实际链路决定。
历史依据:分层超时与错误归属 · 主备分类链验证 · 图片输入与接入验收。旧型号、秒数和测试比例均不作为当前配置建议。
-
候选模型的概率不等于业务评分。 相关概率、重要度总分、校准置信度回答不同问题,不能因为都长得像数值就替换。决策模型适合候选分类,不会因此获得任意字段抽取、解释生成或确定性算术能力;按同任务真值重新校准。依据:决策模型适用边界。
-
单次模型超时、整条主备链、外层任务要分开预算。 主模型用满全部时间,备用模型就没有机会;SDK、框架、业务层重试叠加还会放大请求数。用同一执行的调用轨迹确认“已尝试回退”及“备用模型完成”,接口成功也可能只是进入默认回复。
-
图片支持与图片可达分开。 本机能下载 URL,不证明供应商能下载。对同一素材区分应用下载、供应商拉图、发送的多模态请求和识别结果;先保留 HTTP/下载原始错误,再解析业务 JSON,避免把下载失败盖成解析失败。预下载、转存或改二进制发送各有代价,按实际链路决定。
历史依据:分层超时与错误归属 · 主备分类链验证 · 图片输入与接入验收。旧型号、秒数和测试比例均不作为当前配置建议。
只有错误描述的记录,保留假设而不补结论
原故障只记录备用调用403及两个可能原因,没有实际调用路径、配置生效和上游返回的完整证据,不能由错误码断言选错供应商或余额不足。4.3已有分层排障方法,此处仅补未完成取证的回退故障原文,不补造修复结果。
4.4 Prompt 版本与线上版本
Latest 是最新候选,Production 是明确选定、供线上使用的版本;提示词改得好不好要靠回归证据。
我踩过的坑
- 以为“Latest 是生产版本,只是变化更频繁”。
- 明明写了语言规则,模型偶尔仍用另一种语言回复,我当时不知道从哪查。
正确理解
-
上线前固定 Prompt、模型、参数和评测集,测试通过再切换生产引用;最终用实际版本或标签配置核对,不靠名称猜。
-
Diff 很大只说明改动多,不代表质量更好。先针对一个真实失败案例做最小修改,固定模型、参数、评测集和评分标准,对比新旧版本:目标问题有没有改善?原本正确的案例有没有退步?有证据支持,才考虑把候选版本推到生产。
-
语言不对时,检查用户语言设置、实际模板版本、最终输入里业务资料和示例的位置,以及真实输出。目前没有跨模型实验证明“越靠后的文字影响一定越强”。
-
排查异常时先分清是 Prompt、Context、Router、Tool、模型能力还是数据源出了问题,不要一失败就继续加规则。
-
测试与生产选中同名模型,仍不等于请求一致。 测试入口应复用同一套路由规则,传齐任务类型、等级、实际图片和输出能力要求,再核对 Prompt 组合、Schema 方式、参数与解析。动态配置跟随最新版本适合当前一致性,历史对照还需冻结实际生效版本。
-
字段抽取不对时,把 Prompt 白名单、Schema 枚举和正确答案一起对照。旧排查里出现过声称正确的类别不在自己列出的允许值里;不能只凭“一个入口稳定对、另一个稳定错”排除模型或提示词问题,也不能未取证就认定缓存覆写。
历史依据:测试入口与路由契约 · 字段抽取的未决假设 · 执行模式对齐后的剩余验收。
4.5 可信回答与证据
回答要能回到事实源;没有证据时允许回答不知道。“准备开发”不能被 AI 写成“已经上线”。
我踩过的坑
- 内容可信度练习里,我以为把接口结果、聊天记录和旧讨论草稿都塞给 LLM,信息越多就越不会编;内容出错时第一反应是换更强的模型。
正确理解
- 保留事实源、时间、引用片段和原文路径。AI 的二次总结不是唯一事实源,检索片段也必须符合权限。高风险判断继续依赖数据库、规则和明确的人类审核。
- 先区分当前权威数据、历史事实、讨论中的计划和推测。练习中出现过把“打算做”的功能写成已存在,移除被污染的草稿后有所改善;但这只是当时的排查观察,不能推出所有幻觉都由输入导致。
- 对准确性要求高的文章,可以由人先定大纲、事实来源和不许扩展的范围,让模型在范围内组织表达,而不是自由补充未经确认的产品事实。
引用要绑到具体对象(待学习)
核对一条引用时,分别检查链接能否打开、内容能否支持这个判断、它指向的是否是同一个对象。同名对象容易拿错,优先用稳定 ID 对照原帖或元数据,再检查引用格式能否被下游程序消费。
4.6 聊天模板
聊天模板把结构化的 system / user / assistant / tool 消息转换成模型能处理的特殊标记格式,不要自己把历史拼成一条文本。
我踩过的坑
- 2026-08-24 我问过:“Chat Template 是什么,和 API 格式有关吗?”“换模型会不会打断思考?”
正确理解
- 客户端通常提交结构化的角色消息。把所有历史拼成一条 user 文本,容易丢掉角色边界和工具调用结构。
- 换模型时可以根据结构化消息重新构造输入,但旧模型的 KV 缓存、隐藏推理状态和工具协议不保证能原样迁移;这和“跨模型是否保留聊天历史”不是一回事。
- 工具结果虽然有独立角色,内容仍可能不可信。 外部返回值只能当数据用,权限校验必须由程序完成。
4.7 Schema 也是模型实验条件(待学习)
Schema 的字段、枚举和描述可能参与生成。正文相同而 Schema 不同,不能称同一模型请求;结构完整、语义正确、重复一致分别统计。先保留原输出与解析状态,缺字段被拒收后转成空列表,不能当作模型判无结果。固定输入、模型、参数和提示词后重复,再只改变 Schema 做对照,不能从差异位于模型阶段直接认定根因。
来源与当时边界
4.8 模型、协议与档位都要查实际请求(待学习)
子代理默认模型仍可能被代理定义、调用参数或特殊代理规则覆盖;配置和自报身份不能证明上游模型。让代理真实读隔离样例,从调用轨迹核对工具、模型与返回。2026-10-29 的强制模型开关只作版本线索,不照搬未来版本。
定时任务也可能覆盖全局模型,交互路径能传加速参数不代表调度路径会传。分别核对协议、模型、service_tier 和用量,先小请求,再带工具完整任务与定时验收;当日联通不代表迁移完成。