跳转到内容

第 7 章 Agent 可观测性、评估与真实验收

来自《AI Agent 学习》 · 原稿更新 2026-11-09 · 服务器只读阅读视图

7.1 完整任务链路观测

观察的是一整条任务,而不只是模型请求:Trace 记录整条任务,Span/Observation 标记具体步骤,指标记录错误率、吞吐和延迟。

API → Router → Context → Model → Tool → 业务校验 → 持久化/返回

我踩过的坑

  • 遇到过“新 Prompt 不生效”,第一反应是 Prompt 写得有问题。实际原因见附录 A.7.1。

正确理解

  • LangChain 提供模型调用和 Callback 接口;LangGraph 偏流程编排;LangSmith、Langfuse 属于观测和评测工具,角色不同。

  • 只装了 SDK 包不等于已经上传 Trace。观测平台通常先选一个,避免重复采集和重复维护。

  • 相同模型不代表路由走对了。 如果几条策略恰好都配了同一个模型,选错规则和选对规则的最终输出可能一样;Trace 里要记录命中的策略、路由候选和实际模型。排障时同时看代码分支和真实请求,不能凭结果相似就断定新路由生效。记录时只保留必要的来源和标识,不要把敏感原文全部上传到观测平台。

  • 排查时先核对实际请求参数、匹配分支、快捷返回条件,再对照 Trace 的请求 ID 和时间窗口。观测平台最近 7 天搜不到,不代表历史请求从未执行;要检查观测的时间范围和采集字段,不能把“没搜到”当否定证据。

  • 任务运行、Agent 调查、业务输出与正式发送各有状态。 模型子 Span 是一次调用,Agent 的“已解决”仍可能只是候选,业务处理后的保留与过滤结果才是稳定输出;有可展示结果也不一定已经发送。页面对接稳定的业务节点与版本,别靠某家 SDK 的内部 Span 名取最终答案。

  • Worker 活跃数为零可能只是采样时任务刚结束;死信为零也可能是没有流量或没有采集。结合吞吐、外部积压、排队等待、处理时长、依赖与业务结果看,P95 要写清计时起止;少量告警次数缺分母不能算失败率。

历史依据:业务结果与观测层级 · 指标口径与采集缺口 · 字段不可见的证据边界 · 项目与时间窗口边界。

一次模型耗时要先写清起止点(待学习)

网页对照固定实际发送的完整输入,从发送前计到约定的完成标志首次出现,另记提取确认和业务回填时间。网页等待混合了连接、传输、服务和渲染,记录时用端到端口径。对实时建议还可以单独记录首个内容 token、第一条能定位并展示的完整建议和最终完成时间。用同样的样例分别测冷、热连接并多跑几轮,同时比输出质量,才能分清是连接复用改善,还是推理或输出规模变了。此前一次本机案例观察到连接复用后缩短,具体耗时还没有拆到 DNS、TLS 和服务端排队。

首字与可用建议耗时 · 网页计时边界

7.2 模型成功与业务失败

模型 HTTP 200、结构合法,业务仍可能失败;要在业务观察节点记录真实错误和原因。

图解:四层结果,四处证据

四层结果,四处证据(概念示意)

读图: 排障时逐层对照证据,而不是把所有错误都归到模型。模型返回成功,不会自动证明页面与数据库中的业务结果正确。

我踩过的坑

  • 模型 SDK 的自动追踪显示成功,业务层却解析失败或拿到不可用的值。还遇到过业务错误被统一记成 LLM ERROR,见附录 A.7.2。

正确理解

  • 记录模型 ID、Prompt 版本、路由策略、Token、耗时、错误层和真实业务标识;长输入要限制长度并脱敏,不把凭据存进 Trace。
  • 拆开调用 → 解析 → 业务判断 → 下游消费的观察边界。自动 Trace 不一定知道 except 捕获后返回的空结果是业务失败,要在相应的 Observation 里明确写出状态和原因,不能只打一条服务器日志。
  • 解析失败、空结果和业务判定要分开。 业务上“没查到对象”和技术上“模型输出缺字段、解析器失败”必须区分;原始模型响应、schema 校验异常、业务判定和最终页面各自保留状态。两个环境结果不一致时,先比较真实 Prompt、结构化输出开关和解析契约。

流程标志和字段证据各有自己的含义(待学习)

“已补全”可能只用来避免重复执行。验收时要沿同一次执行确认字段来自哪个阶段、什么时候采样、是否可用。某个对象的属性已确认,整个候选集合仍可能不完整。后置阶段补到的信息可以用来评价终态,前置规则当时看到的值仍需回到原阶段核对。

流程标志与采样证据

7.3 测试集设计

按任务准备正确答案、预期工具轨迹、失败类别和困难样本,而不是只看“平均回答好不好”。

我踩过的坑

  • 2026-07-06 的一道练习题,我当时回答“不会设计评测样例”。

正确理解

  • 分类任务看混淆情况,RAG 先看召回,Tool Calling 看实际参数和结果。
  • LLM Judge 能扩大评测规模,但自己也有偏差。重要样本仍要人工校准,并保留独立的关键回归集,不能让优化器提前看到所有答案。
  • 真实错误怎样变成测试集:先保留原输入、错误输出、预期正确结果、出错步骤、错误类别和触发条件,作为候选案例;真值经人工或确定性规则确认后,才进入正式回归集。可以生成信息缺失、别名、多对象等困难变体,但AI 不能既出题又自称答案是标准真值;诊断集和隐藏回归集要分开。
  • 以用户画像抽取为例,后来整理出五类最小对照:
情况 应当检查什么
明确而稳定的偏好 能写入,但不扩大用户原话
一次性情绪或玩笑 不进入长期画像
事实不确定 标记待确认,不当作已确认
旧偏好改变 保留来源与更新时间,避免新旧混为永久标签
容易过度推断 允许不写,而不是硬给出性格或偏好
  • 每次改画像 Prompt,都用同一组样例比较误写、漏写、过度推断和必要确认,不能凭“回答更像真人”就说优化成功。
  • 结构化输出影响判断的候选回归题:旧资料里“推广内容被误判为交易信号”是有价值的误判样本,但要补齐人工确认的正确标签、Prompt 版本、Schema、模型参数和两次输出原文,才能做可复现的 A/B。一次去掉 Schema 后判断正确,不能证明哪个方案长期更好。
  • 评估自动 Agent,要分清“整条管道连通”和“任务验收完成”。 任务评估记录要分别保留复现、执行、测试、审查和最终效果的证据,并让 RunHandoff 带齐实际改动的文件和 Git 提交信息。案例见附录 A.7.3。
  • 评测分歧先查标签,重试和回退单独统计。 模型和参考答案不一致时,先复核标签,把模型错、标注错和条件不足分开;记录每次 attempt、重试、备用模型回退和端到端耗时。候选失败后靠回退成功,不能算候选本身命中。
  • 比较两条模型网关“是否降智”,没有基线时只能测表现。 两条网关同一模型输出不同,只能说明当前表现有差异,不能宣称某一方“降智”。固定题集和采样参数,记录质量、失败和延迟;网关不提供 logprob 时,改用可以程序评分的生成任务,不硬套接口不支持的评测方法。

重复一致与判断正确分别统计(待学习)

同一输入重复运行,预先确定比较分类、对象集合还是动作,给对象排序和同义表达归一后再生成签名。单条一致性可用“出现最多的签名次数 ÷ 有效运行次数”,另报失败次数;一直答错也能 100% 一致。温度很低仍摇摆,只能证明该链路未完全重复,不能直接证明主因是某种语义边界。

重复案例可独立排队,保存原案例 ID 与重复序号,重试 attempt 单列,避免把每次尝试都算独立样本。人工答案还须区分明确空名单、缺记录和格式异常,写入人工接口的模型建议也不能自动变成金标。按类别与边界比较、保留未参与优化的样本,再谈稳定性或准确率提升。

依据:重复评测方案与未完成项 · 标准来源及空名单边界。详细实验检查见调用契约与重复实验。

需求审查可以先快扫候选,再只复核相互关联的少量原文,区分真冲突、历史版本和待确认,输出最小修改。基准集同时放真实问题与易误报反例;合成集全对也不等于真实文档覆盖完毕。历史依据:快扫与局部复核。

重复一致与判断正确分别统计(待学习)

同一输入重复运行,预先确定比较分类、对象集合还是动作,给对象排序和同义表达归一后再生成签名。单条一致性可用“出现最多的签名次数 ÷ 有效运行次数”,另报失败次数;一直答错也能 100% 一致。温度很低仍摇摆,只能证明该链路未完全重复,不能直接证明主因是某种语义边界。

重复案例可独立排队,保存原案例 ID 与重复序号,重试 attempt 单列,避免把每次尝试都算独立样本。人工答案还须区分明确空名单、缺记录和格式异常,写入人工接口的模型建议也不能自动变成金标。按类别与边界比较、保留未参与优化的样本,再谈稳定性或准确率提升。

依据:重复评测方案与未完成项 · 标准来源及空名单边界。详细实验检查见调用契约与重复实验。

先给评分器一道会误过的题(待学习)

有次糖果题评分只找答案里有没有独立出现的 21,错误结论也可能在解释里提到 21。用一份这样的错答案先测评分器,再检查最终结论、依据和工具使用限制。比较模型能力时固定实际模型与运行条件,留出多道未见题和同条件基线。单题绿灯只说明这一条检查被满足。

单题评分反例

至少成功一次与次次成功是两个指标(课程摘记,待学习)。课程用 Pass@k 表示同一任务尝试 k 次至少一次通过,用 Pass^k 表示 k 次都通过。若各次独立、单次成功率 p=0.6,尝试 5 次至少一次成功约 99.0%,五次全成功却约 7.8%。报告要写清尝试次数、是否筛选最好结果及失败是否计入;这个独立性假设不一定适用于真实连续业务。支付、部署等有副作用的操作不能为凑成绩直接重复执行,应在隔离或可回滚环境评估。

来源:书-AI Agent 实战营-第07章-Agent的评估。

7.4 复现与独立验收

任务真正完成要经过确认问题存在 → 执行者复现 → 修改 → 单测/集成 → 独立审查 → 真实产品验收。

我踩过的坑

  • Workbench 代码检查通过了,手机页面上仍有黑色遮挡,见附录 A.7.4。

正确理解

  • UI 问题必须在真实视口里截图和交互验证,Agent 要先自己走一遍用户会走的路径。
  • 任务状态要分别记录是否部署、是否验证、为什么阻塞。失败时保留输入、证据、已知原因和之后可以复测的案例。
  • 验收要覆盖真实路径。 页面显示了图片,只能确认 UI 收到了图片。要确认模型也收到了,需要从素材读取、传输、实际请求的 content 到答案逐层核对。配置联动也要真的切换一次配置,并记录还有哪些路径没测到。

固定回放要让程序读到当时的数据(待学习)

保存请求 JSON,之后就能重发同一个请求。保存 Trace,可以回看那次执行发生了什么。要做同条件对照,还得让被测逻辑实际读到当时的缓存、数据源和业务时间。先用这份现场复现旧版本,再让新旧版本读取同一份数据。缺了必需的记录,就把缺口记下来,留待补证。

举个例子。一次请求筛选库存至少 5 件的商品,商品 A 当时有 8 件,今天只剩 2 件。直接重发原请求,A 消失可能只是因为库存变了。如果切回历史数据,人工也确认 A 应该出现在最终结果里,回放仍然漏掉它,就可以判这次结果有误。要继续判断它是根本没被搜到,还是搜到了又被过滤,还得看当时的候选和过滤记录。想进一步试验某个可疑节点会不会影响结果,见 7.5「反事实回放」。

保存后另行回读(待学习)

把模型建议、程序允许的修改、实际保存的结果分开看。比如,只授权更新说明,模型同时建议改分类。程序只写说明,保存后再单独读取同一条记录,确认说明确实更新了,分类也还是原来的值。回读回答的是“实际改了什么”。模型的分类建议有没有道理,要另查业务依据。

评测回放材料 · 模型复核材料

正常入口、实际消费和同次证据(待学习)

准备回放时,先用正常入口核对案例标签、环境和版本是否符合可选条件。所需历史数据跟着实际分支走,例如前置过滤已经清空候选,后面的配置没有被读取,就应允许正常结束。保存回放记录时,以服务端核验并重建的对象作为写入值。对影响执行的标识或规则覆盖,测试拒绝冲突请求并确认没有写入。

业务执行结束后,证据可能还在异步入库。等待时按执行 ID 重读同一份记录,保留等待与确实缺失两种状态。要进一步判断对象在某阶段确实没有被找到,候选明细要能同这次执行唯一配对,保留项和落选项的计数与去重明细要闭合,并核对降级、截断或覆盖情况。证据不足时,已经能确认的终态错误可以照常记录,原因留待确认。

正常入口可选性 · 空候选的回放依赖 · 候选完整性 · 异步取证

评测现场与成对门槛(待学习)

  • 状态:做过 POC,流程能串起来(299 条真实案例、原版和候选版用同一评分程序对比),效果提升未证明。
  • 关键做法:优化集和验收集分开、隐藏测试集复评、评测环境和线上一致;评测结果反常时先核对实际请求,不信平台汇总数字。

结果正确和诊断正确分开评估;局部测试先隔离被改节点,再跑全流程回归。固定完整运行条件,测试副本不移动生产 Prompt 标签;调用失败、标准缺失和业务错误分别统计,详细见上文链接“结果评测、原因诊断与批量测试提效”。

再加一道成对门槛:误判减少的同时,原来正确保留的案例不能大量丢失。人工答案、运行版本和审核状态分别保存,防止重跑覆盖标准。

提示词自动优化:工具分工、闭环与验证

人工审查先让 AI 准备证据和差异,由程序校验后受控回填,再读回确认;分别记录复核耗时、采纳和纠错,不能只看模型多快。需求复审先验证问题与规则,再处理措辞。详细见AI 研发提效第七节。

只把成功返回当作保存证据还不够:超时或断连后先查执行记录和目标状态,不能为得到成功响应自动重发。可写字段清单、模型建议、人工审核来源和答案版本分别保存;旧回答不补造新字段,旧回归绑定旧配置。

复用时仍需核对的边界(待学习)

没有专用完整性字段时,计数闭合只能结合已核实实现版本、完整去重明细、无降级和无截断作有条件推导;同 Trace 多次运行还可能覆盖 metadata。数目恰好相等不能独立证明名单完整。

7.5 反事实回放

把 Trace 中某个可疑节点的输出换成人工确认的正确值,在尽量一致的条件下重跑;结果改善,说明该节点可能是原因之一。

正确理解

  • Trace 记录的是节点实际发生了什么。替换后仍然失败,就继续检查其他节点。
  • 状态:待验证的排障方法,不是已查明的线上根因。 重放时要控制模型随机性、外部数据变化和多个节点之间的相互影响,并保留替换证据。
  • 我的未解问题:怎样用最少次数的回放找到主要根因?
来源

原始笔记:AI 任务闭环与评估 · LLM 可观测。

录制范围与历史解释(待学习)

按本次实际读取区分“已固定”“已记录但未读取”“未记录且未覆盖”“缺失必需记录”。记录缓存命中、失败、超时和部分返回,多次调用不能按依赖名称合成一次。新规则新增查询时,旧现场可能不足;缺口单列,不填默认空值。旧证据不能被新版适配器静默重新解释,标准有效期以来源业务时点判断。模型重新推理与历史模型响应回放仍需分别评价。

详见评测回放材料;固定现场与最终结果/原因判定见 7.4,不在这里重复。

7.6 主动学习

只把可能改变结论的问题交给人。

我踩过的坑

  • 我问过:“AI 信息不够时可以问人,但如果每个不确定点都问,人工工作怎么会减少?”

正确理解

  • 优先问最可能影响最终决定、能排除重大错误方向、能补上高风险缺口的问题。多个模型意见冲突、关键证据缺失、同类失败反复出现时,适合请人确认;影响很小的表达偏好可以暂缓。
  • 不能只靠模型自报的“90% 把握”,还要看规则、历史误判和对照测试。
  • 当时还没弄懂的点:怎样计算“这个问题能改变多少最终结论”。这里保留为待实验的问题,不编造通用公式。

7.7 生产 Eval

终态合格之外,还要验证工具轨迹和副作用;评测要看实际动作,不能在输出里搜到关键词就算成功。

我踩过的坑

  • 旧 rpiv-todo 测试一度把“没有标 completed”算成模型失败,见附录 A.7.5。
  • 英语老师能回文字却始终不发语音,见附录 A.7.6。

正确理解

  • 从真实失败沉淀的一个评测案例,至少保存:用户输入或合成替代、必要的过程约束、最终可检查的断言、错误归因、修复前后的版本。
  • 结果可能通过多条合法的工具路径达成,所以“理想轨迹”要区分强制的安全要求和仅供排障的参考路径,不能把后者设成唯一正确的流程。
失败分层 应当回查什么
Router Error 输入为何选错业务分支
Schema Violation 参数哪里不合法、错误反馈能否引导合法修正
循环/停滞 目标断言、预算、重试次数与最终停止状态
业务处理失败 模型成功之后的解析、落库和回调
  • 评测报告至少注明模型、Prompt、工具 Schema、代码版本,保存运行的关键轨迹并脱敏。旧 Wiki 没给出固定样本量、通过率提升或 A/B 结果,所以这是一种待验证的方法,不是“已经证明 Eval 会降低错误率”。
  • 区分任务是正常结束还是被测试脚本杀掉。 记录 Skill 和工具的实际加载、调用、业务结果,以及 Abort/Timeout/Finish;回答里提到某个名称,不算真实执行。工具执行事件的实例见第 3.2 节。
  • 评测工具型 Agent 要核对真实 toolCall、toolResult、callId 和退出码。 同一个本地 Qwen 有时真的调了 bash,有时只回复一段命令,甚至编造 eth0,见附录 A.3.2。用无害的固定命令设“没调用但回答正确”“只提到 Skill 名称”的负例,分别统计调用成功率、虚报执行率,以及无法调用时诚实报失败的比例。
来源

10-wiki/personal/wiki/concepts/Agent-Eval生产化.md 与 ACI工具设计.md。

7.8 独立 Evaluator

让另一个模型验收能减少执行者自我肯定的偏差,但独立的 API 调用不等于独立的证据。

正确理解

  • 两个模型可能用了同样的错误资料、同样的评分提示和同样的错误假设。拆成两个 Agent 角色,也不是外部事实核验。
  • 最小实验:拿同一批人工标注的成功/失败样例,比较执行者自评、同模型二次调用、不同模型独立评估和确定性测试,至少量漏检、误报、与人工判断的一致率、修复后的真实成功率,以及额外的 Token 和延迟。
  • 加了 Evaluator 只是让回答更像评分标准,却没提高实际结果,就不该宣称自进化成功。
  • 高风险功能要用不可跳过的程序断言(权限、资金、数据归属、完整输出),模型 Judge 只补充语义判断。评估器下不了结论时要明确输出 Unknown,而不是被迫输出 pass。
来源

10-wiki/personal/wiki/queries/独立评估调用能否稳定降低Agent错误.md 与 如何为个人agent项目构建基础评估数据集.md。旧笔记提出评测方法,尚无证明“独立调用降低错误率”的正式对照结果。

7.9 规则流水线:分组、身份与未知状态

仅有现象、没有修复结论的历史反例:该记录不提供新根因,规则执行与最终结果的核对方法按本节已有内容,不将“未记录”补成“已解决”。

Top N 要先确定竞争范围,对象身份、发现来源、分组条件分别保存;检测结果区分通过、拒绝和未知,重试不能代替未知策略。Schema 校验成功也可能丢字段,要核对原始输出、解析结果和最终结果;召回范围、过滤资格、补查条件分别定义,不由一个布尔值暗中决定。

处理顺序还决定最终解释是否可信(待学习)

先按权威身份归一,再组内选择;归一和 Top N 交换顺序可能得到不同结果。后置规则改了最终动作,展示理由仍引用前一阶段动作,也会形成矛盾。能确定的文案从最终结构化字段生成,或在动作调整后同步更新,保留原阶段值用于排障。取证时同时保存内容归属、对象角色和事件类型;字段位于第一批数据里,不代表语义上属于第一层作者。

案例依据:归一与选择顺序 · 动作与派生理由 · 账号角色与内容归属。既有分组和未知策略详见下方材料,不重复业务阈值。

按入口对照例外,按最终出口验证汇总(待学习)

新增后置过滤前,先确认例外确实覆盖当前入口、输入和来源。通用说明、相邻入口和底层方法各有自己的作用范围。测试交叉覆盖豁免来源、普通来源和证据有无,既看该保留的对象仍在,也看原过滤与删除原因仍生效。

有的汇总策略会用一条通过结果覆盖另一条未知。如果产品要求冲突时暂缓,验证从原始响应的解析到汇总和最终输出。错误类型可能在数据校验阶段就被拒绝,单测一个汇总函数看不出前面会怎样处理。

后置规则与例外 · 入口适用范围 · 未知状态的最终判定

7.10 同条件回放要固定实际取值和执行身份(待学习)

接口联调先验请求、结果和过程关联;判断规则改善才要求新旧消费相同现场。输入快照、Trace 和真实回放分工见 7.4,这里补录制边界:缓存命中也要在公共取数入口记录实际用值,不能只录网络包,更不能包住被测过滤函数。

原文、上游分析和模式来自同次分析,标签只提供选题,不提供真值。先选定 search/final 的执行,再取后代依赖,不能按同名或时间近拼接。固定值到达节点不算成功,还要确认没有补查覆盖。实际触发的分支缺录就失败,改规则可能触发新分支。缺 output 是未知;仅正常结束且明确 returned_null 才还原成功空值,异常按结构字段重建。先用旧版复现,再对照候选版。

来源与当时边界

原始记录 2026-10-29 · 原始记录 2026-10-29 · 原始记录 2026-10-29 · 原始记录 2026-10-30 · 原始记录 2026-10-30 · 原始记录 回放埋点完整性要按实 · 原始记录 录制回放先选执行,缺

7.11 步骤判定用本步输入输出,终态另验(待学习)

后续规则删除了对象,不能倒推前一步错杀。评测本步要用本步输入、输出及人工标准,Trace 用于定位,不能自动充当正确答案。整条链的终态正确性另验;固定候选可测过滤,不等于测到搜索能力。

来源与当时边界

原始记录 2026-10-29

7.12 报告可判定覆盖率,规则合格也只证明局部(待学习)

执行成功、证据充分、业务正确和版本可比是不同维度。Unknown 不默认计对或计错;只统计可判定样本时,同时报覆盖率、单位和分母,共同可判子集仍可能有偏。补标注把未知变通过,不等于模型提升。

没有标准答案时可先测身份归一、缺证不得判错、重跑只计最新等明确约束。用少量人工确认的正确、错误、待确认样本检验平台,别把业务未知映射成全通过;规则满足不能代替真实业务答案。

来源与当时边界

原始记录 2026-10-29 · 原始记录 2026-10-29

7.13 集成上报后独立读取状态与证据(待学习)

上报器成功后还要独立读取平台保存值,逐项核对通过、失败、跳过。一次试验能读旧结果列表,却在新版详情接口遇 403:只能确认摘要,详情留未验证。业务待确认导出为 skipped 时保留原因且不算通过;执行异常与答案不符分别记录,不能都靠一个 failed 解释。

来源与当时边界

原始记录 2026-10-29

7.14 字段同名和默认值不能替代来源契约(待学习)

同名标签可能是二维数组、布尔对象,聚合口还可能不输出;沿路由、原响应、模型、转换和补查逐层检查。默认字段不是上游真实判断,共享模型不代表共享规则。

None、False、True 可能分别表示不执行、查已有、再外查,要沿调用链测三态,并区分未找到和找到后删空。补查为空、失败、明确否定分开;合并还是覆盖按权威、时效与撤销语义决定,不能抹掉已有证据,也不能把集合并集当万能答案。异常标签不应整批放行。

来源与当时边界

原始记录 同名标签字段也可能属 · 原始记录 补查为空,不应抹掉已 · 原始记录 结构模型的默认值,不 · 原始记录 可选布尔参数的三种状

7.15 来源分配、风险过滤与名额选择分别约束(待学习)

分类从噪声升级成信号后,应按当前有效阶段做检查;图片选择特例不自动豁免安全检查。风险合格与最终 Top N 分开,中途截断会先丢掉真正优先候选。排序估算另存,别覆盖安全判断的原值。

末端收紧匹配时,上游来源分配也要采用同一标准化;测试别名查询前后顺序互换。共享选择器的“只选一个”只限已确认入口,补来源为空、混合来源和未分组反例,避免抢走其他调用方名额。

来源与当时边界

原始记录 2026-11-02 · 原始记录 风险过滤和数量选择要 · 原始记录 收紧匹配规则时,也要 · 原始记录 共享选择器的新规则,

7.16 严格比例阈值先统一单位,再验十进制边界(待学习)

0.018 是 1.8%,15% 对应 0.15。先处理确实参与汇总的豁免明细,再判断剩余数量;缺值不能当零。排序值与安全原值分开保留。

严格大于还要测求和精度:从原字符串构造 Decimal,再测单值及合计的等号、略低和略高;别随意加容差放过真超限。Python 不同版本 sum 的表现另验,手写加法误差不能当新版 sum 的复现。

来源与当时边界

原始记录 百分比接口要统一单位 · 原始记录 严格阈值要同时验证单

7.17 豁免只跳过指定检查,回归要排除替代失败原因(待学习)

分支专属豁免不能提前放在公共入口。名单身份不等于满足额外排名条件;查询失败取消豁免后继续下游检查,不能直接判危险,同批充分证据不受连带影响。分别断言下游是否调用、通过与拒绝、最终删除原因和观测计数。

测一票否决时,把普通风险数压到阈值以下,逐个危险项、不同列表交叉测试,再让另一检测源返回安全,确认合并不盖掉否决;否则样本可能仅因数量够多而被删。

来源与当时边界

原始记录 分支专属豁免,不能在 · 原始记录 查询失败只取消豁免资 · 原始记录 一票否决的回归,要把