第 2 章 Agent 与模型选型
2.1 openGym:借能力,不急着合并完整 App
2026-10-10 判断:openGym 有动作库、训练计时、RIR/RPE、部位疲劳和 API/MCP;但 Workbench 已有 workout/body 和 WebDAV 数据真源。整套合入可能重写前端、增加第二套数据。
先独立体验一周真实训练,再决定是否只接 API/MCP 或借鉴统计与交互。动作媒体及 AGPL 等授权须按具体使用方式核对,不能直接复制或断言许可后果。
2.2 跨 Agent 记忆:先验证现有交接的缺口
一份本机 PoC 验证 ai-memory 可以跨 Agent 检索和保存任务交接,但无外部模型的自动交接不够细,和现有 task-handoff、session-distillation、Obsidian、知识库和 Skills 重叠。2026-08-19 的决定是暂不接入,不是说这个项目没有用。若真实工作连续出现“Agent 交接丢测试结果、项目状态重复问”的问题,才值得再试一周,重新对比新服务带来的收益与长期维护。
一手项目入口:ai-memory 仓库 · 当时参考 v1.28.1。本机 PoC 结果还要回下方原始调研记录,并不能由 GitHub README 代为证明。
来源:跨 Agent 记忆实测。
2.3 Skill、Harness 与可视化管理按缺口接
2026-09-16 的技能对比和 DeepSeek Harness 调研建议不整套安装;先用少量真实任务比较新能力有无帮助。
Skills 管理还有一个具体需求:“我能看到我也能改”。 我希望文件集中到 agent-skills,AI 容易修改,我也能在个人工作台查看、编辑并同步。借鉴 Langfuse 的是可查看、可编辑、可比较版本的体验。
旧方案让 Git 仓库保留正文与历史,工作台提供目录、Markdown 编辑、版本差异和修改提案,再将改动回到同一仓库,避免另存一套互不一致的正文。这仍是方案,尚不能写成所有 Agent 与工作台已经双向同步;谁能改哪些文件、发生冲突怎样处理也还要明确。
来源:《需要学习的》“个人 Agent Skills 能否像 Langfuse 一样集中管理”。这是用户需求和候选设计,未据此新增平台能力或修改权限。
-
先停用可选技能是取舍,不能据此证明它无用:停用某个可选 Skill 是基于现阶段收益和维护成本的决策,不等于它本身无用。要验证性能因果,必须同模型、同任务、同参数做多轮启用/停用对照,不能因为同时改了很多设置就归因于 Skill。
-
低使用不等于冗余,删除前要查独有职责和发现入口:Skill 很少被触发,可能是入口说明不可发现,也可能承担独有输出格式。删除前查独有职责、调用方、替代方案与真实常驻成本;调用数低不应直接等价为可删除。
-
学习技能与操作技能不能只看“文件存在”:既要命中率,也要真实调用计数:Skill 是否有效要分开统计“发现/加载”“路由选中”“真实执行成功”,仅显示文件或在模型回复中提到名称都不算调用。用固定触发语句测命中、漏命中和上下文开销,决定改描述、路由还是合并。
常驻 Agent 按持续职责来选(待学习)
先说明它会持续负责什么,再比较事件从哪里来、何时建任务、由谁执行、重启怎么接着做、哪些动作要批准、什么时候值得打扰人。开源编排层可以调度现有 CLI 或工具,模型能力、额度和外部费用仍需单列。名字相近的插件也要核对是管理 Worker,还是给 AI 角色做手机交互。
最小试验可以用空仓库里一条安全的失败 CI 或 Issue,观察事件是否只触发一次、能否按规则建任务、执行后是否留下可核对的结果,以及重启能否恢复。记录误触发、人工介入、任务成功率和成本。现有笔记来自源码和说明,真实使用效果待实测。
常驻 Agent 职责对照 · 同名社区插件 · 开源编排与模型能力
2.4 第三方 AI Skill 库:借验证机制,不复制 129 份规则
bigpowers 的技能调研得到类似取舍:不要把别人的整个规范目录和状态 YAML 搬过来,只抽取依赖少、能够单独验证的具体技能。
曾经下载过一个 bigpowers 技能库快照:81 份 Skill 主文件 + 48 份补充参考文档,共 129 份 Markdown。这些文件全部来自第三方,不应该直接当成你的 129 个独立学习成果,也不应复制进个人主书;要保留原始路径、SHA 和作者仓库,防止后来读到不同版本时混淆。
最值得借的是三件事:plan-work 的每一步写明可运行验收;develop-tdd 的“一次一个行为”纵向测试;verify-work 的构建/测试/真实用户操作三层证据。这里不直接采纳其全部流程角色、固定模型配置、清理命令或“所有任务无例外”的门禁,因为具体仓库状态、授权范围和工作复杂度可能不同。
真正决定要不要接一项 Skill,应拿一个当前自己确实遇到的失败任务,对照“没有 Skill”与“有 Skill”的成功率、误改次数、调用成本和验收时间。宣传称自动化能提高质量不是自己的实验结论,快照只提供对比候选。
来源:bigpowers GitHub · 本地历史原文清单(未核对在线仓库的最新版本)。
补充回查:bigpowers Skill 目录 · bigpowers 技能比较。
2.5 Shadow Running 验证是否值回额外的模型账单
给高成本 Agent 换模型或 Prompt 时,复制 100% 真实流量做影子运行可能把评测成本放大一倍甚至更多,且影子调用不能对真实用户产生重复副作用。比“影子运行就是最安全”更合理的是按风险决定验证规模。
先把真实流量分层(高风险业务、长上下文、工具多轮、普通短问答),对低风险部分做离线/合成回放,对关键高风险路径做受控影子运行并禁用外部写动作;比较错误检出率、覆盖的场景、额外 Token/价格、P95 时延以及是否能真正发现新问题。预算不足时先加覆盖最差的代表性案例,不必机械抽 100% 流量。
影子结果一致也不证明生产可以直接替换:要核对真实模型路由、权限、外部数据和回调契约;当前调研没有给出实际 ROI 或合适的抽样比例,这些应该在 PoC 之后决定。
来源:10-wiki/personal/wiki/queries/如何平衡高成本ai-agent影子运行的验证需求与模型调用成本.md。仅为调研方法,不代表个人 Research 已有长期影子运行。
2.6 Jev:封闭选项判断
旧记录里的 Jev 用于技能路由和搜索结果筛选,输出 Choice/Score/Boolean 等结构化判断。它偏向有封闭候选的分类/评分判断;用它代替浏览器操作或复杂开放式推理并不合适。概率不等于执行权限,低置信度应弃权或升级;算术与权限仍归程序。
2026-09-20 比较过 24 条一起判断和分批结果,当时使用 12 条/批折中;这不是普适最优。
比较 Jev 筛选效果,要先固定输入池,再区分打分、过滤、排序和截断。 2026-09-20 的一次个人 Research 验证,两轮各展示 10 条,表面看有 4 条被剔除;核对才发现,两轮都从 20 条池中取结果,差异混入了排序和截断。Agent记忆实战(rel=1.69、keep=0.81)和 MRAgent(rel=1.62、keep=0.70)都过了阈值,不能因为没出现在最终列表就算“被模型过滤”。改成对同一批输入逐条打分、按代码规则复算,10 条里实际只剔除 1 条。
随后相同输入重复了 3 次,rel/keep 浮动不超过 0.04,只能说明这 3 次观察的波动小;原记录自己也指出低于当时仓库要求的 10 次采样,不能据此宣称模型普遍稳定。端到端 A/B 可以看整体结果,但若要解释“究竟是哪一步改善了”,就必须保留中间分数和进入各步骤的同一批样本。
来源:旧库 90-归档/20-个人/20-草稿箱/AI规范优化收件箱-20260923-最终封存.md 第 836—840 行;这是历史小样本,不是当前 Jev 的准确率或稳定性结论。
回查:Jev 相关搜索扩展(不是 Jev 产品主仓库) · Jev 工作流适配。
2.7 提示词自动优化:在已有工具上补一层,不换平台
- 要解决的:人看错误案例、猜原因、改提示词、再手测,慢而且容易把别的案例改坏。
- 分工:Langfuse 管提示词版本和 Trace,Braintrust 管评分和基线,优化算法先试独立 GEPA;Opik 是第二轮候选(实验管理 + 优化器齐全,但不懂私有数据)。私有数据接入、节点归因、问答、人工审批要自己做。
- 不选:LangSmith、Promptfoo、MLflow、Evidently 和已有工具重复;Agent-lightning 偏训练;EvoAgentX 太底层,等多节点优化时再看。
- 详细:提示词自动优化:工具分工、闭环与验证
2.8 自进化:可借的是机制,不是框架
行业方案都是“案例 → 打分 → 分析失败 → 生成候选 → 新旧对比”,不是壁垒。值得借的是细节:按节点定位错误并用“替换正确答案重跑”验证、保存失败方向、经验分层和遗忘、不同任务分开进化、稳定步骤固化成工具、改代码的 Agent 不能给自己打分。壁垒在长期积累的真实案例和测试集。
2.9 Agent 框架与评测:先看流程跨不跨服务
- 业务流程里夹 AI、走消息队列:自研 DAG;纯 AI 流程在单体里:LangGraph。N8N 只适合验证和小工具。
- 观测平台按真实 Trace 量和保留天数算钱(当时 LangSmith 约是自部署 Langfuse 的两倍多)。评测工具的价值是“改了一个案例,能确认旧案例没坏”。
- 厂商 Agent 平台多数还早,先算绑定成本。
- 详细:Agent 框架、编排与评测平台
2.10 模型选择:单价 × 实际用量 + 工具费
- 新版本单价不变也可能贵一倍(token 用量翻倍);按任务形态选,长任务、编码类才值得换。带搜索的链路还要算工具费。
- 3B 小模型用几千条数据微调,能超过不少大模型 API;但评测集“谁出的题”会带偏差。
- 提示词把执行规则放末尾,耗时平均省约 18%(只测了速度)。
- 详细:模型选择:真实成本、微调与提示词结构
模型网关也要按目标能力复测:Cloudflare AI Gateway 不等于 Workers AI,Portkey 本身是网关;自托管路由不等于有独立模型供给。历史厂商排名和短请求首字节耗时不能代替业务实测,详细见网关选型与容灾调研的 2026-11-04 补查。
服务、框架和协议组件分开算(待学习)
一个供应方可能同时提供按量计费的搜索服务、可自部署的推理框架和开放的请求协议组件。评估时先认清每项能力解决哪一段,再用同一个小任务比结果质量、耗时和实际费用。把集群产量乘标价得到的是给定假设下的收入估算,实际利用率、成交价格和成本都还要分别核对。
网关选型按证据升级,不继承最早的推荐表
2026-09至10月旧记录包含“公开政策 → 指定模型目录 → 性能/状态页 → 目标地区付费调用”的多轮筛选。早期推荐的平台后来出现慢请求而退出;最初“大概率受限”的另一个平台在后续调用中成为备选。保留演变过程,不能把两张不同时间、不同证据层级的表拼成当前结论。
本轮只保留方法:官网可达、账户可用、模型ID存在、实际调用成功和连续稳定是不同证据。目录未检索到记为未确认;近似名称和图像变体不冒充指定文本模型;公共状态页也不证明目标账户、模型和地区的可用性。历史中AIHubMix与Vercel曾被列为备用,这是当时记录,本轮未重测,也不是今天的采购建议。具体计时口径见本节前后的网关实测补充。
公开评测只作换模型假设。 2026-09-24 的 Grok 4.6/4.7 比较没有本链路 A/B;high/xhigh 的 token、费用和指数也不能当同档比较。旧估算只能说明工具费占比会影响涨幅,升级前仍要测准确性、总耗时和超时率。网关短问答用 curl time_starttransfer 测的是 HTTP 首字节,不保证是第一个可见模型 token,更不能代表长上下文或工具调用。见历史数字与测试边界。
2.11 Agent 节点:固定流程兜大多数,Agent 只处理疑难
- 不把系统换成通用 Agent。DAG 先跑;没闭环且评分达标,才触发一个限时、限预算、工具白名单由系统决定的 Agent 节点,结果回到校验和过滤再输出。
- 评分器和 DAG 并行跑,但是否触发 Agent 等 DAG 结果——兼顾速度和成本。
- 自进化放到生产外面:记录完整轨迹,用外部 Agent 离线生成候选,评测和人工审核后再上线。
- 托管运行时(OpenAI Agents API、Astra 等)都没接:数据出境、模型锁定、擅长长任务而我们是单轮节点、改造量大。
- 详细:Agent 节点设计与运行时选型
2.12 模型降本与评测集:先关能力,再分级,再换模型
- 模型被迫涨价时:关掉不用的内置搜索和视频理解、限制工具调用次数、调低推理档;按数据重要程度分配模型,每个配 fallback。
- 评测集分“当前版本验证集 + 历史回归测试集”,带版本命名,上线后合并。
- 能用指标表达的预测先试 LightGBM / CatBoost,同时看命中率和找回率。
- 详细:模型降本、分级路由与评测集版本管理
2.13 多语言、去重、AI 记忆与复盘
多语言按内容价值和用户规模分阶段加;6.7 去重键与不确定状态;AI 记忆按“每日全局 / 增量画像 / 7 天滚动”分三层;5.3 复盘要记失败和为什么。
2.14 规则流水线:先定分组和未知状态,再验收最终结果
2.15 订阅、API 余额、重置卡和限速分别核算(待学习)
API credit 抵扣组织接口费用,订阅聊天及登录态 Codex 额度另算;RPM/TPM 限并发速率,有余额也不能无限调用。项目 Key 要计费到正确组织,Usage、到期和模型可用范围分别核对。历史赠送政策按原查询日期读,不能当今天权益。
重置卡把覆盖额度恢复到 100%,不叠成 200%;会员账期、兑换截止和恢复后的周期不同。我两张卡的准确截止、降级后资格还未读账号核实。协议转换能调主模型,不代表自动审批服务也兼容;关闭服务端审批请求不等于客户端分类器免费,具体请求与账单仍待查。
来源与当时边界
详细条件与线索:《客户端启动路由与压缩排障》。