跳转到内容

第 3 章 Research 检索与筛选

来自《调研与决策》 · 原稿更新 2026-11-09 · 服务器只读阅读视图

3.1 搜到线索,不等于拿到一手证据

搜索 arXiv 和 linux.do 的问题不完全一样:后者可能受索引延迟、登录墙等影响。要分清没搜到、无法读正文和资料不足,不能直接说“平台不支持搜索”。

旧 research_search 评估发现,它适合快速摸底平台讨论、GitHub/HN 候选,但可能只能抓到二手聚合摘要,遇到 JS 定价页还会出现空结果或表格列错位;搜索结果重复和排序不透明也会污染调研。因此用搜索发现候选,再回到官方价格、源码、原始公告或完整内容核实。

检索失败也要区分:没有结果、源站要求登录、正文无法解析、内容滞后,不能一口咬定“此平台不可检索”。图表、空壳动态页面和登录墙必须说明资料不完整。以后为 Research 推送做质量评估时,除条数外还要量有效来源率、重复率、实际阅读/点击与用户反馈。

证据边界:这里的 research_search 是本地搜索工作流的历史评测,不是一个已核实存在公开 GitHub 仓库的独立项目;具体抓取效果要回原始运行日志与日期核对。

详见research_search 搜索工具评估;Research 的实际分工见本书第 2.2–2.3 节。

两类搜索各有用途(2026-09 本地对照): 通用网页搜索适合快速查解释与引用;Research 渠道搜索适合列出带来源、评分的视频、GitHub/HN/RSS 候选。只有候选值得进一步研究时才抓正文或转写视频,没必要全部转写。具体能力和成本要按当前版本重新核验。

**工具显示抓取成功也可能只拿到动态网页空壳。**旧搜索审计中有正文只有 8 或 49 字节的页面,404 甚至把 Python traceback 抛进回复。返回数据应有正文长度/类型、抽取状态、是否登录墙/动态加载、原始出处;没有可核实原文就标“只有线索”,不能引用空页面为事实证据。

首次公开、事件落地和影响分开判断(待学习)

先查这条信息什么时候首次公开、此前有没有同一消息,再看事件是否落实和影响是否已经出现。转述热度与首次公开各有证据。评估关系时写明谁和哪个具体对象有关,避免拿另一对象的证据判断。

观察变化时分开记事件时间、读取时间和指标采样时间。窗口没走完就记录已经观察到的事实,原记录没定窗口就标未提供。复查旧结论时回看当时的输入快照,后续读到的新值另记。

首发与关系判断 · 观察窗口记录

3.2 Research 推送的真实闭环

图解:不是搜到标题就算调研完成

不是搜到标题就算调研完成(概念示意)

读图: 这张图整理原文的目标闭环。各个环节需要独立证据,不能因为脚本生成了报告就说用户已经收到、读过或受益。

当前痛点 / 定向主题
→ 搜索候选 → 验证来源 → 筛选去重
→ AI 写简短判断 → 飞书实际送达
→ “有用 / 无用”反馈 → 更新筛选规则

我真正想改善的是推送更准:日常和 AI 聊到产品痛点,能主动发起定向调研;Workbench 负责配置/手动触发,飞书负责接收,无需两个地方看同一份内容。

多项目的评分配置、来源标识与输出隔离,见 2.3 节。

当前实现从个人基础设施仓库的 research/ 目录回查,最终是否送达要用飞书回执验证。

**Research 的临时搜索与每日候选抓取不是同一条链。**手动按关键词找到 B 站内容,不等于每日时效/播放量/关键词过滤后有足够候选;旧日报又曾让用户觉得“全是基础设施、没有眼前一亮的”。应分别记录各源实际启用、候选量、过滤后数量、重复率与人真正点开的比例,再决定加来源还是调排序。

把找变化和判断影响分开(待验证)

项目雷达可以先让一个角色只留下版本变化、日期和原始链接,再由另一个角色判断它会不会影响当前项目。先拿几个仓库的 Release 手工跑一轮,检查第二步有没有回原文、能不能过滤无关更新,再和单个 Agent 摘要比较。这个分工目前只是候选方案。

项目雷达分工

3.3 多项目 Research:统一结构,不等于把所有规则写死

旧 Research 最初把评分权重统一放在 weights.json 中,项目各有 rules.md 相关性锚点,却没办法对某个项目单独调整新奇度/相关性权重。三个项目还出现了推送标题缺项目名称、归档提示硬编码某个项目、多个 daily 快照互相覆盖的问题。这些不只是配置“好不好看”,而是直接影响能否找到正确来源、区分项目和避免旧结果串台。

当时的设计取舍是:共用抓取/评分/渲染机制 + 各项目明确的来源、规则、配置目录和独立输出路径。公共结构和真正必须一致的约束可以统一;不同项目的筛选权重是否覆盖全局默认,应该通过真实案例确定,而不是一开始写死所有项目不能差异化。

最重要的验收不只是本地跑出 Markdown:实际推送须包含项目身份、候选源链接、已验证的摘要和飞书真实回执;对每日结果应验证重跑不互相覆盖。2026-08-14 的文档只是摸底与方案定稿,不能据此推断现有 Research 系统已经全部按这个方案发布。

来源:40-AI任务交接/2026/08/14-多项目调研推送接入/摸底-基础设施层现状.md、定稿-基础设施层.md。

3.4 一次有效推送反馈,不等于八个项目都值得接

2026-08-13 的 XCC 调研推送快照共 6 个 GitHub 项目和 2 篇文章。当时用户对 ChinaTextbook 反馈较好,列表还包含 MediaCrawler、Prime Agent、BAML 等候选。旧报告的评分只能证明当时的内部排序与一次反馈,不等于这些仓库都已采用、学习效果已提高。

比增加推荐条数更重要的是记录:为什么匹配当前痛点、用户有没有打开/试用、是否决定接入、实际改善了什么、何时复查。没有验证成果的候选留历史原稿,不必为每个工具再开一章。

原始来源:20-个人/20-调研报告/xcc-2026-08-13-XCC每日调研推送精选.md。

3.5 Laya:不拿官方性能替代自己的测试

旧调研提过官方的延迟和微调后准确率,也记下零样本弱、类别多会下降的限制。微调后 0.766 与未经微调约 0.35 不能混成一个条件比较。

当时判断暂不切换 Jev。需要同一批中文、相同任务、实际 Mac CPU 延迟的 A/B 后再决定。

3.6 大词表分类:生成候选再映射到真实词表

类别多时先产生近义候选,再用向量匹配标准词表;观察第一名分数及与第二名差距。差距太小就重排/问人;词表缺项则必须允许 unknown。

小枚举用固定 Schema 更简单,不用多加一层向量检索。

3.7 知识图谱与本体:让模型“懂行”的几条路

  • RAG 便宜但多轮慢、不稳定;知识图谱稳、减幻觉,但对覆盖度要求高;本体(Ontology)再加上“能执行的动作”和预测。
  • 抽取先定“宁缺毋滥还是宁多勿漏”;LangExtract 值得借的是工程细节:多次抽取取一致、字符偏移定位、按位置去重。
  • 详细:知识图谱、本体与实体抽取

3.8 采集系统:长期稳定比“抓下来”难

  • 通用采集中台要有:按域名的站点策略、URL 指纹去重、按错误语义分类的有限重试与死信、字段置信度、自定义抽取插件、实时与批量 worker 隔离;不能把所有 4xx 都归成不重试,429 限流要结合等待时间和预算处理。
  • 第三方数据源先算计费模式:按条、按请求(没数据也扣钱)、按监控对象包月;当时包月最合适。Webhook 接收只做校验、去重、入队,立即返回 200。
  • 告警分 P1 / P2,写清定义、通知方式和响应时限。监控配置区分暂停、删除和自动发现,外部标识匹配要检查冲突,新发现对象的启用受数量和费用预算约束。
  • 详细:采集系统:中台设计、数据源选型与告警分级

自动发现先用少量人工候选跑通身份确认、去重和审核,再扩大收集;原始资料与 AI 推断分开,人工覆盖不被定时任务静默改写。抓到页面元数据也不代表拿到完整正文或视频内容。

3.9 比较工具按资源和动作,不按平台数量(待验证)

优化自己的 research,先看现有搜索、筛选、评分推送、归档的缺口,再评估对象读取、体检、失败原因和备用后端。“支持 GitHub”不代表仓库、Issue、PR、blob 都读对;普通评论前 50 条也不覆盖 PR 行内讨论和完整分页。

先修对象分流,建最小能力清单与体检,再补有需求的渠道;字幕能力尊重 video 边界,不跨模块 import。此次只有源码比较和替身分流验证,没升级、没改功能、没验新平台连通。

来源与当时边界

原始记录 2026-11-01