跳转到内容

第 5 章 工程架构选型

来自《调研与决策》 · 原稿更新 2026-11-09 · 服务器只读阅读视图

5.1 服务拆分与灰度:先分发布边界,再分仓库

  • 判断代码归属看输出:输出业务判断的留在业务服务,输出翻译、向量、图片描述这类通用结果的迁出。编排层只管编排和重试,主数据服务只给权威数据、不做业务过滤。
  • 顺序:先梳理调用方、表、队列和配置 → 先做独立镜像和独立部署 → 由易到难迁移,新旧接口并行 → 稳定几个周期后再拆仓库。
  • 灰度:Canary 属于正式环境,只放冻结的版本;入口按业务主键确定性哈希分桶,把链路标记写进消息和任务状态,重试和 replay 不重新分桶;配置不合法时比例按 0 处理。
  • 详细(含分桶公式、5 个消息字段、验收清单、新仓库规范):服务拆分与发布

拆分方案与交付能力逐项核对。 通用 API 与旧兼容入口可以共用核心,但默认值、空白项、批量上限、错误格式都要录成契约;一个服务独立运行不证明调用方已切流。早期媒体方案含图片理解,后期本地验收范围收敛为视频抽帧,不能沿用旧方案当作已交付能力。见三类通用服务的契约与验收。

5.2 向量检索:先 pgvector,按容量估算决定何时换

  • 模型:比速度、QPS 限制、单张价格、要不要预处理;效果接近时,能不能扛流量更重要。
  • 库:当时用 PostgreSQL + pgvector 做第一版,容量数字来自特定向量维度、索引和硬件条件。复查时按自己的数据规模、过滤条件和并发量测召回、P95 延迟、资源开销,再判断现有方案何时到瓶颈,以及是否值得比较 Milvus、Qdrant。语义不同的数据分表,上层统一检索入口。
  • 踩坑:国内模型拉不到海外图片,用 CDN 解决,选 CDN 要实测稳定性。
  • 详细:向量检索:图搜图选型与相似度

图库规模不是评测样本数。 2025-11 的“2 万样本环境”说明检索库规模;“长相 70~80%”只是预估,原文没给标注集、分母或召回统计。原图与 512 的多数展示接近,但有反例和图中局部头像未召回,0.7 仍是暂定阈值。2025-12 CDN 两天约 20 MB 未见失败,也不足以证明长期可靠。见图搜图实测与跨境图片访问。

5.3 数据平台:先分 OLTP 和 OLAP,按查询形态选存储

  • Lambda 要写两套代码,Kappa 只靠流;小团队倾向 Kappa。查询“读多写少、只要少数列、要聚合”就该用列式分析库。
  • 选型:StarRocks(高并发多表分析、物化视图)、ClickHouse / QuestDB(时序)、TiDB(交易和分析一库两用,有边界)。当时结论:PG 先做交易,链路成熟后交易换 TiDB、分析用 StarRocks。
  • 详细:数据平台:架构、分层与存储选型

Databricks、DataWorks 是平台,DataX 主要解决同步,不能混成同一层选型;StarRocks 的更新与 SQL 事务能力需按版本、表模型和集群形态核对,旧资料的绝对排除理由已在详细文章中修正。

5.4 实时链路:快链 + 账本 + 对账,shadow 后再上线

  • 链路慢且漏了说不清:加一条最小计算的快链、一个独立的“应有账本”,每 10 秒对账找出漏、慢、错;零侵入主链。
  • 同一套代码用 test / shadow / prod 模式切换,分叉点尽量靠后,影子只写不推。
  • 流用 Flink、批用 Airflow;调度系统看“能否真实感知 Flink 作业状态”;链路追踪选 SigNoz(日志和 Trace 一体,有 MCP)。
  • 详细:实时数据链路:对账、影子运行与监控

5.5 后端架构:集中分组分发,下游各做业务

  • 按用户组延迟分发:RabbitMQ 固定档位 + TTL + 死信,按组拆不按用户拆,全部批次确认后才 ACK。
  • 高并发任务把粒度、优先级、并发、重试预算、截止时间写成约束表;每表只属于一个服务;反爬分阶段上。
  • 详细:后端架构:分组延迟分发、高并发调度与反爬

5.6 工程规范:变更先评估,复审不替代测试

数据库命名和设计(UUID 用 v7、金额用 decimal、不用外键约束);Redis key 分层命名;Git 的 Issue → PR → 验收流程和标签状态;代码审计 Skill 用可量化的结构红线;团队手册的七条要求(含“超时数据不作实时推送”)。

审计先判适用项,区分实现缺陷、规范差异、可选改进与待验证;沿实际调用链取证,减少清单误报。详细见上文链接第五节补充。

关键回归用例走真实入口,不能由测试自己挂上被测保护;补独立反例并确认去掉修复会失败,避免数据回填掩盖语义差异。

5.7 海外分发与缓存

安装包按大文件设计,带版本号的文件长期缓存、版本清单短缓存;海外 VPS 按目标地区延迟、晚高峰、带宽、流量与费用实测。

5.8 事务邮件与投递

发件域名做 SPF、DKIM、DMARC 认证;监控投递与退信,小量测试后再申请正式额度。

5.9 按规则依赖选引擎

规则引擎先问“规则会不会触发规则”。只算条件先比较表达式引擎,有规则依赖链再比较推理引擎;顺序规则和并发执行不能混称推理。