第 5 章 工程架构选型
5.1 服务拆分与灰度:先分发布边界,再分仓库
- 判断代码归属看输出:输出业务判断的留在业务服务,输出翻译、向量、图片描述这类通用结果的迁出。编排层只管编排和重试,主数据服务只给权威数据、不做业务过滤。
- 顺序:先梳理调用方、表、队列和配置 → 先做独立镜像和独立部署 → 由易到难迁移,新旧接口并行 → 稳定几个周期后再拆仓库。
- 灰度:Canary 属于正式环境,只放冻结的版本;入口按业务主键确定性哈希分桶,把链路标记写进消息和任务状态,重试和 replay 不重新分桶;配置不合法时比例按 0 处理。
- 详细(含分桶公式、5 个消息字段、验收清单、新仓库规范):服务拆分与发布
拆分方案与交付能力逐项核对。 通用 API 与旧兼容入口可以共用核心,但默认值、空白项、批量上限、错误格式都要录成契约;一个服务独立运行不证明调用方已切流。早期媒体方案含图片理解,后期本地验收范围收敛为视频抽帧,不能沿用旧方案当作已交付能力。见三类通用服务的契约与验收。
5.2 向量检索:先 pgvector,按容量估算决定何时换
- 模型:比速度、QPS 限制、单张价格、要不要预处理;效果接近时,能不能扛流量更重要。
- 库:当时用 PostgreSQL + pgvector 做第一版,容量数字来自特定向量维度、索引和硬件条件。复查时按自己的数据规模、过滤条件和并发量测召回、P95 延迟、资源开销,再判断现有方案何时到瓶颈,以及是否值得比较 Milvus、Qdrant。语义不同的数据分表,上层统一检索入口。
- 踩坑:国内模型拉不到海外图片,用 CDN 解决,选 CDN 要实测稳定性。
- 详细:向量检索:图搜图选型与相似度
图库规模不是评测样本数。 2025-11 的“2 万样本环境”说明检索库规模;“长相 70~80%”只是预估,原文没给标注集、分母或召回统计。原图与 512 的多数展示接近,但有反例和图中局部头像未召回,0.7 仍是暂定阈值。2025-12 CDN 两天约 20 MB 未见失败,也不足以证明长期可靠。见图搜图实测与跨境图片访问。
5.3 数据平台:先分 OLTP 和 OLAP,按查询形态选存储
- Lambda 要写两套代码,Kappa 只靠流;小团队倾向 Kappa。查询“读多写少、只要少数列、要聚合”就该用列式分析库。
- 选型:StarRocks(高并发多表分析、物化视图)、ClickHouse / QuestDB(时序)、TiDB(交易和分析一库两用,有边界)。当时结论:PG 先做交易,链路成熟后交易换 TiDB、分析用 StarRocks。
- 详细:数据平台:架构、分层与存储选型
Databricks、DataWorks 是平台,DataX 主要解决同步,不能混成同一层选型;StarRocks 的更新与 SQL 事务能力需按版本、表模型和集群形态核对,旧资料的绝对排除理由已在详细文章中修正。
5.4 实时链路:快链 + 账本 + 对账,shadow 后再上线
- 链路慢且漏了说不清:加一条最小计算的快链、一个独立的“应有账本”,每 10 秒对账找出漏、慢、错;零侵入主链。
- 同一套代码用 test / shadow / prod 模式切换,分叉点尽量靠后,影子只写不推。
- 流用 Flink、批用 Airflow;调度系统看“能否真实感知 Flink 作业状态”;链路追踪选 SigNoz(日志和 Trace 一体,有 MCP)。
- 详细:实时数据链路:对账、影子运行与监控
5.5 后端架构:集中分组分发,下游各做业务
- 按用户组延迟分发:RabbitMQ 固定档位 + TTL + 死信,按组拆不按用户拆,全部批次确认后才 ACK。
- 高并发任务把粒度、优先级、并发、重试预算、截止时间写成约束表;每表只属于一个服务;反爬分阶段上。
- 详细:后端架构:分组延迟分发、高并发调度与反爬
5.6 工程规范:变更先评估,复审不替代测试
数据库命名和设计(UUID 用 v7、金额用 decimal、不用外键约束);Redis key 分层命名;Git 的 Issue → PR → 验收流程和标签状态;代码审计 Skill 用可量化的结构红线;团队手册的七条要求(含“超时数据不作实时推送”)。
审计先判适用项,区分实现缺陷、规范差异、可选改进与待验证;沿实际调用链取证,减少清单误报。详细见上文链接第五节补充。
关键回归用例走真实入口,不能由测试自己挂上被测保护;补独立反例并确认去掉修复会失败,避免数据回填掩盖语义差异。
5.7 海外分发与缓存
安装包按大文件设计,带版本号的文件长期缓存、版本清单短缓存;海外 VPS 按目标地区延迟、晚高峰、带宽、流量与费用实测。
5.8 事务邮件与投递
发件域名做 SPF、DKIM、DMARC 认证;监控投递与退信,小量测试后再申请正式额度。
5.9 按规则依赖选引擎
规则引擎先问“规则会不会触发规则”。只算条件先比较表达式引擎,有规则依赖链再比较推理引擎;顺序规则和并发执行不能混称推理。