跳转到内容

第 6 章 分布式、MQ、Outbox 与状态一致性

来自《系统架构与工程化学习》 · 原稿更新 2026-11-09 · 服务器只读阅读视图

6.1 多实例与微服务

多实例分摊流量;微服务按业务边界拆部署,拆分要付网络失败和跨服务追踪的成本。

正确理解

  • 多实例是同一个服务跑多份,用来分担流量、提高可用性;微服务是按业务边界拆成独立部署的服务。
  • 拆分会带来网络失败、配置差异、共享状态和跨服务追踪的成本,值不值得拆见第 1.5 节。

6.2 服务发现、配置中心与版本治理

服务发现找位置,配置中心管参数;能更新配置不等于业务能无重启热更新。

正确理解

  • 服务发现解决“另一个服务在哪”,配置中心解决多个实例的环境参数怎么统一管理。
  • 多实例滚动发布时新旧版本会同时在跑,API 和数据库迁移要留兼容窗口。
  • 配置读不到时,别只测地址能不能连。Nacos 配置还要对上命名空间、Group 和 Data ID,网络通只说明 SDK 连上了服务。排查顺序:地址/端口 → 命名空间 → Group → Data ID → 客户端解析和刷新。这套名称是 Nacos 的,不能硬套到别的配置平台。
  • 调度开关有两个“主人”的案例见附录 A.6.1,调度表达式写错导致消息风暴见 A.6.2。

6.3 同步 RPC 与异步消息(消息队列)

要马上拿到结果就同步,可稍后完成的用消息;发送成功不等于消费成功。

正确理解

  • 需要马上拿到结果,同步调用更直接;通知、统计这类可以稍后完成的工作,可以走异步消息,也就是消息队列(MQ)。
  • 发送成功不代表消费成功。消费者要处理超时、重复消息(重复消费)和积压,设好重试上限、死信队列(DLQ)和恢复方式。
  • 在 DAG 和 Worker 协作里,Topic 是消息主题,Node 是执行步骤,Callback 是步骤回执,Result 是流程最终结果。DAG 决定下一步,消息系统负责投递,Worker 负责执行。(数据库里的 DDL 则是建表、改表语句,别和这里混。)
  • 2026-07 只读排查到的历史链路:DAG Engine 按配置决定下一节点 → 向 RabbitMQ 投递任务 → Worker 领取执行并回发结果 → DAG Engine 继续推进。DAG 图只描述依赖,真正发消息的是运行中的编排程序;Worker 消费完任务,也会成为结果消息的生产者。
  • Kafka 和 RabbitMQ 都能承载消息,但消费、保留和重放语义不同。Kafka 不是“正式环境或 Canary 的必需品”。当前部署和以后要不要切 Kafka,要再查代码和发布配置。
  • 审计日志经 MQ 异步落盘时,生产侧发送、Broker 持久化、消费端落库和业务完成是四个阶段,见第 7.10 节。

6.4 Outbox

业务记录和待发事件写进同一事务,投递仍可能重复,消费端必须幂等。

图解:Outbox 的事务边界在哪

Outbox 的事务边界在哪(官方原图)

读图: 先看左下虚线框:业务表与 Outbox 同事务写入;框外才是转发和消费。消息仍可能重复,消费端需要幂等;图中的 AWS 服务只是实现示例。

来源:AWS Prescriptive Guidance:Transactional outbox pattern 原图。2026-10-28 核对。

正确理解

  • 数据库已经记下“支付成功”,MQ 消息却没发出去,通知等下游任务就丢了。
  • Outbox 把业务记录和待发送事件写进同一个数据库事务,再由后台发送。
  • 它不是跨服务的全局事务。投递仍可能重复,所以消费端必须幂等。
  • 谁来发(AI 补充,待学习):后台进程轮询 Outbox 表,或读数据库变更日志(CDC),发送成功后标记已发送。如果发送成功但标记失败,下次会再发一遍,这就是消费端必须幂等的原因。

6.5 CQRS

读写负载或数据形状确实不同时才拆读模型;异步更新会短暂读到旧数据。

正确理解

  • 写模型负责状态校验、事务和业务约束;读模型按查询场景组织索引或物化视图。
  • 读模型异步更新,就可能短暂读到旧数据。
  • 只有读写的负载或数据形状确实差别很大,才值得引入 CQRS,不能因为名字高级就拆。

6.6 一致性、分布式 ID 与灰度

先确定哪些状态可以稍后对齐、哪些操作必须防重复,再谈 ID 方案和灰度。

正确理解

  • 跨实例写入前,先分清哪些状态允许稍后对齐,哪些操作必须防重复,比如扣款。
  • 全局唯一 ID 可以用数据库分配、UUID 或雪花类方案,按需求检查时钟依赖、排序和冲突风险。
  • 灰度发布的版本与制品规则见第 9.5 节。
  • 多端同步出问题,先比对完整的远端路径和对象 ID,再做真实的往返读写测试,案例见附录 A.6.3 和 A.6.4。

6.7 CAP 与事件驱动

CAP 谈分区时的取舍;实例不等于版本;事件描述已发生的事实。

我踩过的坑

  • 2026-08-10 以为 CAP 是性能快慢的平衡,大部分系统都是 AP。
  • 把实例当成版本,并认为多个实例共用一个数据库就会导致数据混乱。
  • 以为事件驱动就是发布指令、告诉大家该怎么做;队列与事件驱动好像是同一回事。

正确理解

  • CAP 讲的是网络分区时的限制:没法同时保证强一致的读写(线性一致性),又保证每个正常节点收到的请求都能完成。按业务对一致性和可用性的要求取舍,不能按“AP 快、CP 慢”给系统分类。
  • 实例是一份正在运行的程序,版本说明它跑的是哪份代码。Test、Canary、Stable 是环境或发布角色,一个版本可以跑多个实例。
  • 多实例共用数据库时,要协调并发更新;各实例的缓存和内存状态按业务要求同步或失效。
  • 事件描述已经发生的事实,比如“订单已支付”,订阅者自己决定接下来做什么。队列和消息系统负责传输和缓冲,既能分发任务也能做发布订阅;流程由 DAG 编排时,下一步仍由 DAG 决定。
  • 扩展:Flink 用于持续事件流的计算、状态管理和检查点恢复,适不适合现在的 Agent 场景还没评估。
来源

CAP 论文 · 原文记录时间 2026-08-10。

6.8 限流、熔断与降级

三种手段动作不同:限制进入量、暂时不发请求、返回有说明的替代结果。

方法 什么时候用 处理动作
限流 入口请求超过容量 限制进入量,常返回 429;不能保证服务永不拥塞
熔断 下游一段时间内连续失败或超时 暂时少发/不发请求,随后小流量探测恢复
降级 主能力不可用或等待预算已用尽 返回有说明的缓存/只读结果,或者明确说不可用
维护页 已确认维护状态 准确解释维护,不把任意故障伪装成“例行维护”

我踩过的坑

  • 旧草稿把 503、10 秒客户端防抖、出现 5 次错误、显示维护页写成固定逻辑。

正确理解

  • 这些阈值不是通用规律,503 也不能证明系统在维护。
  • 重试要有幂等、预算和退避,不能无限静默重试。限流算法见第 4.8 节。
  • 报 429 时先看额度的作用范围,案例见附录 A.6.5。

6.9 取消发布、重试与业务补偿

把灰度比例改回 0 只影响新请求,撤不回已经发生的副作用。

正确理解

  • 灰度比例改回 0,只影响以后还有多少新请求走新版本,已经发出的消息、写的库、扣的款都撤不回来。
  • 请求超时也不代表业务没执行。处理故障时,先用请求 ID、幂等键和业务记录核对副作用到底发生到哪一步。
实际状态 建议的处理方向 要先确认什么
确认尚未执行、动作本身可重复 有预算地重试 业务 idempotency key 是否稳定
结果未知,可能已经执行 先查询状态或对账 不做二次扣款/重复发消息
已经产生不能原路撤销的副作用 明确设计补偿动作 补偿权限、金额、审计与失败恢复
旧版本仍在处理历史任务 灰度回滚 + 排空/隔离 老任务属于哪个版本和消费者
  • 补偿通常是一个新的业务动作,不是数据库 Rollback,也不保证能恢复所有外部效果。比如已经发出的通知,只能追加更正,没法让收件人“从没看到”。这类问题要按业务语义设计状态机和审计,不能靠一个重试标签自动恢复。
来源

10-wiki/personal/wiki/queries/如何在故障回滚时区分可安全重试与需业务补偿的操作.md。历史问题未针对当前交易环境实测,不能视为现行事故处置手册。

6.10 环形 RPC

每个服务都活着,请求仍可能全部卡住:互相等待会耗尽线程池或连接池。

正确理解

  • 旧微服务复盘:设备服务同步等待用户服务,用户服务又调用设备服务补数据。每个进程单看都正常,全链路却完不成。互相等待的 RPC 会耗尽线程池或连接池,造成请求循环、饥饿或超时级联,但调用环不一定是数据库死锁。
  • 排查看 Trace 里的调用方向、真实等待图、资源持有时间和连接池等待,一味加长超时没用。
  • 先找到哪个服务拥有这份数据和业务状态,由它负责权威写入,不要互相直连对方的数据库表。跨领域的页面,由合适的编排层先取本地 ID,再向下游批量取数、组装展示,别让底层服务反过来编排其他领域。
  • 多个操作要一致时,聚合逻辑靠近业务权威服务,但聚合 RPC 本身不保证全局事务,见第 3.2 节。
  • 减少双向依赖、用批量 API 或异步消息都是候选手段。不要求所有 RPC 都改异步,“本地 SELECT DISTINCT + RPC”也不能保证以后不出错。
来源

旧库 90-归档/20-个人/20-草稿箱/待写选题/微服务网关日志与RPC边界复盘.md。属于历史项目复盘,未证明当前生产仍有死锁。

本章原始笔记

《分布式系统》

  • 案例:RabbitMQ 固定延迟档位 + TTL + 死信做分组延迟分发、“全部批次确认后才 ACK”,以及高并发任务的重试预算和截止时间,见后端架构。

6.7 去重键与不确定状态

去重键 = 对象唯一标识 + 子类型 + 语义分组 + 时间窗口,不确定就放行;候选的身份、业务类型、语义分组和有效窗口分别定义;不把不同语义的事件错误合成一个。

多语言、去重与记忆的原调研