第 6 章 分布式、MQ、Outbox 与状态一致性
6.1 多实例与微服务
多实例分摊流量;微服务按业务边界拆部署,拆分要付网络失败和跨服务追踪的成本。
正确理解
- 多实例是同一个服务跑多份,用来分担流量、提高可用性;微服务是按业务边界拆成独立部署的服务。
- 拆分会带来网络失败、配置差异、共享状态和跨服务追踪的成本,值不值得拆见第 1.5 节。
6.2 服务发现、配置中心与版本治理
服务发现找位置,配置中心管参数;能更新配置不等于业务能无重启热更新。
正确理解
- 服务发现解决“另一个服务在哪”,配置中心解决多个实例的环境参数怎么统一管理。
- 多实例滚动发布时新旧版本会同时在跑,API 和数据库迁移要留兼容窗口。
- 配置读不到时,别只测地址能不能连。Nacos 配置还要对上命名空间、Group 和 Data ID,网络通只说明 SDK 连上了服务。排查顺序:地址/端口 → 命名空间 → Group → Data ID → 客户端解析和刷新。这套名称是 Nacos 的,不能硬套到别的配置平台。
- 调度开关有两个“主人”的案例见附录 A.6.1,调度表达式写错导致消息风暴见 A.6.2。
6.3 同步 RPC 与异步消息(消息队列)
要马上拿到结果就同步,可稍后完成的用消息;发送成功不等于消费成功。
正确理解
- 需要马上拿到结果,同步调用更直接;通知、统计这类可以稍后完成的工作,可以走异步消息,也就是消息队列(MQ)。
- 发送成功不代表消费成功。消费者要处理超时、重复消息(重复消费)和积压,设好重试上限、死信队列(DLQ)和恢复方式。
- 在 DAG 和 Worker 协作里,
Topic是消息主题,Node是执行步骤,Callback是步骤回执,Result是流程最终结果。DAG 决定下一步,消息系统负责投递,Worker 负责执行。(数据库里的 DDL 则是建表、改表语句,别和这里混。) - 2026-07 只读排查到的历史链路:DAG Engine 按配置决定下一节点 → 向 RabbitMQ 投递任务 → Worker 领取执行并回发结果 → DAG Engine 继续推进。DAG 图只描述依赖,真正发消息的是运行中的编排程序;Worker 消费完任务,也会成为结果消息的生产者。
- Kafka 和 RabbitMQ 都能承载消息,但消费、保留和重放语义不同。Kafka 不是“正式环境或 Canary 的必需品”。当前部署和以后要不要切 Kafka,要再查代码和发布配置。
- 审计日志经 MQ 异步落盘时,生产侧发送、Broker 持久化、消费端落库和业务完成是四个阶段,见第 7.10 节。
6.4 Outbox
业务记录和待发事件写进同一事务,投递仍可能重复,消费端必须幂等。
图解:Outbox 的事务边界在哪

读图: 先看左下虚线框:业务表与 Outbox 同事务写入;框外才是转发和消费。消息仍可能重复,消费端需要幂等;图中的 AWS 服务只是实现示例。
来源:AWS Prescriptive Guidance:Transactional outbox pattern 原图。2026-10-28 核对。
正确理解
- 数据库已经记下“支付成功”,MQ 消息却没发出去,通知等下游任务就丢了。
- Outbox 把业务记录和待发送事件写进同一个数据库事务,再由后台发送。
- 它不是跨服务的全局事务。投递仍可能重复,所以消费端必须幂等。
- 谁来发(AI 补充,待学习):后台进程轮询 Outbox 表,或读数据库变更日志(CDC),发送成功后标记已发送。如果发送成功但标记失败,下次会再发一遍,这就是消费端必须幂等的原因。
6.5 CQRS
读写负载或数据形状确实不同时才拆读模型;异步更新会短暂读到旧数据。
正确理解
- 写模型负责状态校验、事务和业务约束;读模型按查询场景组织索引或物化视图。
- 读模型异步更新,就可能短暂读到旧数据。
- 只有读写的负载或数据形状确实差别很大,才值得引入 CQRS,不能因为名字高级就拆。
6.6 一致性、分布式 ID 与灰度
先确定哪些状态可以稍后对齐、哪些操作必须防重复,再谈 ID 方案和灰度。
正确理解
- 跨实例写入前,先分清哪些状态允许稍后对齐,哪些操作必须防重复,比如扣款。
- 全局唯一 ID 可以用数据库分配、UUID 或雪花类方案,按需求检查时钟依赖、排序和冲突风险。
- 灰度发布的版本与制品规则见第 9.5 节。
- 多端同步出问题,先比对完整的远端路径和对象 ID,再做真实的往返读写测试,案例见附录 A.6.3 和 A.6.4。
6.7 CAP 与事件驱动
CAP 谈分区时的取舍;实例不等于版本;事件描述已发生的事实。
我踩过的坑
- 2026-08-10 以为 CAP 是性能快慢的平衡,大部分系统都是 AP。
- 把实例当成版本,并认为多个实例共用一个数据库就会导致数据混乱。
- 以为事件驱动就是发布指令、告诉大家该怎么做;队列与事件驱动好像是同一回事。
正确理解
- CAP 讲的是网络分区时的限制:没法同时保证强一致的读写(线性一致性),又保证每个正常节点收到的请求都能完成。按业务对一致性和可用性的要求取舍,不能按“AP 快、CP 慢”给系统分类。
- 实例是一份正在运行的程序,版本说明它跑的是哪份代码。Test、Canary、Stable 是环境或发布角色,一个版本可以跑多个实例。
- 多实例共用数据库时,要协调并发更新;各实例的缓存和内存状态按业务要求同步或失效。
- 事件描述已经发生的事实,比如“订单已支付”,订阅者自己决定接下来做什么。队列和消息系统负责传输和缓冲,既能分发任务也能做发布订阅;流程由 DAG 编排时,下一步仍由 DAG 决定。
- 扩展:Flink 用于持续事件流的计算、状态管理和检查点恢复,适不适合现在的 Agent 场景还没评估。
来源
CAP 论文 · 原文记录时间 2026-08-10。
6.8 限流、熔断与降级
三种手段动作不同:限制进入量、暂时不发请求、返回有说明的替代结果。
| 方法 | 什么时候用 | 处理动作 |
|---|---|---|
| 限流 | 入口请求超过容量 | 限制进入量,常返回 429;不能保证服务永不拥塞 |
| 熔断 | 下游一段时间内连续失败或超时 | 暂时少发/不发请求,随后小流量探测恢复 |
| 降级 | 主能力不可用或等待预算已用尽 | 返回有说明的缓存/只读结果,或者明确说不可用 |
| 维护页 | 已确认维护状态 | 准确解释维护,不把任意故障伪装成“例行维护” |
我踩过的坑
- 旧草稿把
503、10 秒客户端防抖、出现 5 次错误、显示维护页写成固定逻辑。
正确理解
- 这些阈值不是通用规律,
503也不能证明系统在维护。 - 重试要有幂等、预算和退避,不能无限静默重试。限流算法见第 4.8 节。
- 报 429 时先看额度的作用范围,案例见附录 A.6.5。
6.9 取消发布、重试与业务补偿
把灰度比例改回 0 只影响新请求,撤不回已经发生的副作用。
正确理解
- 灰度比例改回 0,只影响以后还有多少新请求走新版本,已经发出的消息、写的库、扣的款都撤不回来。
- 请求超时也不代表业务没执行。处理故障时,先用请求 ID、幂等键和业务记录核对副作用到底发生到哪一步。
| 实际状态 | 建议的处理方向 | 要先确认什么 |
|---|---|---|
| 确认尚未执行、动作本身可重复 | 有预算地重试 | 业务 idempotency key 是否稳定 |
| 结果未知,可能已经执行 | 先查询状态或对账 | 不做二次扣款/重复发消息 |
| 已经产生不能原路撤销的副作用 | 明确设计补偿动作 | 补偿权限、金额、审计与失败恢复 |
| 旧版本仍在处理历史任务 | 灰度回滚 + 排空/隔离 | 老任务属于哪个版本和消费者 |
- 补偿通常是一个新的业务动作,不是数据库 Rollback,也不保证能恢复所有外部效果。比如已经发出的通知,只能追加更正,没法让收件人“从没看到”。这类问题要按业务语义设计状态机和审计,不能靠一个重试标签自动恢复。
来源
10-wiki/personal/wiki/queries/如何在故障回滚时区分可安全重试与需业务补偿的操作.md。历史问题未针对当前交易环境实测,不能视为现行事故处置手册。
6.10 环形 RPC
每个服务都活着,请求仍可能全部卡住:互相等待会耗尽线程池或连接池。
正确理解
- 旧微服务复盘:设备服务同步等待用户服务,用户服务又调用设备服务补数据。每个进程单看都正常,全链路却完不成。互相等待的 RPC 会耗尽线程池或连接池,造成请求循环、饥饿或超时级联,但调用环不一定是数据库死锁。
- 排查看 Trace 里的调用方向、真实等待图、资源持有时间和连接池等待,一味加长超时没用。
- 先找到哪个服务拥有这份数据和业务状态,由它负责权威写入,不要互相直连对方的数据库表。跨领域的页面,由合适的编排层先取本地 ID,再向下游批量取数、组装展示,别让底层服务反过来编排其他领域。
- 多个操作要一致时,聚合逻辑靠近业务权威服务,但聚合 RPC 本身不保证全局事务,见第 3.2 节。
- 减少双向依赖、用批量 API 或异步消息都是候选手段。不要求所有 RPC 都改异步,“本地
SELECT DISTINCT+ RPC”也不能保证以后不出错。
来源
旧库 90-归档/20-个人/20-草稿箱/待写选题/微服务网关日志与RPC边界复盘.md。属于历史项目复盘,未证明当前生产仍有死锁。
本章原始笔记
- 案例:RabbitMQ 固定延迟档位 + TTL + 死信做分组延迟分发、“全部批次确认后才 ACK”,以及高并发任务的重试预算和截止时间,见后端架构。
6.7 去重键与不确定状态
去重键 = 对象唯一标识 + 子类型 + 语义分组 + 时间窗口,不确定就放行;候选的身份、业务类型、语义分组和有效窗口分别定义;不把不同语义的事件错误合成一个。