跳转到内容

第 5 章 Python 异步、并发控制与任务执行

来自《系统架构与工程化学习》 · 原稿更新 2026-11-09 · 服务器只读阅读视图

5.1 async/await 与并发

asyncio 事件循环只调度就绪任务和 I/O 回调,不代替业务代码发请求。

我踩过的坑

  • 以为协程“同进程”就能说明并发,还以为是事件循环替各协程发网络请求。

正确理解

  • async def 不会让同步阻塞的操作自动变成非阻塞。网络请求是业务代码通过异步库发出的,事件循环只负责调度。
  • await 只在等待未完成的操作时才让其他任务运行;如果结果已经好了,可能立即返回。
  • 同一个事件循环里的任务通常在一个线程内交替执行。真正多核并行要用线程或进程,CPU 密集的任务更适合放到独立进程或 Worker。

5.2 串行与并发的选择

先查用户 ID 再查订单要串行;三个互不依赖的 API 才能并发。

图解:串行等待,与重叠等待

串行等待,与重叠等待(概念示意)

读图: 按本节的示例,三个独立的 I/O 任务耗时分别为 2、3、5 个时间单位;串行约 10,并发理想约 5。图只解释等待重叠,不是实测速度或多核并行承诺。

我踩过的坑

  • 以为 A 跑 2 分钟、B 跑 3 分钟、C 跑 5 分钟依次执行也是“并发推进”。

正确理解

  • 那其实是串行,总共约 10 分钟。如果三个任务主要在等 I/O,同时安排它们,让等待时间重叠,理想总耗时接近最长的 5 分钟,另有调度和资源开销。
  • 用 create_task() 或 TaskGroup 才是并发安排;按顺序写三个 await,就是串行。
  • 并发时其中一个出错,其他任务继续、取消还是补偿,要事先定好。完成顺序和写入顺序也可能不同,见第 5.4 节。

5.3 并发上限、超时与取消

容量靠信号量、有界队列和背压控制;超时和取消都要算清预算与清理成本。

我踩过的坑

  • 超时后只按错误类型判断能不能重试,没考虑用户还能等多久。
  • 只答出“协程比线程轻量”,说不出一千个协程同时请求为什么还是会拖垮服务。
  • 只想到数据库乐观锁,漏了同一个事件循环里多个协程读改写共享状态的竞争。
  • 以为 asyncio.wait_for(...,45) 是 45 秒的强制杀进程。

正确理解

  • 协程调度开销小,但带宽、连接池、线程池、数据库和模型 QPS 都有上限。用信号量、有界队列、背压和分层超时控制容量。
  • 无界的 asyncio.Queue 一直入队、消费跟不上,内存会涨到进程被杀。改用有界队列,满了就让生产者在 await queue.put(...) 等着,或者直接拒绝。
  • 能不能重试看三件事:错误能否恢复、重复执行是否安全、还剩多少等待时间。天气这种只读查询可以有限重试;实时语音要低延迟,可能应该直接说“暂时查不到”,不能拿编造的默认天气冒充结果。
  • 取消是协作式的,任务要在 finally 里释放资源。取消不会撤销已经产生的外部副作用,单独创建的子任务也不会自动跟着结束。
  • 跨 await 的共享读改写可以用 asyncio.Lock 互斥,避免两个协程都基于旧值更新。它只保护同一个事件循环,不管多进程和多机器。
  • asyncio.wait_for(...,45) 超时后会取消请求,但取消可能卡在 async with 的 await close() 清理里继续等远端,外层迟迟不返回。请求超时、取消响应、资源关闭耗时和连接泄漏要分开测;再套一层 wait_for,也不能保证清理有绝对的时间上限。
  • 同步 SDK 与异步客户端的超时差异,案例见附录 A.5.1。
来源

asyncio Tasks、取消和 TaskGroup

5.4 完成顺序与提交顺序

先创建的任务不一定先结束,要保序就得显式保序。

我踩过的坑

  • 并发处理多条消息时,快的先完成,但业务要求按用户发送顺序写入或回复。

正确理解

  • 需要保序时,可以在结果汇总、持久化或回复阶段按顺序处理,也可以让同一会话串行执行。

5.5 后台队列与 Worker

领取、ACK、重试、积压和死信,才是后台 Worker 的主要工作。

正确理解

  • 后台 Worker 除了取任务,还要处理领取、ACK、重试、退避、超时、积压、死信和重复执行。
  • 任务在 MQ 里排了多久、Worker 真正处理了多久,是两个不同的耗时指标,要分开看。
  • 这些词的意思(AI 补充,待学习):ACK 是消费者确认处理完,消息才算完成;重试配退避,避免一起撞向已经出问题的下游;死信队列存放多次失败的消息,等人查,免得一直堵住队列。
  • 确认时机决定丢和重:先确认再处理可能丢任务,处理完再确认可能重复执行,所以任务本身要幂等,见第 4.7 节。

5.6 协程、事件循环、Task、Future

四个对象分工不同,混在一起就会误判 await、调度和取消的行为。

对象 真正负责什么
Coroutine async def 调用得到的可等待对象;业务逻辑在协程中运行
Event Loop 调度就绪任务和 I/O 回调
Task 把协程安排给事件循环执行,跟踪完成、异常与取消
Future 表示未来才会完成的结果;由完成操作的回调或代码设置结果或异常

我踩过的坑

  • 以为 await 是自己完成后再等别人;Task 只管监控有没有结束;Future 需要“有人填一下”。

正确理解

  • await 等待一个异步对象,必要时挂起当前协程。Task 负责驱动协程被调度,不只是看它结束没有。
  • Future 确实要有代码来填结果:异步操作完成后,由回调或相关代码调用 set_result 写入。等待方只管等,不用自己去填。
  • 顶层协程可以用 asyncio.run 执行,协程里也可以直接 await 其他协程,不是都要显式 create_task。
来源

Python coroutine、Task、Future · Future

Python 空白处理(历史提问,待学习):“text.split() 只写了一种调用方式,为什么既能按普通空格拆开,也能按换行拆开?”不带参数的 split() 会按连续空白拆分;strip() 只去掉两头,split(" ") 则明确按普通空格。" ".join(text.split()) 压缩空白,"".join(text.split()) 删除空白;处理正文或代码前先确定是否允许改变内部空白。

来源:后端-Python与接口实践。

5.7 async for 与后台任务清理

async for 逐项处理,不保证每项并发;长期任务要由生命周期流程创建、监控、清理。

我踩过的坑

  • 把后台任务与服务生命周期管理当成同一件事。

正确理解

  • async for 从异步迭代器逐项取数据,可以边收边处理,但它本身不保证每项并发执行。
  • 定时心跳、连接检查这类长期任务,是由服务启动、关闭流程创建、监控和清理的对象,不是生命周期机制本身。
  • 独立创建的 Task 要保留引用、检查异常,停止时取消并等待清理。TaskGroup 有明确的成组等待和失败传播;用 gather() 或自己管理时,异常和取消策略要自己定,见 Python 异步任务文档。
  • 设计练习:每 5 分钟检查一次数据库连接、连续失败 3 次报警,应该用周期后台任务或外部调度,不要每个用户请求触发一次;多 worker 部署还要防止每个实例都跑一遍。这是练习题,不代表功能已上线。
  • 心跳练习(尚未落地):我知道心跳是检查连接是否还活着,但没说出间隔和失败阈值。比如每 30 秒探测一次、连续漏 2~3 次才判异常,能减少网络抖动误报,具体取值按网络环境、故障发现时限和成本测试。判定失败后还要明确是重连、摘流量还是通知谁,不能只改一个标志位。
本章原始笔记

Python 异步

5.8 连接重试、模型等待和旧回调分开保护(待学习)

连接尚未发出时可按约定重试;已发送、半段响应或读写超时,先核对,别自动重复计费或输出。重试使用剩余连接预算,每次三秒不等于总共三秒。

取消请求也不保证旧回调不写 UI。每轮捕获自己的 controller、账号版本和原文,返回时确认仍是当前轮、signal 未取消、账号未变且页面仍在。故意让旧请求晚到,核对它不盖新结果、不结束新 loading、不写旧账号数据。

来源与当时边界

原始记录 连接重试要和等待模型 · 原始记录 2026-11-01