第 5 章 Python 异步、并发控制与任务执行
5.1 async/await 与并发
asyncio事件循环只调度就绪任务和 I/O 回调,不代替业务代码发请求。
我踩过的坑
- 以为协程“同进程”就能说明并发,还以为是事件循环替各协程发网络请求。
正确理解
async def不会让同步阻塞的操作自动变成非阻塞。网络请求是业务代码通过异步库发出的,事件循环只负责调度。await只在等待未完成的操作时才让其他任务运行;如果结果已经好了,可能立即返回。- 同一个事件循环里的任务通常在一个线程内交替执行。真正多核并行要用线程或进程,CPU 密集的任务更适合放到独立进程或 Worker。
5.2 串行与并发的选择
先查用户 ID 再查订单要串行;三个互不依赖的 API 才能并发。
图解:串行等待,与重叠等待
读图: 按本节的示例,三个独立的 I/O 任务耗时分别为 2、3、5 个时间单位;串行约 10,并发理想约 5。图只解释等待重叠,不是实测速度或多核并行承诺。
我踩过的坑
- 以为 A 跑 2 分钟、B 跑 3 分钟、C 跑 5 分钟依次执行也是“并发推进”。
正确理解
- 那其实是串行,总共约 10 分钟。如果三个任务主要在等 I/O,同时安排它们,让等待时间重叠,理想总耗时接近最长的 5 分钟,另有调度和资源开销。
- 用
create_task()或TaskGroup才是并发安排;按顺序写三个await,就是串行。 - 并发时其中一个出错,其他任务继续、取消还是补偿,要事先定好。完成顺序和写入顺序也可能不同,见第 5.4 节。
5.3 并发上限、超时与取消
容量靠信号量、有界队列和背压控制;超时和取消都要算清预算与清理成本。
我踩过的坑
- 超时后只按错误类型判断能不能重试,没考虑用户还能等多久。
- 只答出“协程比线程轻量”,说不出一千个协程同时请求为什么还是会拖垮服务。
- 只想到数据库乐观锁,漏了同一个事件循环里多个协程读改写共享状态的竞争。
- 以为
asyncio.wait_for(...,45)是 45 秒的强制杀进程。
正确理解
- 协程调度开销小,但带宽、连接池、线程池、数据库和模型 QPS 都有上限。用信号量、有界队列、背压和分层超时控制容量。
- 无界的
asyncio.Queue一直入队、消费跟不上,内存会涨到进程被杀。改用有界队列,满了就让生产者在await queue.put(...)等着,或者直接拒绝。 - 能不能重试看三件事:错误能否恢复、重复执行是否安全、还剩多少等待时间。天气这种只读查询可以有限重试;实时语音要低延迟,可能应该直接说“暂时查不到”,不能拿编造的默认天气冒充结果。
- 取消是协作式的,任务要在
finally里释放资源。取消不会撤销已经产生的外部副作用,单独创建的子任务也不会自动跟着结束。 - 跨
await的共享读改写可以用asyncio.Lock互斥,避免两个协程都基于旧值更新。它只保护同一个事件循环,不管多进程和多机器。 asyncio.wait_for(...,45)超时后会取消请求,但取消可能卡在async with的await close()清理里继续等远端,外层迟迟不返回。请求超时、取消响应、资源关闭耗时和连接泄漏要分开测;再套一层wait_for,也不能保证清理有绝对的时间上限。- 同步 SDK 与异步客户端的超时差异,案例见附录 A.5.1。
5.4 完成顺序与提交顺序
先创建的任务不一定先结束,要保序就得显式保序。
我踩过的坑
- 并发处理多条消息时,快的先完成,但业务要求按用户发送顺序写入或回复。
正确理解
- 需要保序时,可以在结果汇总、持久化或回复阶段按顺序处理,也可以让同一会话串行执行。
5.5 后台队列与 Worker
领取、ACK、重试、积压和死信,才是后台 Worker 的主要工作。
正确理解
- 后台 Worker 除了取任务,还要处理领取、ACK、重试、退避、超时、积压、死信和重复执行。
- 任务在 MQ 里排了多久、Worker 真正处理了多久,是两个不同的耗时指标,要分开看。
- 这些词的意思(AI 补充,待学习):ACK 是消费者确认处理完,消息才算完成;重试配退避,避免一起撞向已经出问题的下游;死信队列存放多次失败的消息,等人查,免得一直堵住队列。
- 确认时机决定丢和重:先确认再处理可能丢任务,处理完再确认可能重复执行,所以任务本身要幂等,见第 4.7 节。
5.6 协程、事件循环、Task、Future
四个对象分工不同,混在一起就会误判
await、调度和取消的行为。
| 对象 | 真正负责什么 |
|---|---|
| Coroutine | async def 调用得到的可等待对象;业务逻辑在协程中运行 |
| Event Loop | 调度就绪任务和 I/O 回调 |
| Task | 把协程安排给事件循环执行,跟踪完成、异常与取消 |
| Future | 表示未来才会完成的结果;由完成操作的回调或代码设置结果或异常 |
我踩过的坑
- 以为
await是自己完成后再等别人;Task 只管监控有没有结束;Future 需要“有人填一下”。
正确理解
await等待一个异步对象,必要时挂起当前协程。Task 负责驱动协程被调度,不只是看它结束没有。- Future 确实要有代码来填结果:异步操作完成后,由回调或相关代码调用
set_result写入。等待方只管等,不用自己去填。 - 顶层协程可以用
asyncio.run执行,协程里也可以直接await其他协程,不是都要显式create_task。
Python 空白处理(历史提问,待学习):“text.split() 只写了一种调用方式,为什么既能按普通空格拆开,也能按换行拆开?”不带参数的 split() 会按连续空白拆分;strip() 只去掉两头,split(" ") 则明确按普通空格。" ".join(text.split()) 压缩空白,"".join(text.split()) 删除空白;处理正文或代码前先确定是否允许改变内部空白。
来源:后端-Python与接口实践。
5.7 async for 与后台任务清理
async for逐项处理,不保证每项并发;长期任务要由生命周期流程创建、监控、清理。
我踩过的坑
- 把后台任务与服务生命周期管理当成同一件事。
正确理解
async for从异步迭代器逐项取数据,可以边收边处理,但它本身不保证每项并发执行。- 定时心跳、连接检查这类长期任务,是由服务启动、关闭流程创建、监控和清理的对象,不是生命周期机制本身。
- 独立创建的 Task 要保留引用、检查异常,停止时取消并等待清理。
TaskGroup有明确的成组等待和失败传播;用gather()或自己管理时,异常和取消策略要自己定,见 Python 异步任务文档。 - 设计练习:每 5 分钟检查一次数据库连接、连续失败 3 次报警,应该用周期后台任务或外部调度,不要每个用户请求触发一次;多 worker 部署还要防止每个实例都跑一遍。这是练习题,不代表功能已上线。
- 心跳练习(尚未落地):我知道心跳是检查连接是否还活着,但没说出间隔和失败阈值。比如每 30 秒探测一次、连续漏 2~3 次才判异常,能减少网络抖动误报,具体取值按网络环境、故障发现时限和成本测试。判定失败后还要明确是重连、摘流量还是通知谁,不能只改一个标志位。
本章原始笔记
5.8 连接重试、模型等待和旧回调分开保护(待学习)
连接尚未发出时可按约定重试;已发送、半段响应或读写超时,先核对,别自动重复计费或输出。重试使用剩余连接预算,每次三秒不等于总共三秒。
取消请求也不保证旧回调不写 UI。每轮捕获自己的 controller、账号版本和原文,返回时确认仍是当前轮、signal 未取消、账号未变且页面仍在。故意让旧请求晚到,核对它不盖新结果、不结束新 loading、不写旧账号数据。