使用Celery分发任务
在上一章中,我们了解并使用了并行 Python(parallel Python)。 我们看到了案例研究的实施,包括斐波那契数列项和使用并行 Python 模块的 Web 爬虫。 我们学习了如何使用管道在进程之间建立通信,以及如何在网络中的不同机器之间分配进程。 在本章中,我们将研究如何使用 Celery 框架在网络中的不同机器之间分发任务。
在本章中,我们将讨论以下主题:
- 理解 Celery
- 理解 Celery 的架构
- 搭建环境
- 分派一个简单的任务
- 使用 Celery 获取斐波那契数列项
- 使用 Celery 制作分布式网络爬虫
最后更新:
2023年3月6日
创建日期: 2023年2月27日
创建日期: 2023年2月27日