跳转至

使用Celery分发任务

在上一章中,我们了解并使用了并行 Python(parallel Python)。 我们看到了案例研究的实施,包括斐波那契数列项和使用并行 Python 模块的 Web 爬虫。 我们学习了如何使用管道在进程之间建立通信,以及如何在网络中的不同机器之间分配进程。 在本章中,我们将研究如何使用 Celery 框架在网络中的不同机器之间分发任务。

在本章中,我们将讨论以下主题:

  • 理解 Celery
  • 理解 Celery 的架构
  • 搭建环境
  • 分派一个简单的任务
  • 使用 Celery 获取斐波那契数列项
  • 使用 Celery 制作分布式网络爬虫

最后更新: 2023年3月6日
创建日期: 2023年2月27日