Celery

定义

Celery 是 Python 生态中最流行的分布式任务队列框架,由 Ask Solem 创建,用于把耗时操作从请求流程中剥离,交给后台 Worker 异步执行。它自身不存储消息,依赖外部消息中间件(称为 Broker,常用 RabbitMQ 或 Redis)传递任务。

工作方式

开发者用装饰器把普通函数声明为任务(task),调用 delay() 或 apply_async() 时,任务名与参数被序列化成消息发往 Broker;Worker 进程消费消息并执行函数,结果可写入结果后端(Redis、数据库等)供查询。配套的 Celery Beat 提供周期性任务调度。

特性

支持任务重试、超时、限流、优先级、任务编排(chain、group、chord)以及多队列路由;Worker 可多机部署、按队列水平扩展。

应用与局限

典型用途包括发邮件、生成报表、图像处理等 Web 后台任务,与 Django、Flask 集成成熟。局限是配置项繁多、监控排障较费力(常配 Flower 面板),Windows 支持有限。