Celery 简介

何为任务队列?

任务队列是一种在线程或机器间分发任务的机制。

消息队列的输入是工作的一个单元，称为任务，独立的职程（Worker）进程持续监视队列中是否有需要处理的新任务。

Celery 通常使用中间人(broker)进行信息通信在客户端和职称(workers)中间. 流程：开始一个任务, 客户端添加一个信息到队列, 中间人(broker) 传达到一个worker.

Celery系统可以包含多个workers 和 brokers, 以获取高可用性和横向扩展。

Celery由Python编写, 但协议可以用任何语言实现. 迄今，已有 Ruby 实现的 RCelery_ node.js 实现的 node-celery_ 和 PHP client_. 语言互通也可以通过 :ref:using webhooks <guide-webhooks>实现。

.. RCelery: http://leapfrogdevelopment.github.com/rcelery/ .. PHP client: https://github.com/gjedeer/celery-php .. _node-celery: https://github.com/mher/node-celery

需要什么？

.. sidebar:: 版本需求 :subtitle: Celery version 3.0 runs on

  1. - Python ❨2.5, 2.6, 2.7, 3.2, 3.3❩
  2. - PyPy ❨1.8, 1.9❩
  3. - Jython ❨2.5, 2.7❩.
  5. 这是最后一个支持 Python 2.5 的版本，也即从下个版本需要 Python 2.6 或更新版本的 Python。最后一个支持 Python 2.4 的版本为 Celery 2.2 系列。

Celery 需要一个发送和接受消息的传输者。RabbitMQ 和 Redis 中间人的消息传输支持所有特性，但也提供大量其他实验性方案的支持，包括用 SQLite 进行本地开发。

Celery 可以单机运行，也可以在多台机器上运行，甚至可以跨越数据中心运行。

开始

如果这是你第一次尝试 Celery，或你从以前版本刚步入 Celery 3.0，那么你应该阅读一下我们的入门教程：

  • :ref:first-steps
  • :ref:next-steps

Celery 是…

.. _mailing-list: http://groups.google.com/group/celery-users

.. topic:: 

  1. - **简单**
  3.     Celery易于使用和维护，并且它*不需要配置文件*。
  5.     Celery 有一个活跃、友好的社区来让你寻求帮助，包括一个`mailing-list`_ 和 :ref:`IRC channel <irc-channel>`.
  7.     下面是一个你可以实现的最简应用：
  9.     .. code-block:: python
  11.         from celery import Celery
  13.         app = Celery('hello', broker='amqp://guest@localhost//')
  15.         @app.task
  16.         def hello():
  17.             return 'hello world'
  19. - **高可用性**
  21.     倘若连接丢失或失败，职程和客户端会自动重试，并且一些中间人通过 **主/主** 或 **主/从** 方式复制来提高可用性。
  23. - **快速**
  25.     单个 Celery 进程每分钟可处理数以百万计的任务，而保持往返延迟在亚毫秒级（使用 RabbitMQ、py-librabbitmq 和优化过的设置）。
  27. - **灵活**
  29.     Celery 几乎所有部分都可以扩展或单独使用。可以自制连接池、 序列化、压缩模式、日志、调度器、消费者、生产者、自动扩展、 中间人传输或更多。

它支持

  1. .. hlist::
  2.     :columns: 2
  4.     - **中间人**
  6.         - :ref:`RabbitMQ <broker-rabbitmq>`, :ref:`Redis <broker-redis>`,
  7.         - :ref:`MongoDB <broker-mongodb>` (exp), ZeroMQ (exp)
  8.         - :ref:`CouchDB <broker-couchdb>` (exp), :ref:`SQLAlchemy <broker-sqlalchemy>` (exp)
  9.         - :ref:`Django ORM <broker-django>` (exp), :ref:`Amazon SQS <broker-sqs>`, (exp)
  10.         - and more…
  12.     - **并发(Concurrency)**
  14.         - prefork (multiprocessing),
  15.         - Eventlet_, gevent_
  16.         - threads/single threaded
  18.     - **结果存储**
  20.         - AMQP, Redis
  21.         - memcached, MongoDB
  22.         - SQLAlchemy, Django ORM
  23.         - Apache Cassandra
  25.     - **序列化**
  27.         - *pickle*, *json*, *yaml*, *msgpack*.
  28.         - *zlib*, *bzip2* 压缩.
  29.         - 密码学消息签名.

特性

.. topic:: 

  1. .. hlist::
  2.     :columns: 2
  4.     - **监视**
  6.         整条流水线的监视时间由职程发出，并用于内建或外部的工具告知你集群的工作状况——而且是实时的。
  8.         :ref:`深入了解… <guide-monitoring>`.
  10.     - **工作流**
  12.         一系列功能强大的称为“Canvas”的原语（Primitive）用于构建或简单、或复杂的工作流。包括分组、连锁、分割等等。
  14.         :ref:`深入了解… <guide-canvas>`.
  16.     - **时间和速率限制**
  18.         你可以控制每秒/分钟/小时执行的任务数，或任务的最长运行时间， 并且可以为特定职程或不同类型的任务设置为默认值。
  20.         :ref:`深入了解… <worker-time-limits>`.
  22.     - **计划任务**
  24.         你可以指定任务在若干秒后或在
  25.         :class:`~datetime.datetime`运行，或你可以基于单纯的时间间隔或支持分钟、小时、每周的第几天、每月的第几天以及每年的第几月的 crontab 表达式来使用周期任务来重现事件。
  27.         :ref:`Read more… <guide-beat>`.
  29.     - **自动重载入**
  31.         在开发中，职程可以配置为在源码修改时自动重载入，包含对 Linux 上的 inotify(7) 支持。
  33.         :ref:`Read more… <worker-autoreloading>`.
  35.     - **自动扩展**
  37.         根据负载自动重调职程池的大小或用户指定的测量值，用于限制共享主机/云环境的内存使用，或是保证给定的服务质量。
  39.         :ref:`Read more… <worker-autoscaling>`.
  41.     - **资源泄露保护**
  43.         The :option:`--maxtasksperchild` 选项用于控制用户任务泄露的诸如内存或文件描述符这些易超出掌控的资源。
  45.         :ref:`Read more… <worker-maxtasksperchild>`.
  47.     - **用户组件**
  49.         每个职程组件都可以自定义，并且额外组件可以由用户定义。职程是用 “bootsteps” 构建的——一个允许细粒度控制职程内构件的依赖图。

.. Eventlet: http://eventlet.net/ .. gevent: http://gevent.org/

框架集成

Celery is easy to integrate with web frameworks, some of which even have integration packages:

  1. +--------------------+------------------------+
  2. | `Django`_          | `django-celery`_       |
  3. +--------------------+------------------------+
  4. | `Pyramid`_         | `pyramid_celery`_      |
  5. +--------------------+------------------------+
  6. | `Pylons`_          | `celery-pylons`_       |
  7. +--------------------+------------------------+
  8. | `Flask`_           | not needed             |
  9. +--------------------+------------------------+
  10. | `web2py`_          | `web2py-celery`_       |
  11. +--------------------+------------------------+
  12. | `Tornado`_         | `tornado-celery`_      |
  13. +--------------------+------------------------+

The integration packages are not strictly necessary, but they can make development easier, and sometimes they add important hooks like closing database connections at :manpage:fork(2).

.. Django: http://djangoproject.com/ .. Pylons: http://pylonshq.com/ .. Flask: http://flask.pocoo.org/ .. web2py: http://web2py.com/ .. Bottle: http://bottlepy.org/ .. Pyramid: http://docs.pylonsproject.org/en/latest/docs/pyramid.html .. pyramid_celery: http://pypi.python.org/pypi/pyramid\_celery/ .. django-celery: http://pypi.python.org/pypi/django-celery .. celery-pylons: http://pypi.python.org/pypi/celery-pylons .. web2py-celery: http://code.google.com/p/web2py-celery/ .. Tornado: http://www.tornadoweb.org/ .. tornado-celery: http://github.com/mher/tornado-celery/

Quickjump

.. topic:: I want to ⟶

  1. .. hlist::
  2.     :columns: 2
  4.     - :ref:`get the return value of a task <task-states>`
  5.     - :ref:`use logging from my task <task-logging>`
  6.     - :ref:`learn about best practices <task-best-practices>`
  7.     - :ref:`create a custom task base class <task-custom-classes>`
  8.     - :ref:`add a callback to a group of tasks <canvas-chord>`
  9.     - :ref:`split a task into several chunks <canvas-chunks>`
  10.     - :ref:`optimize the worker <guide-optimizing>`
  11.     - :ref:`see a list of built-in task states <task-builtin-states>`
  12.     - :ref:`create custom task states <custom-states>`
  13.     - :ref:`set a custom task name <task-names>`
  14.     - :ref:`track when a task starts <task-track-started>`
  15.     - :ref:`retry a task when it fails <task-retry>`
  16.     - :ref:`get the id of the current task <task-request-info>`
  17.     - :ref:`know what queue a task was delivered to <task-request-info>`
  18.     - :ref:`see a list of running workers <monitoring-control>`
  19.     - :ref:`purge all messages <monitoring-control>`
  20.     - :ref:`inspect what the workers are doing <monitoring-control>`
  21.     - :ref:`see what tasks a worker has registered <monitoring-control>`
  22.     - :ref:`migrate tasks to a new broker <monitoring-control>`
  23.     - :ref:`see a list of event message types <event-reference>`
  24.     - :ref:`contribute to Celery <contributing>`
  25.     - :ref:`learn about available configuration settings <configuration>`
  26.     - :ref:`receive email when a task fails <conf-error-mails>`
  27.     - :ref:`get a list of people and companies using Celery <res-using-celery>`
  28.     - :ref:`write my own remote control command <worker-custom-control-commands>`
  29.     - :ref:`change worker queues at runtime <worker-queues>`

.. topic:: Jump to ⟶

  1. .. hlist::
  2.     :columns: 4
  4.     - :ref:`Brokers <brokers>`
  5.     - :ref:`Applications <guide-app>`
  6.     - :ref:`Tasks <guide-tasks>`
  7.     - :ref:`Calling <guide-calling>`
  8.     - :ref:`Workers <guide-workers>`
  9.     - :ref:`Daemonizing <daemonizing>`
  10.     - :ref:`Monitoring <guide-monitoring>`
  11.     - :ref:`Optimizing <guide-optimizing>`
  12.     - :ref:`Security <guide-security>`
  13.     - :ref:`Routing <guide-routing>`
  14.     - :ref:`Configuration <configuration>`
  15.     - :ref:`Django <django>`
  16.     - :ref:`Contributing <contributing>`
  17.     - :ref:`Signals <signals>`
  18.     - :ref:`FAQ <faq>`
  19.     - :ref:`API Reference <apiref>`

.. include:: ../includes/installation.txt