Einführung

Führen Sie Asyncio-Aufgaben in Vanille-Sellerie aus

import asyncio

from .celeryapp import celeryapp


async def async_task():
    await asyncio.sleep(42)


@celeryapp.task
def regular_task():
    coro = async_task()
    asyncio.run(coro)

• Es klappt!
• Einfach
• Keine zusätzlichen externen Abhängigkeiten

• In jedem Worker wird eine Ereignisschleife erstellt.
• Es gibt keinen Kontextwechsel zwischen der Ausführung von Coroutinen
• Zu einem bestimmten Zeitpunkt führt der Worker nicht mehr als eine Coroutine aus
• Freigegebene Ressourcen werden nicht zwischen Aufgaben geteilt
• Boilerplate

Versuchen wir es kniffliger?

import asyncio
import threading

from .celeryapp import celeryapp

celeryapp.loop = asyncio.get_event_loop()
celeryapp.loop_runner = threading.Thread(
    target=celeryapp.loop.run_forever,
    daemon=True,
)
celeryapp.loop_runner.start()

async def async_task():
    await asyncio.sleep(42)


@celeryapp.task
def regular_task():
    coro = async_task()
    asyncio.run_coroutine_threadsafe(
        coro=coro,
        loop=celeryapp.loop,
    )

• Immer noch am arbeiten
• Noch mehr oder weniger effektiv
• Sogar Ressourcen mischen zwischen den Coroutinen innerhalb des Arbeiters.
• Es gibt noch keine zusätzlichen externen Abhängigkeiten

• Sellerie weiß nichts über Corutin
• Sie verlieren die Kontrolle über die Ausführung von Aufgaben
• Sie verlieren die Kontrolle über Ausnahmen
• Boilerplate

Formulierung des Problems

• Sollte arbeiten
• Coroutinen müssen wettbewerbsfähig sein
• Ressourcen sollten von vielen ausführbaren Dateien gemeinsam genutzt werden
• Kein Boilerplate
• Einfache vorhersehbare API

import asyncio

from .celeryapp import celeryapp


@celeryapp.task
async def async_task():
    await asyncio.sleep(42)

Zusammenfassung

Features kurz

• Asynchrones Task-Shedding
• Corutin-Unterstützung bei Selleriesignalen

Pläne

Beispiele

Andere