Последовательная обработка запросов в FastAPI, сохраняя при этом оперативность ⇐ Python

[Anonymous]

Мой сервер предоставляет API для ресурсоемкой работы по рендерингу. В работе, которую он выполняет, задействован графический процессор, поэтому сервер может обрабатывать только один запрос за раз. Клиент должен отправить задание и сразу же получить ответ 201 — ПРИНЯТО. Обработка может занять до минуты, а запросов может быть запланировано несколько десятков.
Вот что у меня получилось, сведенное к минимально воспроизводимому примеру:

Код: Выделить всё

import time
import asyncio
from fastapi import FastAPI, status

app = FastAPI()
fifo_queue = asyncio.Queue()

async def process_requests():
while True:
name = await fifo_queue.get()  # Wait for a request from the queue
print(name)
time.sleep(10)  # A RESOURCE INTENSIVE JOB THAT BLOCKS THE THREAD
fifo_queue.task_done()  # Indicate that the request has been processed

@app.on_event("startup")
async def startup_event():
asyncio.create_task(process_requests())  # Start the request processing task

@app.get("/render")
async def render(name):
fifo_queue.put_nowait(name)  # Add the request parameter to the queue
return status.HTTP_201_CREATED  # Return a 201 status code

Проблема этого подхода заключается в том, что сервер не отвечает. После отправки первого запроса он занят им все время и не отвечает, как я надеялся.

Код: Выделить всё

curl http://127.0.0.1:8000/render\?name\=001

В этом примере простая замена time.sleep(10) на await asyncio.sleep(10) решает проблему, но не в реальном случае использования ( хотя, возможно, дает подсказку о том, что я делаю неправильно).
Есть идеи?

Подробнее здесь: https://stackoverflow.com/questions/778 ... responsive