Как правильно реализовать потребителя-производителя в Python ⇐ Python

[Anonymous]

У меня есть два потока в шаблоне производитель-потребитель. Когда потребитель получает данные, он вызывает трудоемкую функцию дорогой(), а затем входит в цикл for.
Но если во время работы потребителя поступают новые данные, он должен прервать текущую работу (выйти из цикла) и начать с новыми данными.
Я попробовал с очередью. Поставьте в очередь что-то вроде этого:

Код: Выделить всё

q = queue.Queue()

def producer():
while True:
...
q.put(d)

def consumer():
while True:
d = q.get()
expensive(d)
for i in range(10000):
...
if not q.empty():
break

Но проблема с этим кодом заключается в том, что если производитель помещает данные слишком быстро и в очереди оказывается много элементов, потребитель выполнит вызов дорогостоящего(d) плюс одну итерацию цикла, а затем прекратит работу для каждого элемента, что отнимает много времени. Код должен работать, но не оптимизирован.

Подробнее здесь: https://stackoverflow.com/questions/670 ... -in-python