Потребность в стратегии предложения для обработки в масштабе с использованием Python [закрыто] ⇐ Python

[Anonymous]

Я ищу информацию о том, как вы могли решить аналогичную проблему или решение, или если у вас могут быть какие -либо идеи или предложения. /> ограничения: Количество сообщений составляет 5+ миллионов в день, и каждая точка данных занимает ~ 1,5 секунды для обработки. Иметь 3 асинсио в каждом стручке: (1) , которые притягивают данные и подчиняются в входящей очереди асинсио, (2) , которые тянутся к очереди, подчиняется партиям данных в процесс, что можно сделать, и подчиняется на внешнюю asyncio Queueue, (3). Увеличение REDIS, выдвигает вывод в KAFKA и совершает последнее смещение. Даже тогда он ошеломляет в Kubernetes, поэтому я не могу выпустить 100% производительность.

Подробнее здесь: https://stackoverflow.com/questions/797 ... ing-python