Наш основной процесс загружает несколько гигабайт входных данных, а затем запускает (разветвляет) кучу воркеров для обработки разных их частей. Последний рабочий пакет запускается значительно позже первого, но ни один из них не начинает работать, пока не будут запущены все.
Это не только тратит время, но и создает нежелательную синхронизацию. Есть ли способ заставить каждого рабочего работать сразу после разветвления, не дожидаясь, пока пул завершит разветвление всех своих братьев и сестер?
Использование python-3.13 в Linux...
Мобильная версия