Я сделал довольно простую программу, просто чтобы протестировать параллельную обработку чтения файлов, она получает папку, перечисляет все файлы в папке, читает содержимое и помещает его в список:
Код: Выделить всё
from tqdm import tqdm #Just prints a pretty progressbar
from multiprocessing import Pool
from os import listdir
folder = 'dungeon/' #previously folder = 'buff/'
def read_file(file):
with open(folder+file,'rb') as f:
return f.read()
def read_parallel(files):
with Pool() as p:
l = list(tqdm(p.imap(read_file, files), total=len(files)))
return l
def main():
files = listdir(folder)
l = read_parallel(files)
Код: Выделить всё
script.py
dungeon
->dungeon_1.lua
->dungeon_2.lua etc.
buff
->buff_1.lua
->buff_2.lua etc.
Затем я запустил его еще раз, но изменил строка в папку = 'dungeon/' и возникла ошибка FileNotFoundError: [Errno 2] Нет такого файла или каталога: '../Src/EN/gamecfg/dungeon/buff_1.lua', поднята в части open(folder.file, 'rb'). Что неудивительно, поскольку этого файла не существует, он появляется только в каталоге buff.
Затем я запустил его еще раз, ничего не меняя, и он просто заработал.
Я просто не понимаю, почему это произошло, и мне интересно, могу ли я после этого по-прежнему доверять listdir. (Также не стесняйтесь сообщать мне, плохой ли это способ быстрого чтения большого количества небольших файлов.)
Подробнее здесь: https://stackoverflow.com/questions/786 ... -directory