Загрузка данных из CSV в TensorFlow Model Maker занимает слишком много времени ⇐ Python

[Anonymous]

Я работал над обнаружением объектов с помощью Tensorflow Model Maker. Я использовал DataLoader.from_csv для загрузки файла csv, однако время работы занимает слишком много времени. В моем случае у меня получилось около 30 минут.
Мои пропорции данных такие:
На уровне файла изображения:

• 6002 последовательностей данных
• 756 тестов данных
• 745 проверок данных

На уровне ограничительной рамки:

• 127 577 последовательностей данных
• 16 638 тестов данных
• 14 950 проверок данных

Мой скрипт выглядел так:

Код: Выделить всё

#Load data using data loader into train_data, validation_data, and test_data
train_data, validation_data, test_data = object_detector.DataLoader.from_csv(f"dataset_train.csv")

Есть ли способ сделать это быстрее? Я прочитал документацию по GitHub Tensorflow здесь, я думаю, что они не обеспечивают многопоточность.


Подробнее здесь: https://stackoverflow.com/questions/793 ... e-too-long