Эффективное создание больших пакетов PDF-файлов (более 200 000) в .NET: многопоточность ⇐ C#

[Anonymous]

Я разрабатываю систему создания PDF-файлов в .NET с использованием C#, которая извлекает данные, отображает их в отчете RDLC, преобразует отчет в PDF-файл с помощью iTextSharp и шифрует каждый PDF-файл с помощью пароля. Размер PDF в среднем составляет 141 КБ.
Мой рабочий процесс включает в себя:

[*]Извлечение данных из базы данных. в набор данных со всеми записями

[*]Создание новой таблицы данных для заполнения одной записи, клонирование набора данных и отображение одного PDF-файла для каждой строки

[*]Я создаю более 200 000 PDF-файлов, поэтому управление ресурсами имеет решающее значение

< /ol>
Я изучаю способы эффективного использования многопоточности или параллельной обработки для ускорения процесса.
Мои первоначальные идеи включают пакетную обработку с использованием пользовательских потоков: разделить PDF-файлы разбиваются на пакеты и обрабатываются каждый пакет в отдельном потоке с использованием ThreadPool или TPL (библиотека параллельных задач).
Учитывая большое количество PDF-файлов, какой подход будет идеальным для оптимизации производительности и управлять ресурсами? Должен ли я отдать приоритет ThreadPool, TPL или какой-либо другой стратегии? Существуют ли какие-либо конкретные шаблоны или методы в .NET, которые могут быть здесь полезны?
Сначала я пытался использовать созданные вручную потоки для обработки пакетного создания PDF-файлов, но этот подход занял около 2 дней. создать 200 000 PDF-файлов. Я подозреваю, что это связано с накладными расходами на создание и управление таким количеством потоков, а также с конкуренцией за ресурсы (ЦП, память и ввод-вывод) при одновременном запуске множества потоков.
Чего я ожидаю: я надеялся на гораздо более быстрый подход за счет распараллеливания рабочей нагрузки, в идеале выполнение задачи за несколько часов или меньше. Я ожидал, что использование более оптимизированного подхода может значительно сократить время обработки.

Подробнее здесь: https://stackoverflow.com/questions/791 ... ithreading