Эффективное создание больших пакетов PDF-файлов (более 200 000) в .NET: многопоточность ⇐ C#

[Anonymous]

Я разрабатываю систему создания PDF-файлов на .NET (C#), которая извлекает данные, отображает их в отчете RDLC, преобразует отчет в PDF-файл с помощью iTextSharp и шифрует каждый PDF-файл с помощью пароля. Размер PDF составляет в среднем 141 КБ. Мой рабочий процесс включает в себя:

• Извлечение данных из базы данных в набор данных со всеми записями.
• Создание новой таблицы данных для заполнения одной записи, клонирование набора данных и отображение одного PDF-файла для каждой строки.
• Я создаю более 200 000 PDF-файлов, поэтому управление ресурсами имеет решающее значение. Я изучаю способы эффективного использования многопоточности или параллельной обработки для ускорения процесса. Мои первоначальные идеи включают в себя:

Пакетная обработка с помощью пользовательских потоков: разделите PDF-файлы на пакеты и обрабатывайте каждый пакет отдельно. нить с использованием ThreadPool или TPL (библиотека параллельных задач)
Учитывая большой объем PDF-файлов, какой подход будет идеальным для оптимизации производительности и управления ресурсами? Должен ли я отдать приоритет ThreadPool, TPL или какой-либо другой стратегии? Существуют ли какие-либо конкретные шаблоны или методы в .NET, которые могут быть здесь полезны?
Сначала я пытался использовать созданные вручную потоки для пакетной генерации PDF-файлов, но этот подход занял около 2 дней. создать 200 000 PDF-файлов. Я подозреваю, что это связано с накладными расходами на создание и управление таким количеством потоков, а также с конкуренцией за ресурсы (ЦП, память и ввод-вывод) при одновременном запуске множества потоков.
Что я могу сказать? Ожидаемое:
Я надеялся на гораздо более быстрый подход за счет распараллеливания рабочей нагрузки, в идеале выполнение задачи за несколько часов или меньше. Я ожидал, что использование более оптимизированного подхода может значительно сократить время обработки.

Подробнее здесь: https://stackoverflow.com/questions/791 ... ithreading