Эффективное создание больших пакетов PDF-файлов (более 200 000) в .NET: многопоточностьC#

Место общения программистов C#
Ответить
Anonymous
 Эффективное создание больших пакетов PDF-файлов (более 200 000) в .NET: многопоточность

Сообщение Anonymous »

Я разрабатываю систему создания PDF-файлов на .NET (C#), которая извлекает данные, отображает их в отчете RDLC, преобразует отчет в PDF-файл с помощью iTextSharp и шифрует каждый PDF-файл с помощью пароля. Размер PDF составляет в среднем 141 КБ. Мой рабочий процесс включает в себя:
  • Извлечение данных из базы данных в набор данных со всеми записями.
  • Создание новой таблицы данных для заполнения одной записи, клонирование набора данных и отображение одного PDF-файла для каждой строки.
  • Я создаю более 200 000 PDF-файлов, поэтому управление ресурсами имеет решающее значение. Я изучаю способы эффективного использования многопоточности или параллельной обработки для ускорения процесса. Мои первоначальные идеи включают в себя:
Пакетная обработка с помощью пользовательских потоков: разделите PDF-файлы на пакеты и обрабатывайте каждый пакет отдельно. нить с использованием ThreadPool или TPL (библиотека параллельных задач)
Учитывая большой объем PDF-файлов, какой подход будет идеальным для оптимизации производительности и управления ресурсами? Должен ли я отдать приоритет ThreadPool, TPL или какой-либо другой стратегии? Существуют ли какие-либо конкретные шаблоны или методы в .NET, которые могут быть здесь полезны?
Сначала я пытался использовать созданные вручную потоки для пакетной генерации PDF-файлов, но этот подход занял около 2 дней. создать 200 000 PDF-файлов. Я подозреваю, что это связано с накладными расходами на создание и управление таким количеством потоков, а также с конкуренцией за ресурсы (ЦП, память и ввод-вывод) при одновременном запуске множества потоков.
Что я могу сказать? Ожидаемое:
Я надеялся на гораздо более быстрый подход за счет распараллеливания рабочей нагрузки, в идеале выполнение задачи за несколько часов или меньше. Я ожидал, что использование более оптимизированного подхода может значительно сократить время обработки.

Подробнее здесь: https://stackoverflow.com/questions/791 ... ithreading
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «C#»