Итерация 150 тыс. записей с 5 столбцами через тип объекта в контейнере цикла foreach в SSIS с помощью хранимой процедурыC#

Место общения программистов C#
Ответить Пред. темаСлед. тема
Anonymous
 Итерация 150 тыс. записей с 5 столбцами через тип объекта в контейнере цикла foreach в SSIS с помощью хранимой процедуры

Сообщение Anonymous »

У меня есть вариант использования, когда мне нужно просмотреть все строки таблицы и применить некоторые преобразования (а также обновления) для каждой строки.
Ниже показано, как я это делаю. это сейчас -
  • Создал переменную типа объекта и извлек в нее все 150 тыс. строк данных из таблицы, используя полный набор результатов с помощью задачи «Выполнение sql». (имеет 4 столбца в нем)
  • Использовал контейнер цикла foreach для итерации каждой строки, полученной на шаге 1.
    Внутри контейнера цикла foreach снова использовал Execute sql, в которой я вызываю хранимую процедуру с параметрами в виде 4 столбцов в строке.
    ПРИМЕЧАНИЕ: хранимая процедура имеет несколько проверок и один оператор обновления, который будет выполняться для всех 150 тысяч записей.
Проблема в том, что обработка всех 150 тысяч записей занимает почти 3,5 часа, и это может быть неприемлемо, поскольку мне, возможно, придется запускать этот процесс как минимум каждые 2 часа. .
Я также пытался использовать задачу сценария и внутри задачи сценария перебирать значение объекта с помощью ADO .net, но затраченное время почти такое же, более 3 часов.Кроме того, таблица, содержащая 150 тыс. записей, не имеет идентификатора первичного ключа.
Пожалуйста, помогите мне улучшить производительность этого процесса

Подробнее здесь: https://stackoverflow.com/questions/787 ... reach-loop
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «C#»