Почему обучение моделей в Pytorch стало очень медленным? ⇐ Python

[Anonymous]

Я сталкиваюсь со странным поведением при использовании pytorch/cuda для обучения моделей: я заметил, что модели обучения, которым раньше требовалось мало времени для завершения каждой эпохи обучения, теперь требуют гораздо больше времени.
Например, относительно простая модель, подобная этой, с фиксированным набором данных и обученная на cuda, раньше занимала примерно 100 секунд за эпоху, включая проходы вперед, назад и некоторые другие небольшие вычисления, связанные со сценарием обучения (аналогично это), тогда как теперь тот же сценарий занимает 30 минут!
Назначив счетчик tqdm пакетному циклу, я могу наблюдать, что выполняется только ~1,5 итераций в секунду.
Более того, я также заметил, что обучение процессора замедляется, возможно, эти две вещи коррелируют(?).
Первоначально я столкнулся с этой проблемой при установка pytorch 2.2 и cuda 12.1, поэтому, подумав, что это связано с этими версиями, я повторно запустил чистую установку обеих, но та же проблема возникает и с версиями 2.4 и 12.4. . Я работаю на машине с Windows, и у меня есть драйвер 551.78.
Может ли кто-нибудь сказать мне, в чем может быть причина и/или что проверить? Может ли это быть связано с проблемами совместимости с другими библиотеками?

Подробнее здесь: https://stackoverflow.com/questions/790 ... in-pytorch