Каковы эффективные стратегии сокращения времени обучения нейронной сети, особенно при работе с крупномасштабными наборам ⇐ Python

[Anonymous]

Каковы эффективные стратегии сокращения времени обучения нейронной сети, особенно при работе с крупномасштабными наборами данных в TensorFlow на графическом процессоре?
В настоящее время я работаю над проектом глубокого обучения с использованием нейронных сетей, созданных с помощью TensorFlow, и хотя на небольших наборах данных все работало гладко, теперь я сталкиваюсь со значительными узкими местами в производительности, поскольку размер моих данных увеличился. Текущий набор данных в несколько раз больше, чем тот, с которым я работал ранее, и это приводит к существенному увеличению времени обучения, даже с использованием ускорения графического процессора. Я использую графический процессор NVIDIA и уже оптимизировал основные параметры, такие как размер пакета и скорость обучения, но замедление все еще наблюдается.
Существуют ли продвинутые методы или менее известные стратегии, которые могли бы помочь сократить общее время обучения без ущерба для точности модели? Например, я слышал о таких методах, как обучение смешанной точности, но не уверен, полностью ли они применимы в моем случае или есть дополнительные нюансы, которые следует учитывать при их реализации. Кроме того, будут ли такие методы, как дистилляция модели или оптимизация конвейера данных, иметь существенное значение на этом этапе? Кроме того, существуют ли какие-либо оптимизации на аппаратном уровне, о которых мне следует знать, которые могли бы лучше использовать ресурсы моего графического процессора?
Мне также интересно понять, существуют ли конкретные архитектурные изменения, которые могут приведет к более быстрому обучению. Например, приведет ли переход на более эффективные архитектуры моделей, такие как EfficientNet или MobileNet, к значительному сокращению времени обучения при сохранении производительности? Будем очень признательны за любые идеи, советы или ссылки на исчерпывающие ресурсы, описывающие такие методы оптимизации.
До сих пор я пытался настроить размер пакета и скорость обучения, чтобы оптимизировать скорость обучения. Я также попытался использовать градиентную контрольную точку, чтобы уменьшить использование памяти, но, хотя это немного помогло, время обучения все равно слишком велико. Я ожидал, что эти изменения значительно улучшат скорость обучения, но улучшения были минимальными. Кроме того, я рассмотрел возможность использования обучения смешанной точности и убедился, что конвейер данных не является узким местом, оптимизировав его с помощью tf.data, но я все еще сталкиваюсь с проблемами при масштабировании набора данных.
Я Я надеялся, что эти методы существенно сократят время обучения, но мне интересно, есть ли дополнительные методы или оптимизации оборудования, которые мне следует рассмотреть, чтобы оказать большее влияние.

Подробнее здесь: https://stackoverflow.com/questions/790 ... time-espec