Заказ пакетной нормализации и отсева? ⇐ Python

[Anonymous]

Первоначальный вопрос касался именно реализации TensorFlow. Однако ответы касаются реализаций в целом. Этот общий ответ также является правильным ответом для TensorFlow.

При использовании пакетной нормализации и исключения в TensorFlow (в частности, при использовании contrib.layers) мне нужно беспокоитесь о порядке?

Возможно, если я использую отсев с последующей пакетной нормализацией, могут возникнуть проблемы. Например, если сдвиг в пакетной нормализации обучается к более крупным масштабным числам обучающих выходных данных, но затем тот же сдвиг применяется к меньшим (из-за компенсации за наличие большего количества выходных данных) масштабным числам без исключения во время тестирования, то это смена может быть выключена. Компенсирует ли это уровень пакетной нормализации TensorFlow автоматически? Или этого не происходит по какой-то причине, которую я упускаю?

Кроме того, есть ли другие подводные камни, на которые следует обратить внимание при совместном использовании этих двух средств? Например, если я использую их в правильном порядке, как указано выше (при условии, что есть правильный порядок), могут ли возникнуть проблемы с использованием как пакетной нормализации, так и исключения на нескольких последовательных слоях? Я не сразу вижу в этом проблему, но, возможно, я что-то упускаю.

Большое спасибо!

ОБНОВЛЕНИЕ:

Экспериментальный тест кажется показал, что порядок имеет значение . Я запускал одну и ту же сеть дважды, используя только пакетную норму и обратный отсев. Когда отсев превышает норму партии, потери при проверке, похоже, растут, поскольку потери при обучении снижаются. В другом случае они оба падают. Но в моем случае движения медленные, поэтому после дополнительных тренировок все может измениться, и это всего лишь одиночный тест. Будем признательны за более точный и обоснованный ответ.

Подробнее здесь: https://stackoverflow.com/questions/396 ... nd-dropout