Уменьшение памяти Tensorflow TPU v2/v3 bfloat16 ⇐ Python

[Anonymous]

Моя модель слишком велика, чтобы получить партию >64 с обычными устройствами TPU v2. На сайте устранения неполадок упоминается, что в будущих версиях tensorflow будет поддержка bfloat16. Могут ли недавно поддерживаемые версии tf 1.9–1.12 использовать bfloat16, и если да, то есть ли ограниченный набор оптимизаторов, которые я могу использовать? Я не нашел никакой дополнительной документации по этому вопросу, но видел использование bfloat16 в модели tensor2tensor, так что я думаю, что должен быть способ.

Кроме того, я читал, что TPU v3 поддерживает и более крупные модели, но модель потребует минимальных изменений, но я не нашел документации о том, что нужно изменить.

Я уже использую Adafactor и Попробовал уменьшить мои слои, если у вас есть еще какие-нибудь советы по уменьшению, это тоже было бы здорово. В качестве входных данных я использую матрицы изображений и векторы слов (на данный момент float32).

Подробнее здесь: https://stackoverflow.com/questions/534 ... 3-bfloat16