Реализуется ли Context Manager (должным образом) HuggingFace Accelerate's init_empty_ewheways (должным образом)? ⇐ Python

[Anonymous]

Обсуждение < /h1>
init_empty_empty_ewhewess () () правильно загружает все текстовые кодеры, которые я протестировал на мета -устройство Pytorch и не потребляет очевидную память или дисковое пространство во время загрузки. Они загружены на устройства «ЦП» или «CUDA» и заставили память, которую можно было бы использовать как очевидную через менеджер по производительности Windows 11.
init_empty_wehles () реализовано по -разному, неверно или не совсем не для Diffusers по сравнению с текстовыми энкодерами? /> init_empty_weights () работает для Text encoder < /h2>
with init_empty_weights():
text_encoder_2 = T5EncoderModel.from_pretrained(
"black-forest-labs/FLUX.1-dev",
subfolder="text_encoder_2",
torch_dtype=torch.float32
)

text_encoder_2.device
< /code>
jupyter Notebbook Ответ: < /p>
device(type='meta')
< /code>
Как и ожидалось, модель загружается только в Meta Device, а монитор производительности Windows 11 не показывает дополнительного ОЗУ или использования VRAM. < /p>
init_empty_weights (), кажется, не работает для диффузоров < /h2>
init_empty_weews (), кажется, не работает для flux> < /h3>

init_empty_weews ().with init_empty_weights():
transformer = FluxTransformer2DModel.from_pretrained(
"black-forest-labs/FLUX.1-dev",
subfolder="transformer",
torch_dtype=torch.bfloat16,
device_map="auto"
)

transformer.device
< /code>
jupyter Notebbook Ответ: < /p>
device(type='cuda', index=0)
< /code>
Неожиданно (для меня), модель была загружена в GPU #0 (вице -мета), а монитор производительности Windows 11 показывает соответствующее увеличение использования VRAM. < /p>
init_empty_weights (), похоже, не работает для sdxl < /h3>
init_empty_weights () не работает для sdxl < /h3>
init_empty_weights ().with init_empty_weights():
pipeline = StableDiffusionXLPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
torch_dtype=torch.float16,
variant="fp16",
use_safetensors=True
)

pipeline.unet.device
< /code>
jupyter Notebbook Ответ: < /p>
device(type='cpu')
< /code>
Неожиданно (для меня), модель была загружена в CPU (вице -meta), а монитор производительности Windows 11 показывает соответствующее увеличение использования оперативной памяти. infer_auto_device_map (), позволяя ускорить, чтобы сделать лучшее предположение относительно того, на какое устройство должно быть загружено различные уровни модели. Загрузка полных моделей просто для получения своей формы медленная. Возможно (хотя и неудобно) загрузить полную модель, получить предполагаемую карту устройства, вывести текстовое представление этой карты устройства в текст, перезапустите ядро Python, назначить текст карты устройства вывода на новую карту устройства и, наконец, использовать новую карту устройства при загрузке модели во второй раз. Неловкий обходной путь.

Подробнее здесь: https://stackoverflow.com/questions/797 ... rly-implem