Тихий выход при загрузке через FluxTransformer2DModel.from_single_file и без использования графического процессора. ⇐ Python

[Anonymous]

Я использую следующий тестовый код, но при запуске FluxTransformer2DModel.from_single_file он просто потребляет около 15 ГБ ОЗУ (у меня все еще есть около 7 ГБ свободной ОЗУ), не используя графический процессор (4070TI с 12 ГБ видеопамяти) и просто молча выход на блоке нагрузочного трансформатора через 1-2 минуты и обратно на терминал без каких-либо ошибок.
Я пробовал несколько конфигураций, которые у меня не сработали.
У меня нет проблем ни с графическим процессором, ни с версией CUDA при использовании Torch — если я использую только FluxPipeline.from_pretrained, я вижу, что VRAM исчерпана до тех пор, пока у модели не закончится память.
Я Я запускаю это, используя контейнер разработчика vscode (nvcr.io/nvidia/pytorch:24.08-py3), где хост-компьютер – Windows 11 с i713700/32 ГБ.

Код: Выделить всё

transformer = FluxTransformer2DModel.from_single_file(
"./flux-text-to-image/flux-fp8/flux1-dev-fp8.safetensors",
torch_dtype=dtype,
use_safetensors=True,
local_files_only=False,
variant="fp16" if torch.cuda.is_available() else "fp32",
device_map="auto",  # This should handle multi-GPU setups or fallback to CPU if needed,
offload_folder="./offload",  # Save parts of the model to disk if needed
)

pipe = FluxPipeline.from_pretrained(
"./flux-text-to-image/FLUX.1-dev",
transformer=transformer,
local_files_only=False,
device_map="auto",  # This should handle multi-GPU setups or fallback to CPU if needed
torch_dtype=dtype,
)

Хотелось бы получить информацию о том, чего мне здесь не хватает.
Примечания:

• Доступно CUDA: верно
• Версия CUDA: 12.6
• Графический процессор: NVIDIA GeForce RTX 4070Ti 12 ГБ
  < li>Использование устройства: cuda
• Использование dtype: torch.float16

Подробнее здесь: https://stackoverflow.com/questions/790 ... and-no-gpu