Как загрузить предварительную модель трансформатора Huggingface непосредственно в GPU? ⇐ Python

[Anonymous]

Я хочу загрузить предварительную модель трансформатора, предварительно проведенную в Grugingface, на графический процессор (недостаточно пространства процессора)
e.g. Загрузка Bert < /p>

Код: Выделить всё

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("bert-base-uncased")
< /code>
будет загружен в процессор до выполнения < /p>
model.to('cuda')

Теперь модель загружается в графический процессор
Я хочу загрузить модель непосредственно в графический процессор при выполнении From_pretrained . Это возможно?

Подробнее здесь: https://stackoverflow.com/questions/772 ... tly-to-gpu