Развертывание моделей HuggingFace на AWS: файл конфигурации необходим на локальном компьютере. ⇐ Python

[Anonymous]

Я пытаюсь развернуть эту модель на AWS через Sagemaker:
https://huggingface.co/mosaicml/mpt-7b-chat
Я сгенерировал код с той же страницы, которая выглядит следующим образом:

Код: Выделить всё

from sagemaker.huggingface import HuggingFaceModel
import sagemaker

role = sagemaker.get_execution_role()
# Hub Model configuration. https://huggingface.co/models
hub = {
'HF_MODEL_ID':'mosaicml/mpt-7b-chat',
'HF_TASK':'text-generation'
}

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
transformers_version='4.17.0',
pytorch_version='1.10.2',
py_version='py38',
env=hub,
role=role,
)

# deploy model to SageMaker Inference
predictor = huggingface_model.deploy(
initial_instance_count=1, # number of instances
instance_type='ml.m5.xlarge' # ec2 instance type
)

predictor.predict({
'inputs': "Can you please let us know more details about your "
})

Сбой кода при вызове «predict» с этой ошибкой:
Загрузка /.sagemaker/mms/models/mosaicml__mpt-7b-chat требует выполнения файла конфигурации в это репо на вашем локальном компьютере. Убедитесь, что вы прочитали код, чтобы избежать злонамеренного использования, а затем установите параметрtrust_remote_code=True, чтобы удалить эту ошибку.
как я могу развернуть модель через AWS?< /п>

Подробнее здесь: https://stackoverflow.com/questions/761 ... al-machine