Почему я не могу импортировать из уже установленного autoawq? ⇐ Python

[Anonymous]

Для этого кода

из импорта awq AutoAWQForCausalLM из трансформеров импортировать AutoTokenizer model_path = 'lmsys/vicuna-7b-v1.5' quant_path = 'vicuna-7b-v1.5-awq' quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" } # Загрузить модель модель = AutoAWQForCausalLM.from_pretrained(model_path) tokenizer = AutoTokenizer.from_pretrained(model_path,trust_remote_code=True) Ошибка:
ImportError Traceback (последний вызов последним) в () ----> 1 из импорта awq AutoAWQForCausalLM 2 из трансформеров импортируют AutoTokenizer 3 4 model_path = 'facebook/opt-6.7b' 5 quant_path = "/Content/drive/models/opt-6.7b-awq" 3 кадра /usr/local/lib/python3.10/dist-packages/awq/__init__.py в 1 __version__ = "0.1.8" ----> 2 из awq.models.auto import AutoAWQForCausalLM /usr/local/lib/python3.10/dist-packages/awq/models/__init__.py в ----> 1 из .mpt import MptAWQForCausalLM 2 из импорта .llama LlamaAWQForCausalLM 3 из .opt import OptAWQForCausalLM 4 из .falcon import FalconAWQForCausalLM 5 из .bloom import BloomAWQForCausalLM /usr/local/lib/python3.10/dist-packages/awq/models/mpt.py в 72 из awq.utils.utils import set_module_name 73 из awq.modules.fused.block импорт MPTBlock ---> 74 из awq.modules.fused.model import MPTModel 75 76 класс MptFuser: /usr/local/lib/python3.10/dist-packages/awq/modules/fused/model.py в 3 после ввода списка импорта 4 из awq.utils, импорт Fused_utils ----> 5 из Transformers.modeling_outputs import BaseModelOutputWithPast, MoeModelOutputWithPast 6 из awq.modules.fused.block импорт MPTBlock, FalconDecoderLayer, LlamaLikeBlock, MixtralBlock 7 Ошибка ImportError: невозможно импортировать имя «MoeModelOutputWithPast» из «transformers.modeling_outputs» (/usr/local/lib/python3.10/dist-packages/transformers/modeling_outputs.py)