ATTRIBUTERROR: объект 'clipimageProcessor' не имеет атрибута «patch_size» при загрузке модели Llava с тонкой настройкой ⇐ Python

[Anonymous]

Я имею тонкую настройку модели Llava (большой язык и видение) в Google Colab и сохранил ее на моем Google Drive. Вот как я сохранил модель: < /p>
'' '< /p>

Код: Выделить всё

from google.colab import drive
drive.mount('/content/drive', force_remount=True)
import os

save_path = "/content/drive/MyDrive/fineTune model1/LLaVA-med-MAKAUT_v1"
os.makedirs(save_path, exist_ok=True)

trainer.model.save_pretrained(save_path)
trainer.tokenizer.save_pretrained(save_path)
processor.image_processor.save_pretrained(save_path)
< /code>
'' '< /p>
После сохранения моя папка Google Drive содержит следующие файлы: < /p>
[list]
[*] readme.md

[*] adapter_model.safetensors

[*] adapter_config.json написан /> special_tokens_map.jsonобразное />tokenizer.model написан /> preprocessor_config.jsonобразное /> [/list]
Однако, когда я пытаюсь загрузить модель для тестирования, я получаю атрибут, связанный с patch_size: 
'' '
import torch
from PIL import Image
from transformers import LlavaProcessor, LlavaForConditionalGeneration, CLIPImageProcessor

model_path = "/content/drive/MyDrive/fineTune model/LLaVA-med-MAKAUT_v1"
processor1 = LlavaProcessor.from_pretrained(model_path)

'' '
Проверка размера патча из модели Vision_config
' ''

Код: Выделить всё

patch_size = new_model_v1.config.vision_config.patch_size
print("Patch size:", patch_size)

'' '
output: patch size: 14
Ошибка возникает здесь:
'' '< /p>

Код: Выделить всё

print(processor1.image_processor.patch_size)
< /code>
'' '< /p>
Сообщение об ошибке: < /p>
' '' < /p>
AttributeError: 'CLIPImageProcessor' object has no attribute 'patch_size'
< /code>
'' '< /p>
Что я пробовал:
Обеспечение того, чтобы модель была должным образом сохранена и загружена.
подтверждает это Размер патча присутствует в конфигурации видения модели (patch_size: 14).
Попытка вручную установить patch_size: < /p>
'' '< /p>
processor1.image_processor.patch_size = 14

'' '
Тем не менее, это не является правильным подходом, поскольку у Cliasimage Processor нет этого атрибута.
Вопросы: < /p>

• Почему cipimage -processor не хватает атрибута patch_size, даже если он определен в модели Vision_config? < /li>
  Каков правильный способ обеспечить совместимость процессора Llava с конфигурацией тонкой настройки модели, особенно в отношении patch_size? < /li>
  Есть ли рекомендуемый способ правильно загрузить и использовать Тонко настроенная модель Llava вместе с его процессором для вывода в Colab?

Подробнее здесь: https://stackoverflow.com/questions/794 ... ize-when-l