ATTRIBUTERROR: объект 'clipimageProcessor' не имеет атрибута «patch_size» при загрузке модели Llava с тонкой настройкой ⇐ Python

[Anonymous]

Я имею тонкую настройку модели Llava (большой язык и видение) в Google Colab и сохранил ее на моем Google Drive. Вот как я сохранил модель: < /p>

Код: Выделить всё

from google.colab import drive
drive.mount('/content/drive', force_remount=True)
import os

save_path = "/content/drive/MyDrive/fineTune model1/LLaVA-med-MAKAUT_v1"
os.makedirs(save_path, exist_ok=True)

trainer.model.save_pretrained(save_path)
trainer.tokenizer.save_pretrained(save_path)
processor.image_processor.save_pretrained(save_path)
< /code>
После сохранения моя папка Google Drive содержит следующие файлы: < /p>
[list]
[*] readme.md
< /li>
 adapter_model.safetensorsобразно >
< /li>
tokenizer_config.json
< /li>
 special_tokens_map.json
< /li>
 added_tokens.json
< /li>
tokenizer.model
< /li>
tokenizer.json написан >
< /li>
 conconfig.json
< /li>
< /ul>
Однако , когда я пытаюсь загрузить модель для тестирования, я получаю атрибут, связанный с patch_size: < /p>
import torch
from PIL import Image
from transformers import LlavaProcessor, LlavaForConditionalGeneration, CLIPImageProcessor

model_path = "/content/drive/MyDrive/fineTune model/LLaVA-med-MAKAUT_v1"
processor1 = LlavaProcessor.from_pretrained(model_path)
< /code>
Проверка размера патча из модели Vision_config < /p>
patch_size = new_model_v1.config.vision_config.patch_size
print("Patch size:", patch_size)
< /code>
output: < /p>
Patch size: 14
< /code>
Ошибка возникает здесь: < /p>
print(processor1.image_processor.patch_size)
< /code>
Сообщение об ошибке: < /p>
AttributeError: 'CLIPImageProcessor' object has no attribute 'patch_size'
< /code>
Что я пробовал: < /p>

  Убедитесь, что модель правильно сохранена и загружена. < /p >
< /li>
  подтверждая, что размер патча присутствует в конфигурации зрения модели (patch_size: 14). < /p>
< /li>    Попытка вручную установить patch_size: < /p>
processor1.image_processor.patch_size = 14

[/list]
Однако это не является правильным подходом, так как Cliasimage Processor не имеет этого атрибута.
Вопросы: < /p>

• Почему cootimage -processor не хватает атрибута patch_size, даже если он определен в модели Vision_config? < /li>
  Каков правильный способ убедиться, что процессор Llava выровнялся с конфигурацией тонкой модели, особенно в отношении patch_size? < /li>
  Есть ли рекомендуемый способ правильно загрузить и использовать тонкую модель Llava вместе с ее процессором для вывода в Colab?

Подробнее здесь: https://stackoverflow.com/questions/794 ... ize-when-l