Как сохранить данные о следующем формате в файл для обучения на языке видения модели машинного обучения ⇐ Python

[Anonymous]

У меня есть данные о следующем формате JSON: < /p>
from datasets import load_dataset

train_dataset, eval_dataset, test_dataset = load_dataset(
"HuggingFaceM4/ChartQA",
split=['train[:5%]', 'val[:5%]', 'test[:5%]']
)
< /code>
[{'role': 'system',
'content': [{'type': 'text',
'text': 'You are a Vision Language Model specialized in interpreting visual data from chart images.\nYour task is to analyze the provided chart image and respond to queries with concise answers, usually a single word, number, or short phrase.\nThe charts include a variety of types (e.g., line charts, bar charts) and contain colors, labels, and text.\nFocus on delivering accurate, succinct answers based on the visual information. Avoid additional explanation unless absolutely necessary.'}]},
{'role': 'user',
'content': [{'type': 'image',
'image': },
{'type': 'text',
'text': 'Is the rightmost value of light brown graph 58?'}]},
{'role': 'assistant', 'content': [{'type': 'text', 'text': 'No'}]}]
< /code>
Как я могу сохранить этот набор данных как файл в Python? Это для обучения машинного обучения для модели языка зрения, такой как Smolvlm. Я следую за примером здесь, но внося изменения, используя это руководство для обучения в SageMaker, которое требует загрузки файла в S3. < /P>
Для следующей первоначальной попытки я сталкиваюсь с ошибкой из-за встроенного изображения PNG.import json
from sagemaker.s3 import S3Uploader

def upload_json_dataset_to_s3(dataset, filename, s3_location):
with open(filename, 'w') as f:
json.dump(dataset, f)
S3Uploader.upload(filename, s3_location)
< /code>
ошибка: < /p>
TypeError: Object of type PngImageFile is not JSON serializable


Подробнее здесь: https://stackoverflow.com/questions/796 ... uage-model