Обнимающее лицо. Передача данных мультимодальному чат-боту без сохранения в файлы ⇐ Python

[Anonymous]

Обычно для передачи нетекстовых данных (аудио, изображения, видео) в модель вам необходимо сохранить данные в файл, а затем указать путь (или URL-адрес) к файлу.

Код: Выделить всё

messages = [
{
"role": "user",
"content": [
{
"type": "audio",
"url": "https://huggingface.co/datasets/raushan-testing-hf/audio-test/resolve/main/glass-breaking-151256.mp3",
},
{"type": "text", "text": "What do you hear in this audio?"},
],
},
]

Это совершенно неэффективно. Есть ли другой способ без использования промежуточного файла?