Oobabooga-textgen-web-ui, как получить авторизацию для просмотра списка моделей с порта 5000 через API-ключ ooba в Pytho ⇐ Python

[Anonymous]

Я хочу извлечь и распечатать список моделей llm из oobabooga-text-gen-web-ui в Python.
Сначала некоторый контекст, прежде чем я перейду к своей проблеме .
Для тех, кто знаком с тем, что ooba, по сути, это веб-интерфейс Gradio для больших языковых моделей.
Я скачал и загрузил несколько моделей llm на этот веб-интерфейс. Веб-интерфейс использует http://127.0.0.1:7860/ для отображения веб-интерфейса пользователя через порт 7860.
Но если я включу расширения openai и api, а также отредактирую CMD_FLAGS.txt в папке ooba во что-то вроде:

Код: Выделить всё

--listen --api --api-key "enter-your-fake-api-key-here"

расширения будут имитировать ключ Open AI API, подключаясь к ooba из сети через порт 5000.
Вот и проблема...
p>
это мой код для просмотра списка моделей из ooba:

Код: Выделить всё

import requests

url = "http://127.0.0.1:5000/v1"

#Model List
headers = {
"Content-Type": "application/json"
}

response = requests.get(f'{url}/internal/model/list',
headers=headers,
verify=False)
print(response.json())

вывод должен выглядеть примерно так:

Код: Выделить всё

{'model_names': ['L3-8B-Stheno-v3.2', 'L3-8B-Stheno-v3.2_exl2_8h_8bpw', 'L3-8B-Stheno-v3.2_q8_0.gguf', 'MixTAO-7Bx2-MoE-v8.1_q8_0.gguf']}

но вместо этого я получил вот это:

Код: Выделить всё

{'detail': 'Unauthorized'}

После некоторых возни я обнаружил, что если я оставлю CMD_FLAGS.txt пустым, код будет работать так, как задумано, и я получу списки моделей, но у меня не будет доступа к Ключ API, поскольку он не включен на ooba.
если я включу его с помощью CMD_FLAGS.txt и наберу:

Код: Выделить всё

--listen --api --api-key "enter-your-fake-api-key-here"

У меня будет доступ к ключу API openai, но код для извлечения списка моделей вернется как:

Код: Выделить всё

{'detail': 'Unauthorized'}

Мне нужен ключ API, включенный из ooba, потому что я планирую использовать функцию openai.client для взаимодействия с моделью.
Как мне сохранить конфигурацию, которая позволяет поддельный ключ открытого API API, но также позволяет мне извлечь список моделей?

Подробнее здесь: https://stackoverflow.com/questions/786 ... rom-port-5