Как использовать библиотеку чата AI непосредственно на стороне клиента без прокси-сервера? ⇐ Javascript

[Anonymous]

Я пытаюсь реализовать интерфейс чата с использованием библиотеки чата AI, для которой в настоящее время требуется внутренний сервер для проксирования всех вызовов LLM (модель изучения языка). Однако мне нужно выполнять эти вызовы непосредственно со стороны клиента без внутреннего сервера.
Текущая реализация использует хук useChat в React, который предполагает выполнение вызова выборки на сервер с помощью определенный тип ответа. Я попытался передать удаленный URL-адрес API поставщика модели непосредственно в конфигурацию useChat, но это не работает полностью, поскольку этап декодирования (который обычно происходит на сервере) отсутствует.
< pre class="lang-js Prettyprint-override">

Код: Выделить всё

// Attempted solution (not working)
useChat({
api: 'https://direct-model-provider-url.com/api'
})

Случаи использования включают:
Клиентские приложения, в которых пользователи локально управляют своими собственными ключами API.
Приложения, работающие с локальными моделями ИИ.
Интеграция с локальными экземплярами (например, Ollama)
Хотя я понимаю последствия для безопасности раскрытия ключей API на стороне клиента, существуют допустимые случаи использования, когда проксирование на стороне сервера не является необходимым или желательным.
Есть есть ли способ использовать эту библиотеку полностью на стороне клиента, сохраняя при этом те же абстракции вокруг моделей? Если нет, какие альтернативы вы бы порекомендовали?
Упоминается текущий обходной путь:
Использование пользовательской функции выборки для замены поведение выборки
Все еще отсутствует функциональность этапа декодирования
Есть предложения о том, как правильно это реализовать?
https://github.com/vercel/ai/issues/ 208

Подробнее здесь: https://stackoverflow.com/questions/793 ... rver-proxy