Какую реализацию/пакет внешнего интерфейса использует TypingMind для потоковой передачи чата с искусственным интеллектом ⇐ Javascript

[Anonymous]

Я пытаюсь создать клиентский интерфейс LLM, аналогичный TypingMind, где пользователи могут вводить свои собственные ключи API и напрямую взаимодействовать с моделями ИИ без внутреннего сервера.
Я Я изучил Vercel AI SDK, но, похоже, для проксирования запросов требуется внутренний сервер. TypingMind работает полностью на стороне клиента, сохраняя при этом такие функции, как:

• Потоковая передача ответов
• Прямые вызовы API с использованием пользовательских предоставленные ключи
• Поддержка нескольких моделей
• Управление беседами

Кто-нибудь знаете, какую реализацию или пакет TypingMind использует для достижения этой цели? Или, альтернативно, какой подход рекомендуется использовать для создания аналогичной архитектуры только на стороне клиента?
Меня особенно интересует:

• Как они обрабатывают потоковые ответы непосредственно из OpenAI.
• Библиотеку/метод, которые они используют для управления вызовами API.
• Любой потенциальный открытый исходный код. альтернативы, поддерживающие реализацию только на стороне клиента

Примечание. Я понимаю, что точная реализация TypingMind может быть скрыта от общественности, но я ищу технические подходы, которые могли бы обеспечить аналогичную функциональность.

Подробнее здесь: https://stackoverflow.com/questions/793 ... de-ai-chat