Стратегии управления памятью для локального вывода LLM в форке браузера на базе ChromiumC++

Программы на C++. Форум разработчиков
Anonymous
Стратегии управления памятью для локального вывода LLM в форке браузера на базе Chromium

Сообщение Anonymous »

В настоящее время мы разрабатываем Браузер Cronos, ответвление Chromium, которое интегрирует локальный LLM (UIKI) для автономной помощи.
Мы замечаем, что загрузка модели во VRAM влияет на процесс рендеринга тяжелых вкладок WebGL. В настоящее время мы используем общий буфер памяти между процессом вывода и средством рендеринга.
Вопрос: Кто-нибудь успешно реализовал стратегию «ленивой выгрузки» контекстов WebGPU в исходном коде Chromium C++, чтобы освободить VRAM, когда вкладка браузера требует приоритета? Мы изучаем gpu::SharedImageInterface, но документации недостаточно.

Подробнее здесь: https://stackoverflow.com/questions/798 ... ed-browser

Вернуться в «C++»