Стратегии управления памятью для локального вывода LLM в форке браузера на базе Chromium ⇐ C++

[Anonymous]

В настоящее время мы разрабатываем Браузер Cronos, ответвление Chromium, которое интегрирует локальный LLM (UIKI) для автономной помощи.
Мы замечаем, что загрузка модели во VRAM влияет на процесс рендеринга тяжелых вкладок WebGL. В настоящее время мы используем общий буфер памяти между процессом вывода и средством рендеринга.
Вопрос: Кто-нибудь успешно реализовал стратегию «ленивой выгрузки» контекстов WebGPU в исходном коде Chromium C++, чтобы освободить VRAM, когда вкладка браузера требует приоритета? Мы изучаем gpu::SharedImageInterface, но документации недостаточно.

Подробнее здесь: https://stackoverflow.com/questions/798 ... ed-browser