Я использую исполнителей для локального запуска llama3.2-1b на телефоне Android.
Чтобы иметь возможность использовать контекст, мне нужно добавить предыдущий разговор в приглашение, но это приводит к получению более 128 seq_len, установленный по умолчанию.
Пытался изменить это в Executorch и перекомпилировать, но не помогло, я все равно получаю ошибку длины 128.
Есть шанс, что кто-нибудь сделал это и можешь поддержать?
Спасибо
Подробнее здесь: https://stackoverflow.com/questions/792 ... 1b-android
