Увеличить max_seq_len_ для llama3.2-1b androidAndroid

Форум для тех, кто программирует под Android
Ответить
Anonymous
 Увеличить max_seq_len_ для llama3.2-1b android

Сообщение Anonymous »

Я использую исполнителей для локального запуска llama3.2-1b на телефоне Android.
Чтобы иметь возможность использовать контекст, мне нужно добавить предыдущий разговор в приглашение, но это приводит к получению более 128 seq_len, установленный по умолчанию.
Пытался изменить это в Executorch и перекомпилировать, но не помогло, я все равно получаю ошибку длины 128.
Есть шанс, что кто-нибудь сделал это и можешь поддержать?
Спасибо

Подробнее здесь: https://stackoverflow.com/questions/792 ... 1b-android
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Android»