Проблема с llama_backend_init в Flutter с llama.cpp ⇐ Android

[Anonymous]

Я пытаюсь сделать приложение с Flutter Dart для Android.
Приложение, которое я сделаю, состоит в том, что чат -бот (например, чат GPT) с использованием встроенной модели (модель ИИ будет иметь расширение .gguf). Таким образом, модель ИИ будет внутри самой APK (да, размер приложения будет огромным). Я хочу, чтобы он работал локально/офлайн. Он нуждается в методе «связывания» с llama.cpp (tbh, я все еще не понимаю ...). Затем я ищу на Pub.DEV, есть ли какой -нибудь пакет для этих потребностей в частиц. и я нашел этот пакет https://pub.dev/packages/llama_cpp
Мне удастся настроить всю необходимую общую библиотеку (libggml_shared.so, liblma.so, libomp.so) в llama.cpp в проект Fluth (MyProject \ Android \ App \ src \ main \ jnilibs \ arm64-v8a). < /p>
Но затем, когда я пытаюсь создать и запустить на физическом устройстве Android, она получила такую ​​ошибку: < /p>
E/flutter (30525): [ERROR:flutter/runtime/dart_isolate.cc(1402)] Unhandled exception:
E/flutter (30525): Invalid argument(s): Couldn't resolve native function 'llama_backend_init' in 'package:llama_cpp/src/lib_llama_cpp.dart' : No asset with id 'package:llama_cpp/src/lib_llama_cpp.dart' found. No available native assets. Attempted to fallback to process lookup. undefined symbol: llama_backend_init.
E/flutter (30525):
E/flutter (30525): #0 Native._ffi_resolver.#ffiClosure0 (dart:ffi-patch/ffi_patch.dart)
E/flutter (30525): #1 Native._ffi_resolver_function (dart:ffi-patch/ffi_patch.dart20)
E/flutter (30525): #2 llama_backend_init (package:llama_cpp/src/lib_llama_cpp.dart)
E/flutter (30525): #3 loadModel (package:llama_cpp/src/common.dart:116:13)
E/flutter (30525): #4 new NativeLLama (package:llama_cpp/src/native_llama.dart:46:28)
E/flutter (30525): #5 LlamaCpp._llamaIsolate (package:llama_cpp/llama_cpp.dart:175:19)
E/flutter (30525): #6 _delayEntrypointInvocation. (dart:isolate-patch/isolate_patch.dart:317:17)
E/flutter (30525): #7 _RawReceivePort._handleMessage (dart:isolate-patch/isolate_patch.dart:193:12)
Syncing files to device SM A525F...
< /code>
Я проверяю файл libllama.so, "Есть ли какой -нибудь llama_backend_init" с этой командой: < /p>
nm -D libllama.so | grep llama_backend_init
< /code>
И результат: < /p>
000000000017380c T llama_backend_init
< /code>
, что означает, я предполагаю, что существует "llama_backend_init" внутри libllama.so < /p>
Я ищу в Интернете, но не знает. Может, люди здесь знают, что с этим не так.
заранее спасибо. < /p>

Подробнее здесь: https://stackoverflow.com/questions/797 ... -llama-cpp