Как включить XNNPACK на Raspberry Pi 5 для модели INT8 TensorFlow Lite?
У меня есть квантованная модель INT8 TensorFlow Lite, которую я хочу эффективно использовать на Raspberry Pi 5.
Я читал, что XNNPACK может ускорить вывод на ЦП, но не знаю, как включить или проверить, работает ли она на Pi 5.
Моя установка:
Raspberry Pi 5 (64-разрядная ОС Raspberry Pi)
Python 3.11
TensorFlow Lite (устанавливается через tflite-runtime)
Мои вопросы:
Работает ли XNNPACK на процессоре Raspberry Pi 5 (Cortex-A76)?
Как включить XNNPACK при использовании квантованной модели INT8 TFLite в Python?
Как проверить, что XNNPACK действительно используется во время вывода?
your text
Что я пробовал:
Установка tflite-runtime через pip
Использование аргумента Experiment_delegates
Поиск libtensorflowlite_delegate_xnnpack.so (но не могу найти его на Pi)
Ожидаемый результат:
Более быстрый вывод с использованием Делегат XNNPACK на Raspberry Pi 5.
Фактический результат:
Вывод выполняется, но я не знаю, активен ли XNNPACK, и не вижу никакого улучшения скорости.
import tensorflow as tf
import numpy as np
# Load model
interpreter = tf.lite.Interpreter(model_path="model_int8.tflite")
# Enable XNNPACK (if possible)`
interpreter = tf.lite.Interpreter(model_path="model_int8.tflite",
experimental_delegates=[tf.lite.experimental.load_delegate('libtensorflowlite_delegate_xnnpack.so')])
interpreter.allocate_tensors()
# Run inference
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()
input_data = np.random.randint(0, 255, size=input_details[0]['shape'], dtype=np.uint8)
interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])
print(output_data)type here
Подробнее здесь: https://stackoverflow.com/questions/798 ... pberry-pi5
