XNNPACK на Raspberry Pi5 ⇐ Python

[Anonymous]

Как включить XNNPACK на Raspberry Pi 5 для модели INT8 TensorFlow Lite?
У меня есть квантованная модель INT8 TensorFlow Lite, которую я хочу эффективно использовать на Raspberry Pi 5.
Я читал, что XNNPACK может ускорить вывод на ЦП, но не знаю, как включить или проверить, работает ли она на Pi 5.
Моя установка

• Raspberry Pi 5 (64-разрядная ОС Raspberry Pi)
• Python 3.11
• TensorFlow Lite (устанавливается через tflite-runtime)

Мои вопросы

• Да XNNPACK работает на процессоре Raspberry Pi 5 (Cortex-A76)?
• Как включить XNNPACK при использовании квантованной модели INT8 TFLite в Python?
• Как проверить, что XNNPACK действительно используется во время вывода?

Что я пробовал

• Установка tflite-runtime через pip
• Использование аргумента Experiment_delegates
• Поиск libtensorflowlite_delegate_xnnpack.so (но не могу найти его на Pi)

Ожидаемый результат:
Более быстрый вывод с использованием делегата XNNPACK на Raspberry Pi 5.
Фактический результат:
Вывод выполняется, но я не знаю, активен ли XNNPACK, и не вижу никакого улучшения скорости.
import tensorflow as tf
import numpy as np

# Load model
interpreter = tf.lite.Interpreter(model_path="model_int8.tflite")

# Enable XNNPACK (if possible)`
interpreter = tf.lite.Interpreter(model_path="model_int8.tflite",
experimental_delegates=[tf.lite.experimental.load_delegate('libtensorflowlite_delegate_xnnpack.so')])

interpreter.allocate_tensors()

# Run inference
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

input_data = np.random.randint(0, 255, size=input_details[0]['shape'], dtype=np.uint8)
interpreter.set_tensor(input_details[0]['index'], input_data)
interpreter.invoke()

output_data = interpreter.get_tensor(output_details[0]['index'])
print(output_data)


Подробнее здесь: https://stackoverflow.com/questions/798 ... pberry-pi5