Как я могу экспортировать токенизатор из преобразователей Huggingface в CoreML? ⇐ Python

[Anonymous]

Я загружаю токенизатор и модель Берта из преобразователей Huggingface и экспортирую модель Берта в CoreML:

Код: Выделить всё

from transformers import AutoTokenizer, AutoModelForTokenClassification
import torch

# Load the tokenizer
tokenizer = AutoTokenizer.from_pretrained("huawei-noah/TinyBERT_General_4L_312D")

# Load the model
model = AutoModelForTokenClassification.from_pretrained("huawei-noah/TinyBERT_General_4L_312D")

# Example usage
text = "Hugging Face is creating a tool that democratizes AI."
inputs = tokenizer(text, return_tensors="pt")

Требования:

Код: Выделить всё

pip install transformers torch

Как экспортировать токенизатор из преобразователей Huggingface в CoreML?

Подробнее здесь: https://stackoverflow.com/questions/786 ... -to-coreml