Jupyter Notebook аварийно завершает работу, когда я хочу запустить модели HuggingFacePython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Jupyter Notebook аварийно завершает работу, когда я хочу запустить модели HuggingFace

Сообщение Anonymous »

Я использую Jupyter Notebook для запуска некоторых моделей машинного обучения от HuggingFace.
Я использую Mac (чип M2, память 32 ГБ)
Это мой код: р>

Код: Выделить всё

import torch
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

# Step 1: Choose a pre-trained NER model from Hugging Face's Model Hub
# Here we use "dbmdz/bert-large-cased-finetuned-conll03-english", which is a common NER model fine-tuned on the CoNLL-2003 dataset
model_name = "dbmdz/bert-large-cased-finetuned-conll03-english"

# Step 2: Load the model and tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

# Step 3: Set up a pipeline for NER
ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer, grouped_entities=True)

# Step 4: Input text to perform NER on
text = "Hugging Face Inc. is a company based in New York City. Its headquarters are in DUMBO, Brooklyn."

# Step 5: Use the pipeline to get named entities
entities = ner_pipeline(text)

# Step 6: Print the recognized entities
for entity in entities:
print(f"Entity: {entity['word']}, Label: {entity['entity_group']}, Score: {entity['score']:.3f}")
На шаге 2 мое ядро ​​всегда выходит из строя. Я пробовал несколько моделей, но всегда одно и то же. Это ошибка:

Код: Выделить всё

Kernel Restarting
The kernel for  appears to have died. It will restart automatically.
Можете ли вы мне помочь?
Моя память не заполнена, ноутбук совершенно новый.

Подробнее здесь: https://stackoverflow.com/questions/791 ... ace-models
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»