Нужна помощь с точной настройкой моей нейронной сети модерации контента с Робертой. (Набор данных: Jigsaw) ⇐ Python

[Anonymous]

Я не могу понять, как точно настроить мою нервную сеть с помощью призавинки и сделать ее многоклассификатором, а не двоичного классификатора (несколько типов вывода, а не положительных и отрицательных) и нуждаются в помощи при этом. < /p>
(с pytorch).

Код: Выделить всё

from transformers import AutoTokenizer
from transformers import AutoModelForSequenceClassification
from scipy.special import softmax
import nltk
from nltk.tokenize import word_tokenize

nltk.download('punkt')

example = "Dude, that's amazing!"

tokens = word_tokenize(example, preserve_line=True)

MODEL = "cardiffnlp/twitter-roberta-base-offensive"
tokenizer = AutoTokenizer.from_pretrained(MODEL)
model = AutoModelForSequenceClassification.from_pretrained(MODEL)

def evaluate_text(text):
encoded_text = tokenizer(text, return_tensors='pt')
output = model(**encoded_text)
scores = output[0][0].detach().numpy()
scores = softmax(scores)

neg_value = float(scores[1])
pos_value = float(scores[0])

print("Negative value:", neg_value)
print("Positive value:", pos_value)

evaluate_text(example)

Ну, мне действительно нужна помощь, а не просто решить проблему.

Подробнее здесь: https://stackoverflow.com/questions/796 ... with-rober