Расчет оценки BLEU между предложениями-кандидатами и эталонными предложениями в Python ⇐ Python

[Anonymous]

Я рассчитываю оценку BLEU между двумя предложениями, которые кажутся мне очень похожими, но моя оценка BLEU оказывается очень низкой. Должно ли это случиться?
prediction = "I am ABC."
reference = "I'm ABC."

from nltk.translate.bleu_score import sentence_bleu, corpus_bleu
from nltk.translate.bleu_score import SmoothingFunction
# Tokenize the sentences
prediction_tokens = prediction.split()
reference_tokens = reference.split()

# Calculate BLEU score
bleu_score = sentence_bleu([reference_tokens], prediction_tokens, smoothing_function=SmoothingFunction().method4)

# Print the BLEU score
print(f"BLEU score: {bleu_score:.4f}")

Output is 0.0725


Подробнее здесь: https://stackoverflow.com/questions/783 ... -in-python