Я не понимаю работу tfidfvectorizer scikit-learn. ⇐ Python

[Anonymous]

Известная мне формула для расчета tf-idf: TF * IDF, где TF — это количество раз, которое слово встречается в документе D, а IDF — это количество документов/количество документов, содержащих это слово + 1. >
Это мой набор данных.

Код: Выделить всё

corpus = [ 'This is the first document.', 'This document is the second document.', 'And this is the third one.', 'Is this the first document?', ]

Теперь я рассчитал td-idf слова «документ» в документе 1, результат составил 0,22.
Но когда я использовал векторизатор tfidf sckit, результат был:
1,22314355
Векторизатор, который я использовал, имел следующие параметры:

Код: Выделить всё

vectorizer = TfidfVectorizer(norm=None) 

Пожалуйста, объясните мне, почему ответ другой.

Подробнее здесь: https://stackoverflow.com/questions/775 ... ckit-learn