Будет нормализация после взвешивания окажет негативное влияние на конечное векторное пространство ⇐ Python

[Anonymous]

Постройте векторизатор без нормализации < /p>

Код: Выделить всё

tfidf = TfidfVectorizer(
token_pattern=r"\b[A-Za-z0-9]+\b",
ngram_range=(1, 2),
stop_words=UK_ADDRESS_STOP_WORDS,
use_idf=True,
norm=None
)
tfidf.fit(addresses_corpus["address"])
X = tfidf.transform(addresses_corpus["address"])  # raw TF×IDF, no normalization
< /code>
... теперь регулируйте веса, как нам нравятся, например, Например, повысить или сыграть определенные столбцы
, чтобы повысить токен J в 2 раза в каждом документе (пример игрушек) < /p>
X[:, j] = X[:, j] * 2.0
< /code>
И, наконец, нормализуйте каждую строку до блока L2 длины < /p>
from sklearn.preprocessing import normalize
Xw = normalize(X, norm='l2', axis=1, copy=False)

будет нормализовать после того, как взвешивание оказывает негативное влияние на конечное векторное пространство, или этот подход звучит - это нормализация (), так же, как norm = "l2" в векторезе.

Подробнее здесь: https://stackoverflow.com/questions/796 ... nal-vector