Как указать минимальную длину слова в параметрах для TfidfVectorizer [дубликат]Python

Программы на Python
Ответить
Anonymous
 Как указать минимальную длину слова в параметрах для TfidfVectorizer [дубликат]

Сообщение Anonymous »

У меня есть текстовый корпус, содержащий множество слов длиной 1, 2 или 3 символа. Я бы хотел их отфильтровать.
Однако из документации по TfIdfVectorizer неясно, какой параметр мне следует использовать.
Я подумал один возможно использовать token_pattern, вставив соответствующее регулярное выражение. В настоящее время я использую регулярное выражение r"(?a)\b[^\W\d]+\b", которое выполняет свою работу по фильтрации всего остального.
Как изменить приведенное выше регулярное выражение, чтобы отфильтровать слова длиной менее 4 символов?
Или мне не хватает параметра в TfIdfVectorizer для указания минимальной длины слова ?
Я не думайте, что этот вопрос является дубликатом общего вопроса о регулярном выражении, потому что я также спрашиваю, есть ли параметр в функции TfidfVectorizer scikit-learn для указания минимальной длины слова.

Подробнее здесь: https://stackoverflow.com/questions/793 ... vectorizer
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»