Нужно ли лемматизировать текст и убрать стоп-слова для NER?Python

Программы на Python
Anonymous
Нужно ли лемматизировать текст и убрать стоп-слова для NER?

Сообщение Anonymous »

Я работаю над проектом, в котором есть несколько абзацев текста, из которых мне нужно извлечь определенные объекты с помощью NER. (Я использую SPACY)
Вот пример данных:

Код: Выделить всё

Mr XYZ, XX year old, who was the victim of motor vehicle accident that
occurred on XX-XX-XX date, he sustained numerous injuries.
He has been seen in the hospital for the left shoulder and low-back.
Я должен извлечь часть тела, по поводу которой он лечится, то есть левое плечо, поясницу и дату несчастного случая.
Теперь, если я лемматизирую этот текст, значение слова «левое плечо» изменится на «оставить плечо». И если я удалю стоп-слова, часть тела «нижняя часть спины» не будет распознаваться как объект, а «спина» будет удалена стоп-словами, и значение всего текста изменится.
Я знаю, что некоторые стоп-слова можно удалить, но что, если будут удалены другие важные слова.
Я не уверен, помогают ли мне стоп-слова и леммация.
Ничего, если я не буду выполнять предварительную обработку текста? или мне следует продолжить то же самое?

Вернуться в «Python»