Разделите несколько знаков препинания внутри слова с помощью Spacy. ⇐ Python

[Anonymous]

Как я могу изменить токенизатор Spacy English, чтобы он разделялся на отдельные пары знаков препинания:

Код: Выделить всё

import spacy
nlp = spacy.load('en_core_web_md')
doc = nlp("running.(together")
# desired outcome
assert( [t.text for t in doc] == ["running", ".", "(", "together"])

то, что в настоящее время получается, — это всего лишь один токен, «работающий вместе»..
Под изменением я имею в виду: сделать всю текущую английскую токенизацию, но также разделил и этот дополнительный случай.

Подробнее здесь: https://stackoverflow.com/questions/729 ... sing-spacy