Получить индексы исходного текста от nltk word_tokenize ⇐ Python

[Anonymous]

Я маркирую текст с помощью nltk.word_tokenize, и мне также хотелось бы получить индекс в исходном необработанном тексте для первого символа каждого токена, т. е.

import nltk
x = 'hello world'
tokens = nltk.word_tokenize(x)
>>> ['hello', 'world']
< /code>

Как я могу также получить массив [0, 7] < /code>, соответствующий необработанным индексам токенов?

Подробнее здесь: https://stackoverflow.com/questions/316 ... d-tokenize