ti-enxame.com

Como tokenizar uma sentença de string no NLTK?

Como estou usando o nltk, quero criar meus próprios textos personalizados, como os padrão no nltk.books. No entanto, eu acabei de usar o método como

my_text = ['This', 'is', 'my', 'text']

Eu gostaria de descobrir uma maneira de inserir meu "texto" como:

my_text = "This is my text, this is a Nice way to input text."

Qual método, python ou nltk me permite fazer isso. E mais importante, como descartar símbolos de pontuação?

47
diegoaguilar

Na verdade, isso está no página principal do nltk.org :

>>> import nltk
>>> sentence = """At eight o'clock on Thursday morning
... Arthur didn't feel very good."""
>>> tokens = nltk.Word_tokenize(sentence)
>>> tokens
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning',
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.']
134
Pavel Anossov