nltk.TweetTokenizer与nltk.word_tokenize有何不同?

11 浏览
0 Comments

nltk.TweetTokenizer与nltk.word_tokenize有何不同?

我无法理解这两者之间的区别。虽然我知道word_tokenize使用Penn-Treebank进行分词,但对于TweetTokenizer没有任何信息。在哪种类型的数据中我应该使用TweetTokenizer而不是word_tokenize呢?

0