我无法理解这两者之间的区别。虽然我知道word_tokenize使用Penn-Treebank进行分词,但对于TweetTokenizer没有任何信息。在哪种类型的数据中我应该使用TweetTokenizer而不是word_tokenize呢?
用户名或电子邮箱地址
密码