tokenize

Tokenize 进行nlp任务都需要进行Tokenize,Tokenize可以理解为是把长句子拆分成有”意义"的小部件,这里的有"意义"是指最终能够使得计算机理解。 使用nltk进行tokenize import nltksentence = = 'hello,world'tokens = nltk.word_tokenize(sentence)print(tokens)#['hello','...