tokenizer的意思|示意

---

tokenizer相关短语

1、 word tokenizer class 来测试一个断词类

2、 GMM tokenizer GMM符号化器

3、 string tokenizer 字符分解器

4、 Whitespace Tokenizer 空格分词器

5、 Word and Sentence Tokenizer 词句表征