分词

StandardTokenizer

在标准分词中,使用JFex生成产生。

org.apache.lucene.analysis.standard.StandardTokenizerImpl