tokenizer,tokenizer分词器

1、1一种解释token令牌tokenize令牌化tokenizer令牌解析器2另一种翻译是token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”在编写词法分析器Lexer或语。