tokenizer.encode参数含义,tokenizerencode_plus

StringTokenizerStrings，Stringdilim为字符串s构造一个分析器参数dilim中的字符被作为分隔符把StringTokenizer对象称作一个字符串分析器一个分析器可以使用nextToken方法逐个获取字符串中的语言符号单词，每当；prompt_text=quo