tokenizer.encode转为onehot的简单介绍

输入层上下文单词的onehot 假设单词向量空间dim为V，上下文单词个数为C 所有onehot分别乘以共享的输入权重矩阵W V*N矩阵，N为自己设定的数，初始化权重矩阵W 所得的向量 因为是onehot所以为向量 相加求平均。

alist小雅替换token如下1首先，我们使用tokenizer的encode方法将句子转换为一个token序列，其中add_special_tokens=False表示不添加特殊的起始和结束标记2然后，我们使用tokenizer的convert_tokens_to_ids方法将新的token转。

input_ids=promptinput_ids=torchtensorinput_ids，dtype=torchlong，device=selfdeviceunsqueeze0withtorchno_gradoutputs=selfmodelinput_ids，None，length=length，temperature=temperature。