tokenizer.encode转为onehot的简单介绍

输入层上下文单词的onehot假设单词向量空间dim为V，上下文单词个数为C所有onehot分别乘以共享的输入权重矩阵WV*N矩阵，N为自己设定的数，初始化权重矩阵W所得的向量因为是onehot所以为向量相加求平均。