1.4 嵌入矩阵

嵌入矩阵与某词的独热编码相乘，即可得到其嵌入向量
image.png

1.5 学习词嵌入

神经网络语言模型（以词嵌入作为输入值）
image.png
其他上下文-目标词对（context/target pair），如，上下文的左边或右边的4个词，上一词(last 1 word)，附近一词（nearby 1 word）
image.png

1.6 Word2Vec模型

Skip-gram模型
image.png
image.png
Softmax分类的一个问题是计算量很大，可使用层级(hierarchical) softmax或非平衡层级(unbalanced hierarchical) softmax提高性能
image.png

1.7 负采样

定义一个新的学习任务：负采样
image.png
image.png
选择负采样
image.png