词嵌入(word embedding):将单词转化为向量表示,embedding就相当于encoding
类比推理(analogical reasoning):比如man-woman,那么king-?
比较向量相减的相似度,相似度函数:余弦相似度函数(向量夹角余弦值)
可视化-t-SNE算法-将高维空间中点的距离关系在二维图片上显示出来(这个过程会失去很多信息)
Word2Vec:一种词嵌入算法,skip-gram模型
负采样(negative sample):将Word2Vec的softmax改为很多个二分类的logistic回归,
如果是用一个词语作为输入,来预测它周围的上下文,那这个模型叫做『Skip-gram 模型』
而如果是拿一个词语的上下文作为输入,来预测这个词语本身,则是 『CBOW 模型』
