NLP基本概念

NLP的基本任务

句法语义分析、信息抽取、文本挖掘、机器翻译、信息检索、问答系统、对话系统、

负采样(negative sample)：在上下文预测时加入随机选择的负样本，将Word2Vec的softmax改为很多个二分类的logistic回归

注意力机制(attention)

人类的注意力机制：人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

Self Attention(intra Attention)

Self-Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下的注意力计算机制。

利用self attention，可以抽取同一个英语句子内单词间产生的联系。引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。