注意力分布加权平均 注意力分布给定任务相关的查询量，注意力变量来表示被选择信息的索引位置，即表示选择了第个输入向量，为了方便，我们采用一种软性信息选择机制，给定和的情况下，选择第个输入向量的概率，为注意力打分函数，有几种形式： 加性模型点积模型缩放点积模型双线性模型 加权平均
，注意力变量
来表示被选择信息的索引位置，即
表示选择了第
个输入向量，为了方便，我们采用一种软性信息选择机制，给定和
的情况下，选择第个输入向量的概率
，
为注意力打分函数，有几种形式：
