基本思路

• 基于 arc-standard transition systems，接下来要考虑的是，如果选择下一个 action。

• 使用机器学习的方法：每个选择都通过一个判别分类器来预测。

  使用神经网络的理由

  传统的特征表示

  

  传统特征表示的缺点

• 特征表示时稀疏的

• 特征表示时不完备的

• 特征表示需要昂贵的计算成本

  特征选择

• 使用 distributed representation 来表示三种不同特征，针对每种特征，都有一个 embedding matrix ，可以将对应的 one-hot 向量转为 dense vector representation。

• 使用一个 Null 标记来表示不存在的元素。

  前向传播

• 可以先将三种特征合并，再用一个单独的 embedding matrix W；也可以分别用 3 个不同的 embedding matrix。

• 这里用的非线性函数为 。