区别

  • 特征提取器：

    EMLo采用LSTM进行提取，GPT和BERT则采用Transformer进行提取。很多任务表明Transformer特征提取能力强于LSTM
    EMLo采用1层静态向量+2层LSTM，多层提取能力有限，而GPT和BERT中的Transformer可采用多层，并行计算能力强。

  • 单/双向语言模型：

    GPT采用单向语言模型，EMLo和BERT采用双向语言模型。但是EMLo实际上是两个单向语言模型（方向相反）的拼接，这种融合特征的能力比BERT一体化融合特征方式弱。
    GPT和BERT都采用Transformer，Transformer是encoder-decoder结构，GPT的单向语言模型采用decoder部分，decoder的部分见到的都是不完整的句子；bert的双向语言模型则采用encoder部分，采用了完整句子。

    BERT双向语言模型

    为了改善单向LM问题，如果直接使用多层双向那么模型相当于直接看到了答案，所以使用Masked Language Model策略。不同于从左到右的预训练语言模型，Mask+self-attention使得被mask的word同时结合左右两侧的上下文encoder word的信息，这允许我们预训练一个深度的双向 Transformer.