Embedding

• One-Hot

训练方法：（很少自己去训练）

• skip-gram
• CBOW

❗️预训练语言模型的思想重要，真正改变NLP界游戏规则的最核心的思想

马尔可夫过程

平稳过程的平稳性保证了未来可以通过过去来预知。而马尔科夫是这样的一类过程，即未来只与现在有关，与过去无关。就是你的过去是什么样子不重要，未来只与自己当下的努力有关。我们只需要知道当前的信息就够了。

• 隐马尔可夫过程：

假设的是的概率分布仅仅与有关

RNN LSTM

传统RNN：参数不变，存在严重的梯度消失/爆炸问题
LSTM：好用，但是为什么好用还没有确切的说法。

CNN

实际上也可以用于文本（TextCNN）

• 卷积
• pooling

吝啬的局部特征提取器