N-gram语言模型与马尔科夫假设

1、从独立性假设到联合概率链

朴素贝叶斯中使用的独立性假设为

去掉独立性假设，有下面这个恒等式，即联合概率链规则
其中， xi代表一个词，联合概率链规则表示句子中每个词都跟前面每一个词都有关，而独立性假设则是忽略了一个句子中词与词之间的前后关系。

2、从联合概率链规则到n-gram语言模型

联合概率链规则是考虑了句子中每个词之间的前后关系，即第n个词与前面所有词都有关，而n-gram语言模型则是考虑了n个词语之间的前后关系，比如时（二元语法（bigram，2-gram）），第n个词与前面1个词有关，即

比如 n=3时（三元语法（trigram，3-gram）），第n个词 xn与前面2个词有关，即

公式（3）（4）即马尔科夫假设（Markov Assumption）：即下一个词的出现仅依赖于它前面的一个或几个词。

3、N-gram语言模型与马尔科夫假设

如果对句子 X 采用条件独立假设，就是朴素贝叶斯方法。
如果对句子 X 采用马尔科夫假设，就是N-gram语言模型。