6.1 语言模型

语言模型（language model）是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。假设一段长度为𝑇T的文本中的词依次为𝑤1,𝑤2,…,𝑤𝑇，那么在离散的时间序列中，𝑤𝑡（1≤𝑡≤𝑇）可看作在时间步（time step）𝑡的输出或标签。给定一个长度为𝑇的词的序列𝑤1,𝑤2,…,𝑤𝑇，语言模型将计算该序列的概率：
𝑃(𝑤1,𝑤2,…,𝑤𝑇)
语言模型可用于提升语音识别和机器翻译的性能。例如，在语音识别中，给定一段“厨房里食油用完了”的语音，有可能会输出“厨房里食油用完了”和“厨房里石油用完了”这两个读音完全一样的文本序列。如果语言模型判断出前者的概率大于后者的概率，我们就可以根据相同读音的语音输出“厨房里食油用完了”的文本序列。在机器翻译中，如果对英文“you go first”逐词翻译成中文的话，可能得到“你走先”“你先走”等排列方式的文本序列。如果语言模型判断出“你先走”的概率大于其他排列方式的文本序列的概率，我们就可以把“you go first”翻译成“你先走”。

语言模型的计算

既然语言模型很有用，那该如何计算它呢？假设序列𝑤1,𝑤2,…,𝑤𝑇 中的每个词是依次生成的，我们有

例如，一段含有4个词的文本序列的概率

为了计算语言模型，我们需要计算词的概率，以及一个词在给定前几个词的情况下的条件概率，即语言模型参数。设训练数据集为一个大型文本语料库，如维基百科的所有条目。词的概率可以通过该词在训练数据集中的相对词频来计算。例如，𝑃(𝑤1) 可以计算为𝑤1 在训练数据集中的词频（词出现的次数）与训练数据集的总词数之比。因此，根据条件概率定义，一个词在给定前几个词的情况下的条件概率也可以通过训练数据集中的相对词频计算。例如，𝑃(𝑤2∣𝑤1) 可以计算为𝑤1,𝑤2 两词相邻的频率与𝑤1 词频的比值，因为该比值即𝑃(𝑤1,𝑤2) 与𝑃(𝑤1) 之比；而𝑃(𝑤3∣𝑤1,𝑤2) 同理可以计算为𝑤1、𝑤2和𝑤3这3个词相邻的频率与𝑤1和𝑤2这2个词相邻的频率的比值。以此类推。

n元语法

当序列长度增加时，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。𝑛元语法通过马尔可夫假设（虽然并不一定成立）简化了语言模型的计算。这里的马尔可夫假设是指一个词的出现只与前面𝑛个词相关，即𝑛阶马尔可夫链（Markov chain of order n）。如果𝑛=1，那么有𝑃(𝑤3∣𝑤1,𝑤2)=𝑃(𝑤3∣𝑤2)。如果基于𝑛−1阶马尔可夫链，我们可以将语言模型改写为

以上也叫𝑛元语法（𝑛-grams）。 它是基于𝑛−1阶马尔可夫链的概率语言模型。当𝑛分别为1、2和3时，我们将其分别称作一元语法（unigram）、二元语法（bigram）和三元语法（trigram）。例如，长度为4的序列𝑤1,𝑤2,𝑤3,𝑤4在一元语法、二元语法和三元语法中的概率分别为

当𝑛较小时，𝑛元语法往往并不准确。例如，在一元语法中，由三个词组成的句子“你走先”和“你先走”的概率是一样的。然而，当𝑛较大时，𝑛元语法需要计算并存储大量的词频和多词相邻频率。
那么，有没有方法在语言模型中更好地平衡以上这两点呢？我们将在本章探究这样的方法。

小结

• 语言模型是自然语言处理的重要技术。
• 𝑁元语法是基于𝑛−1阶马尔可夫链的概率语言模型，其中𝑛权衡了计算复杂度和模型准确性。