07、问答系统中的NLP技术

问答（QA）系统的想法是直接从文档、对话、在线搜索和其他地方提取信息，以满足用户的信息需求。QA系统不是让用户阅读整个文档，而是更喜欢简短而简洁的答案。如今，QA系统可以非常容易地与其他NLP系统结合使用，并且一些QA系统甚至超越了对文本文档的搜索，并且可以从图片集合中提取信息。

事实上，大多数NLP问题都可以被视为一个问题回答问题。范例很简单：我们发出查询指令，机器提供响应。通过阅读文档或一组指令，智能系统应该能够回答各种各样的问题。

强大的深度学习架构（称为动态内存网络（DMN））已针对QA问题进行了专门开发和优化。给定输入序列（知识）和问题的训练集，它可以形成情节记忆，并使用它们来产生相关答案。该体系结构具有以下组件：

1. 语义内存模块（类似于知识库）被用来创建从输入句子的嵌入字序列预先训练手套载体。 ·
2. 输入模块处理与问题有关的输入矢量称为事实。该模块使用门控循环单元实现，GRU使网络能够了解当前正在考虑的句子是否相关或与答案无关。 ·
3. 问题模块逐字处理疑问词，并且使用输出相同权重的GRU输入模块的向量。事实和问题都被编码为嵌入。 ·
4. 情景记忆模块接收从输入中提取和编码的嵌入事实和问题载体。这使用了一个受大脑海马体启发的想法，它可以检索由某些反应触发的时间状态，如景点或声音。 ·
5. 答案生成模块，通过适当的响应，情景记忆应该包含回答问题所需的所有信息。该模块使用另一个GRU，使用正确序列的交叉熵错误分类进行训练，然后可以将其转换回自然语言。

DMN不仅在质量保证方面做得非常好，而且在情感分析和词性标注方面也优于其他架构。自开发以来，动态内存网络已经有了重大改进，进一步提高其在问答环境中的准确性，包括：

• 用于视觉和文本问题的动态存储网络问答应用基本上是将DMN应用于图像，其内存和输入模块已升级，以便能够回答视觉问题。该模型改进了许多基准Visual Question Answering数据集的现有技术水平，而不支持事实监督。
• 用于问题应答的动态Coattention网络解决了从对应于不正确答案的局部最大值恢复的问题。它首先融合了问题和文件的共同依赖表示，以便集中于两 者的相关部分。然后，动态指向解码器迭代潜在的答案跨度，该迭代过程使模型能够从对应于不正确答案的初始局部最大值中恢复。