概述

image.png

深度学习

image.png
image.png

语言模型

  • 机器翻译
    • image.png
  • 拼写纠错
    • image.png
  • 智能问答

image.png

  • 分词
  • 条件概率

image.png

  • 存在问题

    • 最后一个词出现的概率和前面所有的概率有关
    • 数据过于稀疏
    • 参数空间太大

      词向量

      image.png

  • 单词映射值不仅是数，还要具备含义

image.png

  • 实现相关联的词距离较近（同义词）

image.png

语言空间

image.png

  • 语言向量与表现形式无关，仅与相互关系、逻辑环境有关

    N-gram模型

    image.png

  • 即N-gram模型

    • N=1每个词仅和前面一个词相关
    • N=2每个词仅和前面两个词相关
    • （马尔可夫信源？）
  • 实际中

image.png
image.png

神经网络模型

image.png

  • ProjectionLayer：投影层，实现将词首尾相接，拼接向量

image.png

模型对比

image.png

  • 神经网络的特点

image.png

  • 符合真实语言的逻辑