深度学习

一、前馈神经网络

从分段学习到端到端学习

1. 刻画神经元功能的数学模型

2. 常用激活函数

3. 前馈神经网络feedforward neural network

1. 各神经元接收前一级的输入，并输出到下一级，模型中没有反馈
2. 层与层之间通过“全连接”进行连接，即两个相邻层之间的神经元完全成对连接，但层内的神经元不互相连接。

1. 感知机网络是特殊的前馈神经网络

二、卷积神经网络CNN

1. 卷积神经网络的三条性质

1. Some patterns are much smaller than the whole image 有些图案比整个图像小得多。
2. The same patterns appear in different regions. 相同的模式出现在不同的区域。
3. Subsampling the pixels will not change the object.对像素进行二次采样不会改变对象。（图像大小可以改变）

（不能处理旋转图像）

1. 卷积Convolution

2. 池化pooling操作

池化：对输入的特征图进行下采样，以获得最主要信息

1. 最大池化
   1. 

2. 平均池化

   1. 

      4. 计算output matrix和output pooling result

      

      三、深度学习应用

      1. 学习单词的表达——词向量

3. One-hot向量

1. 缺点：
   1. 维数灾难的困扰（太多维）
   2. 无法比较词与词之间的相似性：任意两个词之间都是孤立的
2. 词向量
   1. 通过深度学习，将单词表征为K维实数值向量distribution representation，把对文本内容的分析简化为K维向量空间中的向量运算，而向量空间上的相似度又可以用来表示文本语义上的相似。用深度学习算法生成每个单词的向量表达所有单词的向量组成了一个“词向量空间”
   2. 单词表达为词向量后，很多NLP相关工作（如聚类、同义词计算、主体挖掘等）可以顺利开展。