MOOC 课件

深度学习 2019-MOOC.pdf

前馈神经网络

N个标注信息，xi 是输入数据，yi是标注数据

一些基础概念

  1. 多层感知机模型，将神经元分为三类：输入层（Inpur layer）、隐藏层（Hidden layer）、输出层（Output layer）
  2. 下一层的神经网络的每一个值都和前一层神经网络的每个值相关联，称这种神经网络的连接方式为全连接层。
  3. 全连接的线性变换由于前一层和后一层所有的神经元之间都有一对一的连接关系，也称为稠密连接层（Dense Layer）。
  4. 在实际的应用过程中，这种神经元之间关系的描述可能有许多冗余，对于神经网络模型的训练不是很友好，人们发明了一系列稀疏（Sparse）的连接方式来描述前后两层神经元之间的连接关系。

课件

image.png

image.png

image.png
image.png
image.png
image.png

如何优化网络参数

image.png

image.png

image.png
image.png
image.png
In操作：该神经元连接的前向神经元进行加权累加
Out操作：做非线性变换
image.png
image.png
image.png
image.png

image.png
image.png
image.png
image.png
image.png