神经单元

| 神经单元：是一个通用的计算单元。
- 有 n 个输入，1 个输出。
- 是神经网络最基本的组成单元。
- 示意图及对应计算公式
计算公式：
| | | —- | —- |

单层神经元

计算公式	向量化表示

计算图、前向传播、反向传播

计算图	前向传播与反向传播

单个结点的梯度

每个结点都有一个局部梯度，接收上游梯度，进而计算出正确的下游梯度。

• 利用链式法则：下游梯度等于上游梯度乘上局部梯度
• 当有多个输入或输出时：

多个下游结点	多个上游结点

不同结点的直观理解

	加法结点	分发上游梯度
	max结点	为上游梯度选择路径
	乘法结点	交换

梯度计算的注意事项

• 每个梯度计算一次，反向依次计算，避免重复。
• 反向传播时候，初始梯度为 1。
• 有多个后继的结点的梯度计算一般方法：

  反向传播实现与自动求导

  | |
  - 每个结点需要知道如何计算自己的
  - 输出
  - 梯度
  - 实现基本格式
  - 前向传播
  - 计算输出
  - 保存部分中间数据
  - 反向传播
  - 计算梯度
  | | —- | —- | | |