深度学习符号
此笔记中使用的数学符号参考自《深度学习》和 Deep learning specialization
常用的定义
- 原版符号定义中，
%7D#card=math&code=x%5E%7B%28i%29%7D&id=ZXyjL) 与 
存在混用的情况，请注意识别
数据标记与上下标
- 上标
%7D#card=math&code=%5E%7B%28i%29%7D&id=Mt2A1) 代表第 
个训练样本 - 上标
代表第 
层 
数据集的样本数- 下标
输入数据 - 下标
输出数据 
输入大小
输出大小 (或者类别数)
第 
层的隐藏单元数
神经网络的层数- 在循环中
神经网络模型
代表输入的矩阵- %7D%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn_x%7D#card=math&code=x%5E%7B%28i%29%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn_x%7D&id=fzHdB) 代表第
个样本的列向量 
是标记矩阵
%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn_y%7D#card=math&code=y%5E%7B%28i%29%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bn_y%7D&id=urbMh) 是第 
样本的输出标签
%7D#card=math&code=W%5E%7B%5Bl%5D%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bl%20%5Ctimes%20%28l-1%29%7D&id=yXocH) 代表第 
层的权重矩阵
代表第 
层的偏差矩阵
是预测输出向量
- 也可以用
表示
正向传播方程示例
%7D%20%2B%20b_1)%20%3D%20g%5E%7B%5Bl%5D%7D(z_1)#card=math&code=a%20%3D%20g%5E%7B%5Bl%5D%7D%28W_x%20x%5E%7B%28i%29%7D%20%2B%20b_1%29%20%3D%20g%5E%7B%5Bl%5D%7D%28z_1%29&id=eY4Lo)
- 其中，
代表第 
层的激活函数
#card=math&code=%5Chat%7By%7D%20%3D%20softmax%28W_h%20h%20%2B%20b_2%29&id=QYfNT)
通用激活公式
%20%3D%20g%5E%7B%5Bl%5D%7D(%5Csumk%20w%7Bjk%7D%5E%7B%5Bl%5D%7Dak%5E%7B%5Bl-1%5D%7D%20%2B%20b_j%5E%7B%5Bl%5D%7D)#card=math&code=a_j%5E%7B%5Bl%5D%7D%20%3D%20g%5E%7B%5Bl%5D%7D%28z_j%5E%7B%5Bl%5D%7D%29%20%3D%20g%5E%7B%5Bl%5D%7D%28%5Csum_k%20w%7Bjk%7D%5E%7B%5Bl%5D%7Da_k%5E%7B%5Bl-1%5D%7D%20%2B%20b_j%5E%7B%5Bl%5D%7D%29&id=OmIIW)
当前层的维度
上一层的维度
损失函数
#card=math&code=J%28x%2C%20W%2C%20b%2C%20y%29&id=QgY2T) 或者 
#card=math&code=J%28%5Chat%7By%7D%2C%20y%29&id=IaBc3)- 常见损失函数示例
%20%3D%20-%5Csum%7Bi%3D0%7D%5Em%20y%5E%7B(i)%7Dlog%5Chat%7By%7D%5E%7B(i)%7D#card=math&code=J%7BCE%7D%28%5Chat%7By%7D%2C%20y%29%20%3D%20-%5Csum_%7Bi%3D0%7D%5Em%20y%5E%7B%28i%29%7Dlog%5Chat%7By%7D%5E%7B%28i%29%7D&id=e4DWs)
%20%3D%20-%5Csum%7Bi%3D0%7D%5Em%20%7Cy%5E%7B(i)%7D%20-%20%5Chat%7By%7D%5E%7B(i)%7D%7C#card=math&code=J_1%28%5Chat%7By%7D%2C%20y%29%20%3D%20-%5Csum%7Bi%3D0%7D%5Em%20%7Cy%5E%7B%28i%29%7D%20-%20%5Chat%7By%7D%5E%7B%28i%29%7D%7C&id=oE2bH)
深度学习图示
提供两种等效的示意图
详细的网络
常用于神经网络的表示,为了更好的审美，我们省略了一些在边上的参数的细节(如
和
等)。
简化网络
两层神经网络的更简单的表示。
