深度学习的数学

1.什么是神经元？
①神经元的结构：

②神经元工作示意：
(i)神经元形成网络。
(ii)对于从其他多个神经元传递过来的信号，如果它们的和不超过某个固定大小的值(阈值)，则神经元不做出任何反应。
(iii)对于从其他多个神经元传递过来的信号，如果它们的和超过某个固定大小的值(阈值)，则神经元做出反应(称为点火)，向另外的神经元传递固定强度的信号。
(iv)在(ii)和(iii)中，从多个神经元传递过来的信号之和中，每个信号对应的权重不一样。当信号之和大于阈值时，信号被输入到神经元中 细胞体判断信号之和 进行点火，并向相邻的神经元传递信号。

思考题：阈值、点火是什么概念？如何进行理解？
二、神经元如何传递信息？

二、神经元工作如何用数学表示？

无信号输出：x=0
有信号输出：x=1

如图所示，有点火视为输出为1，无点火视为输出为0
神经元输入信号之和表示为：
(1)
其中w1,w2,w3，是输入信号x1,x2,x3对应的权重(weight)

神经元输入信号之和超过阈值则点火，不超过阈值则不点火。θ是神经元固有的阈值
(2)
其中y为输出信号
点火表达式：
(3)
加权输入表达式：
令 (4)
z则为神经元的加权输入
用阶跃函数表达:
三、激活函数
把点火的表达式进行一些修正：
(5)
我们把其中的α成为激活函数
其中最常见的激活函数为Sigmoid函数σ(z)

我们令式子(5)中的-θ=b
则式子(5)可以改写为：
我们把经过处理后的b称为偏置(bias)

四、什么是神经网络?
将上诉神经元进行网状连接，构成神经网络
常见的神经网络模型有阶层型神经网络和后续发展而来的卷积神经网络
其中阶层型神经网络，按照层(layer)划分单元分为：输入层、隐藏层(中间层)、输出层

一个实例：用神经网络算法对手写数字0或者1进行识别

前一层的所有神经元与下一层的神经元都有箭头连接，这样的构造我们称为全连接层
各层作用：输入层负责数据的原始输入，隐藏层用过特征提取处理输入数据，输出层显示处理结果。
五、数学角度看神经网络
根据神经网络参数确定方法，分为：有监督学习和无监督学习。
有监督学习是指为了确定神经网络的权重和偏置，实先给予数据，这些数据称为学习数据，
根据给定的数据确定权重和偏置的过程称为学习
通过计算神经网络得出的预测值与正确值的误差，使得误差总和达到最小从而确定的权重和偏置。我们称为模型最优化。
利用平方误差最小确定参数的方法叫做最小二乘法。
如图所示：