M-P 神经元模型

神经元接收来自n个其他神经元传递过来的输入信号,这些信号通过带权重的连接(connection)进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过”激活函数”处理以产生神经元的输出.
理想的激活函数是阶跃函数,但阶跃函数具有不连续、不光滑等不太好性质,实际常使用Sigmoid函数(也称Logistic 函数).函数表达式:Feedward Neural Network and BP Algorithm - 图1
求导具有比较好的性质: Feedward Neural Network and BP Algorithm - 图2
image.png

感知机与多层网络

感知机(Perception)是由两层神经元组成,如图所示:
image.png
感知机的权重调整过程:
Feedward Neural Network and BP Algorithm - 图5
感知机只有输出神经元进行激活函数处理,即只拥有一层功能神经元,其学习能力非常有限,事实上感知机只能解决线性可分问题(甚至不能解决异或这样简单的非线性可分问题).
为了解决非线性可分问题，需要考虑是有多层功能神经元，如图所示:
image.png
多层网络的学习能力比单层感知机强的多,简单感知机的权重调整算法显然不够,需引入更强大的学习算法,误差逆传播(error BackPropagation)算法就是其中最杰出的代表,也是迄今最成功的神经网络学习算法.

BP算法(误差逆传播算法)