神经元模型

神经元（neuron）模型是神经网络最基本的组成成分，不妨对比一下生物学中的神经元和机器学习中的神经元：

在生物学中，每个神经元都有多个树突（dendrite），一个轴突（axon），以及一个细胞体（cell body）。当它兴奋时，就会向相连的神经元发送化学物质，从而改变它们内部的电位。如果一个神经元的电位超过了阈值（threshold，也称bias），那它就会被激活，也即兴奋，继而向其他相连神经元发送化学物质。

在机器学习中，最常用的是右图的M-P神经元模型（亦称为阈值逻辑单元（threshold logic unit））。树突对应于输入部分，每个神经元接收到若干个来自其他神经元的输入信号，这些信号通过带权重的连接（connection）传递给细胞体，这些权重又称为连接权。细胞体分为两部分，前一部分计算总输入值（即输入信号的加权和，或者说累积电平）；后一部分先计算总输入值与该神经元的阈值的差值，然后通过激活函数（activation function）的处理，从轴突输出给其它神经元。也即：

%0A#card=math&code=y%20%3D%20f%28%5Csum_i%20w_i%20x_i%20-%5Ctheta%29%0A&id=w9L5B)

最理想的激活函数是阶跃函数，但它不连续。类似于线性分类，可以采用Sigmoid函数来近似。因为这类函数能把较大范围内变化的输入值挤压到 (0,1) 输出值范围内，所以也称为挤压函数（squashing function）。

将多个神经元按一定的层次结构连接起来，就得到了神经网络。它是一种包含许多参数的模型，比方说10个神经元两两连接，则有100个参数需要学习（每个神经元有9个连接权以及1个阈值）。若将每个神经元都看作一个函数，整个神经网络就是由这些函数相互嵌套而成。