表示

神经元是一个处理单元，它从输入通道，接受一定数目的数据并做一些计算，然后将结果传送到其它节点

有时也会添加偏置神经元/偏置单元，其数值总是1

神经网络

术语

Simoid(logistic) activation function（因为h(x)=g(z)为非线性）
模型参数也会被称之为模型的权重(weights)

实现

向量化

将 g(*) 替换为 g(z)


计算预测函数的时候，还需要加上隐藏层的偏置项

这个过程，也被称为前向传播
因为从输入单元的激活项开始，然后进行前向传播，将数据传到隐藏层，计算隐藏层的激活项，继续传播，计算输出层的激活项

理解

挡住左半部分，剩余部分是logistics的回归模型
但输入逻辑回归的特征，是隐藏层的激活项计算的数值，而不是原本的特征

因此神经网络的本质是，并不使用原本的输入特征 x 来训练逻辑回归，而是自己训练逻辑回归的输入 a
利用隐藏层计算更为复杂的特征，并输入到最后的输出层，就可以学习更复杂的假设函数

架构