- （卷积的由来）关于神经网络中间的权重W的问题，如果无法从数学方面入手，可以简单点想。
- 对于一维输入和输出，在一个一层的全连接中，每一个输入都对每一个输出有影响，则对应的权重矩阵需要记录每一个输入对每一个输出的影响，所以此时的权重矩阵是二维的。
- 对于二维输入和输出，在一个一层的全连接中，每一个输入都对每一个输出有影响，则对应的权重矩阵需要记录每一个输入坐标对每一个输出坐标的影响，所以此时的权重矩阵是四维的。
- 公式中对应的求和过程，其实就是将前面所有的输入对当前的输出的影响进行累加。
- 平移不变性和局部性->卷积，卷积就是特殊的全连接层。先利用平移不变性，将权重改变为随着像素位置移动而权重不改变；再利用局部性，对像素移动的范围进行限制，在Δ之外权重都为0。卷积层严格来说是交叉相关。
池化的由来。降低卷积层对位置的敏感性（卷积层对位置过于敏感），同时降低对空间降采样表⽰的敏感性。
批量归一化。在全连接层和卷积层上的处理维度是不一样的，批量归一化是线性变化，一般都是放在线性变化前。对于全连接层就是，作用在每一个特征上类似于每一列上。对于卷积层，则是在通道上，对于处于同样位置的所有通道上的那一个像素进行批量归一化。
- 数据不平衡即标号的问题对上层的影响是更大的，对特征提取器的影响相对没有那么大
- 微调fine-tuning在学习率上不敏感，选择一个较小的就行了。
- 标号映射
- 源数据集和目标数据集一般要相似，如果相差太大的话，效果会一般
- 一般是，除了最后的分类层参数随机初始化，学习率调高，前面的特征提取层则保持不变
若有收获，就点个赞吧
0 人点赞
