Neural Networks：第五周-视频8

question

在random initialization 中，andrew Ng 说随机初始化的问题会导致不同的隐藏层趋于相同。why？感觉应该从反向传播算法入手理解。

玄学把握：第六周-视频10

应用中的建议.mkv)

内容总结

三种数据集划分的依据

我们将数据集划分为训练集、验证集、测试集，设置验证集的作用是在验证集上选取偏差最小的模型和参数。既然已经在验证集上有了这么一个选取的过程，那么我们的模型就已经有了对验证集的某种偏向，验证集就不足以测试模型的好坏，需要额外设置测试集。这就像考试一样，有效的考试应该不公布历年真题，以免被吃透命题规律，使得考生可以取巧。

改进办法

  1. 获得更多的训练样本——解决高方差
    当样本数量过少时，可以理解为当前的模型对于样本的规模而言有些过拟合了，于是获取更多的样本可以使得两者间更为适配。
  2. 尝试减少特征的数量——解决高方差
  3. 尝试获得更多的特征——解决高偏差
  4. 尝试增加多项式特征——解决高偏差
  5. 尝试减少正则化程度λ——解决高偏差
  6. 尝试增加正则化程度λ——解决高方差

支持向量机：第七周-视频12

本地视频：SVM：从优化目标开始.mkv)

视频内容总结：内容总结

大体上来说，机器学习导论第13章：核机器从最大边缘的角度给出来支持向量的推导过程；而吴恩达则是从已有的损失函数处着手，以最小的分类损失为原则进行推导；最后两者推导出了相同的结论，因为最大边缘等价于最小的分类损失。