https://www.bilibili.com/video/BV1VW411A7BY?p=7

问题

1、Can Shallow network can fit any function？

  1. 万能近似定理：前馈神经网络，只需具备单层隐含层和有限个神经单元，就能以任意精度拟合任意复杂度的函数<br />    这里的近似是否包括泛化？

2、Is Deep better than shallow？

  1.   更深的网络，表达力更强。<br />      参考论文：On the Expressive Power of Deep Neural Networks

3、DNN是否有局部最小值？

  1.   有。有研究认为几乎所有的局部最小值都近似于全局最优值，因此找到局部最小值已经足够好了。

4、DNN的泛化性？

  1.    不容易过拟合，与经典泛化理论不同。有研究表明：模型参数量不能代表DNN模型的复杂度，因为实际上DNN只有部分参数是有work的。