• 小样本情况，无论是低维还是高维，不如SVM和贝叶斯模型
• 低维数据，大样本量，不如各种ensemble类算法
• 以上主要问题在于过拟合，传统机器学习算法大部分对过拟合都有比较合理的解决方案，而神经网络基本只靠heuristic。dropout虽然在Bayesian deep learning里面有不错的意义，但只依靠dropout来做inference实践上未免有点单薄
• 低维时序数据，小样本量，大部分情况下比不过HMM，ARIMA一类的，比如语音识别里至今CNN没有比HMM效果好多少
• 三维的图像数据，神经网络参数量太大，虽然有不少文章voxel based cnn，我目前还没有复现过效果比较好的模型
• 上面的三维数据，有一种做法是多视角赤极投影，然后用LSTM去学，然而实数空间不存在一个SO(3)群到S2群的连续映射，因为二者不同构，所以即使你做出实验效果，也有可能是某种过拟合的结果
• 神经网络容易受到对抗样本的攻击，攻击很容易，防御十分困难，目前为止的大部分防御措施都被指出存在漏洞
• 不规则数据，比如说graph signal或者point cloud，虽然有不少文章都尝试graph signal上做卷积，但是目前为止，应用在复杂数据集上效果欠佳，而且数学研究者的工作与CS研究者的工作还有着巨大的隔阂
• 有一些文章用神经网络做图像去噪，这类的文章，凡声称自己是“盲”去噪，不加任何正则项先验项的，有一大部分连自己到底想做到什么样的目标都说不清