人工智能发展的两支:计算神经科学、深度学习。
    前者注重如何通过计算模拟大脑,后者注重借鉴大脑的基本原理创造人工大脑。前者是在深入的研究模拟生物大脑,而后者不在乎生物大脑的细节,更在乎如何发现利用他的基本原理。

    深度学习近期的兴起源于对大脑视皮层结构的模拟, 利用层级编码、局部网络连接、 池化这样和生物直接相关的原理,但是在学习方式上放弃生物的赫布学习,转而使用反向传播算法(学习神经网络中存储信息)、LSTM的神经网络(模拟记忆)。

    深度学习中已经应用的计算神经科学原理:
    1.Hierarchical coding:层级编码原理=>神经回路的层级结构。效果:支持具体特征到抽象特征
    2.Distributed coding:集群编码原理=>词向量编码。效果:更好的鲁棒性、泛化能力
    3.Cortical minicolumn:神经元簇状结构=>Capsule Network(类似神经元向量)。效果:支持类似旋转不变性这种抽象性质
    4.兴奋抑制平衡=>batch normalization。效果:对新进入信号更加敏感,提升网络梯度传输的效率
    5.Grid Cells:栅格细胞=>Deepmind用于空间导航任务。效果:对任何环境中的物体形成通用的空间表示, 在新的环境里也可以灵活的学习物体的位置。

    深度学习中暂未应用的计算神经科学原理:
    1.动态网络连接=>计算神经科学认为动态连接的神经网络可以承载工作记忆
    2.Top down processing=>从高级脑区向感官的反向调节(top down),但深度学习使用的网络以前向网络为主(bottom up)
    3.Dale Principle:兴奋型和抑制型神经元完全分开=>深度学习网络每个神经元均可向周围神经元发放正或负的信号
    4.Routing by Inhibitory cells :种类丰富的抑制型神经元=>AI用attention机制, 或者LSTM里的输入门来调控是否让某个输入进入网络
    5.临界:神经元动力系统处于平衡和混沌的边缘
    6.自由能假说:由最新采纳的证据更新先验概率得到后验概率
    7.Global Workspace Theory :全脑工作空间(意识意识是全脑的信息共享)

    参考资料:
    1.https://www.zhihu.com/question/54424980/answer/564131573
    2.https://zhuanlan.zhihu.com/p/80590640
    3.《脑与意识》- Stanislas Dehaene
    4.《How to create a mind》- 库兹韦尔
    5.《奇点临近》- 库兹韦尔