RBF网络
RBF（Radial Basis Function）网络是一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元的激活函数。输出层则直接使用隐层神经元的线性组合。
ART网络
竞争型学习（competitive learning）是神经网络中常用的一种无监督学习策略。使用该策略时，网络中的输出神经元相互竞争，每次只有一个竞争获胜的神经元被激活，其它输出神经元被抑制，这种机制又称为胜者通吃（winner-take-all）。
ART（Adaptive Resonance Theory，自适应谐振理论）网络是竞争型学习的重要代表。该网络由四部份组成：比较层、识别层、识别阈值、重置模块。比较层就是输入层，只负责把样本传递给识别层。识别层也即输出层，但识别层的每个神经元对应一个模式类，而且神经元的数目可以在训练过程中动态增加以增加新的模式类。
识别层的每个神经元有一个对应的模式类的代表向量，每次输入一个样本，各识别层神经元相互竞争，代表向量与样本距离最小的胜出并被激活。获胜神经元会向其他神经元发送信号，抑制其激活。如果样本与获胜神经元的距离小于识别阈值，则被分到对应的模式类。否则，重置模块会在识别层新增一个神经元，代表向量为该样本。
ART能有效缓解竞争型学习中的可塑性-稳定性窘境（stability-plasticity dilemma）。可塑性指神经网络要有学习新知识的能力，稳定性则指神经网络在学习新知识时要保持对旧知识的记忆。
ART具备可塑性和稳定性，因此能进行增量学习（incremental learning）和在线学习（online learning）。
增量学习可以理解为建立模型后再收到新的样例时可以对模型进行更新，但不用重新训练整个模型，先前学得的有效信息会被保存。它可以逐个新样例进行更新，也能以批模型（batch-mode），每次用一批新样例来更新。
在线学习则可以理解为每拿到一个新样本就进行一次模型更新，不需要一开始就准备好完整的训练集，每次收到新样例都能继续训练。可以看作增量学习的一个特例。
SOM 网络
SOM（Self-Organizing Map，自组织映射）网络，又称为自组织特征映射网络或Kohonen网络。同样是一种竞争学习型无监督神经网络，只有输入层和输出层两层，输出层以矩阵形式排列。与样本距离最近的输出层神经元获胜，称为最佳匹配单元（best matching unit）。最佳匹配单元和邻近神经元的权向量会被调整，使得下次遇到相似的样本时距离更小。如此迭代，直至收敛。
级联相关网络
级联相关（Cascade-Correlation）网络是一种典型的结构自适应网络，这类网络不仅通过训练来学习合适的连接权和阈值等参数，还会在训练过程中找到最符合数据特点的网络结构。
级联相关神经网络有两个主要成分：
- 级联：指建立层次连接的层级结构。开始训练时，只有输入层和输出层，随着训练进行逐渐加入隐层神经元，从而建立层级结构。注意，隐层神经元的输入端连接权是冻结固定的。
- 相关：指通过最大化新神经元的输出与网络误差之间的相关性（correlation）来训练相关的参数。
Elman网络
递归神经网络（recurrent neural networks，简称RNN）允许网络中出现环形结构，即一些神经元的输出可以反馈回来当输入信号，从而能够处理与时间有关的动态变化。
Elman网络是最常用的递归神经网络之一，只有一个隐层，并且隐层神经元的输出会被反馈，在下一时刻与输入层神经元的输入信号一起作为隐层神经元的新输入。隐层神经元一般采用Sigmoid函数作为激活函数，并用BP算法训练整个网络。
Boltzmann机
神经网络中有一类基于能量的模型（energy-based model），把网络状态定义为一个能量，能量最小时网络达到理想状态，模型的学习过程就是最小化能量函数。Boltzmann机就是这样的模型，同时也是一种RNN。
Boltzmann机的神经元分为显层与隐层，显层用于表达数据的输入与输出，隐层则是数据的内在。每个神经元只有0、1两种状态，也即抑制和激活。
标准的Boltzmann机是全连接图，即任意两个神经元之间都相连。但复杂度太高，难以用于解决现实任务，实际应用中用的是受限Boltzmann机（Restricted Boltzmann Machine，简称RBM），把标准Boltzmann机退化为二部图，只保留显层和隐层之间的连接，同一层直接不相连。
若有收获，就点个赞吧
0 人点赞
