元学习

现在的一些深度学习模型同样是基于数据的独立同分布，从数据的分布中归纳偏置也就是提取有助于区别的特征，但是传统的深度学习模型因此对数据的依赖性也是很大的，在一个领域内的数据上进行训练之后，再应用在解决一些相似问题时就需要重新训练模型，同时在数据样本很少的情况下深度学习模型是完全没办法考梯度下降算法收敛来学习知识。

之所以提及元学习主要是元学习方式是解决少样本学习的主流方式，少样本学习分为完全没有样本的学习任务和少量样本的学习任务，没有样本的学习任务所有类别里面都没有数据，模型根据各种类别的元信息（也就是类别数据的描述信息）来进行学习，不管是极端的的zero-shot还是k-shot都是为了在数据量极少的情况下学习一个泛化性能更好的模型。

基于度量的元学习算法主要是分为以下几种孪生网络、原型网络、关系网络。

基于最优初始化的元学习算法

基于优化器的元学习网络

使用RNN作为优化器，被优化的对象叫做基网络，也就是使用RNN来寻找最优参数，目标是使得基网络的平均损失能够最小，参数这个思路和NAS神经网络搜索很像，也就是学习学习的学习，这点也是和启发式学习算法很像的。

Albert-tiny极小预训练模型

clip 24mb