Continuous learning Never ending learning Incremental learning

依次训练模型完成不同的任务.主要碰到的问题:
Catastrophic Forgetting

希望解决的问题

life long learning V.S. multi-task training

multi-task training using all the data for training. ———Computation issue, Storage issue
mulit-task training can be considered as the upperbound of LLL

Train a model for each task

eventually cannout store all the models
knowledge cannot transfer across different tasks

Life-Long V.S. Transfer

相对而言,前者更关心训练完当前任务后,模型在之前任务上的表现,而后者不关心模型在之前的任务上的表现

Research Direction

Selective Synaptic Plasticity(选择性突触可塑性)

Why catastrophic forgetting?
不同任务的error surface不同,在训练当前任务进行调参时可能会导致调整后的参数在原来任务上的error surface表现很差.
基本思想:每次训练新的任务时尽量不调整对之前的任务影响大的参数

Additional Neural Resoutce Allocation

Progressive neural networks
每训练新的任务,增加一些新的参数并对其训练.不存在catastrophic forgettting问题,但模型会逐渐增大
PackNet
首先开一个模型比较大的network,每训练一个任务只更新其部分参数
Compating, Picking and Growing(CPG)
结合上述两者

Memory Reply

每次训练模型做当前任务时,同时使用当前任务对应的资料训练一个generator用于产生接近当前任务的资料,之后训练后续任务时利用积累的generator产生相应的资料,跟当前任务的资料加在一起用于模型训练
life_v2.pptx