- 分享主题:Task Grouping 2 - 论文标题:Efficiently Identifying Task Groupings for Multi-Task Learning - 论文链接:https://arxiv.org/abs/2109.04617 - 分享人:唐共勇 |
---|
1. Summary
【必写】,推荐使用 grammarly 检查语法问题,尽量参考论文 introduction 的写作方式。需要写出
- 这篇文章解决了什么问题?
- 作者使用了什么方法(不用太细节)来解决了这个问题?
- 你觉得你需要继续去研究哪些概念才会加深你对这篇文章的理解?
This paper proposes a method to efficiently determine which tasks should be divided into a group for training in multi-task learning. On a large-scale Taskonomy computer vision data set, it can not only reduce the loss of the test set by 10.0% but also the training speed is 11.6 times that of the previous task grouping SOTA. In general, training can be divided into four parts: first, a single multi-task model is used to train all tasks together Secondly, the inter-task affinity between different tasks is calculated in the process of training After the model passes through all the training data and calculates the affinity between the two tasks, the tasks are grouped by some algorithm to maximize the sum of affinity Finally, the tasks after grouping are used for training and prediction.
2. 你对于论文的思考
需要写出你自己对于论文的思考,例如优缺点,你的takeaways
用一个单独的多任务模型来把所有任务结合在一起训练,在训练的过程中我们会计算不同任务之间的亲和度,当模型过完一遍所有的训练数据并且计算出任务两两之间的亲和度之后,我们通过某种算法来对任务进行分组,使得亲和度之和最大,用分组之后的任务来进行训练以及预测。
3. 其他
【可选】
任务亲和度:在多任务学习中,用一个值来量化一个任务 对另一个任务 的正面或者负面影响。
用任务 对共享参数的梯度更新对另一个任务 的 loss 影响的程度 来衡量两个任务的亲和度。
形式化地表达就是:考虑任务集合 , 共享参数 ,以及任务 的参数 , 其中 对于一个batch的训练数据 , 整体的训练loss
其中 是任务 对应的loss 那么对于在训练时刻 的一个batch的训练数据 , 当我们用某个任务 的loss对共享参数 进行一次梯度更新后,得到新的共享参数
然后我们就可以用新的共享参数 , 训练数据 以及另一个任务 的参数 来计算共享参数更新之后任务 的新loss
与共享参数更新之前任务 的旧loss 进行比较,就可以得到任务 对任务 的亲和度
如果亲和度大于0,说明任务 对共享参数的此次梯度更新会降低另一个任务 的loss,对应着正面影响; 相反如果小于0,说明 对共享参数的更新会提高 的loss,对应着负面影响。