Title

ELF: An Early-Exiting Framework for Long-Tailed Classification
代码：无
文章：http://arxiv.org/abs/2006.11979
Georgia Tech

Summary

作者从网络结构出发，提出了一种困难样本挖掘的朴素思路：early exit。即通过多个辅助出口，越简单的样本越早退出网络，从而减少平均计算量，并将更多的计算量留给困难样本。

Problem Statement

分类中经常遇到长尾分布的问题（长尾即类别数据不均衡，有的类别样本数很少）。
为了解决这一问题，目前的常用方法可以分为以下三类：

• 数据方面，data resampling
  • oversampling：稀有类别的过采样，造成稀有类别的过拟合和计算冗余
  • undersampling：常见类别的欠采样，损失常见类别的信息
• loss方面，loss reshaping
  • reweighting example loss：样本loss重新赋权，常见的方法有weighted cross-entropy, focal, LDAM
  • class dependent regularization：正则化方法
• 迁移和元学习
  通常会比loss reshaping方法消耗更多计算量

作者提出了early-exiting方法，可以和其它方法互为补充。

Method(s)

总体逻辑如下图所示。其核心思想是：设置多个辅助出口。当某个样本达到退出条件后就不再参与后续网络。
这样有几个好处：

• 节省平均计算量
• 释放模型能力，将更多的计算量给到困难样本

具体做法如下：

1. 训练时
   • 退出条件：分类正确，且类别置信度达到阈值
   • 损失函数：累加从第一个出口到退出训练的出口的loss。每个出口的loss可以结合LDAM等设计。同时每个出口的loss权重不同，应保证越靠后的出口的loss占总loss的比重越大
     
2. 测试时
   • 退出条件：类别置信度达到阈值
   • 退出训练的出口的结果即为最终结果

Evaluation

Notes

几个单词：

• mitigate: 缓解
• auxiliary: 辅助的
• on-the-fly: 即时的
• redundancy: 冗余
• agnostic: 不可知的
• disect: 解剖，分析

Criticism

我觉得作者提出了一个简单但很实用的思路：简单样本不要占用更多的计算量。
在检测分类任务中，困难样本可以通过类别置信度来衡量，但在图像生成任务中，熵并不是一个很好的衡量标准。所以暂时无法应用在我的项目中。

Reference

• 用loss平衡类别权重
  • weighted cross-entropy
  • focal
  • LDAM