简介

由于环境和技术的限制，有大量图像是在照明条件不好的情况下拍摄的，比如背光、不均匀照射、弱照明、泛光等，这类图像的分类结果通常无法让人满意。今年了，基于深度学习的低光图像增强取得了飞跃的进展，不过目前仍然缺乏基于深度学习解决方案全面深入的调查。于是作者系统、全面的回顾了基于深度学习的低光图像增强的最新进展做出了一以下工作

  • 提供了多方面的深入分析和讨论，涵盖学习策略、网络结构、损失函数、训练数据集、测试数据集、评估指标等。
  • 提出了一个包含不同内容的图像和视频大规模数据集，包含了不同光照条件下的内容

  • 提供了一个包含各种基于深度学习的低光图像增强方法的在线平台，可以对实现各种方法所需配置的比较

    学习策略

    监督学习

    第一个基于深度学习的LLIE方法LLNet同时采用了对低光图像增亮和降噪的方法，受此启发，有人提出了端到端的多分支增强了网络（MBLLEN），该网络通过特征提取模块，增强模块和融合模块来提取有效特征，并提高性能。后来又有人提出了基于图像内容增强的编码器解码器网络，和用于图像边缘增强的循环神经网络
    和前面方法类似，又有人提出了多重曝光融合网络，对一张图像进行两次不同曝光，得到两个增强结果后融合，同时应用了金字塔网络（LPNet）残差网络。
    由于基于物理可解释的Retinex理论通常会有更好的性能，于是基于与深度学习并通过增强照度分量和反射分量有人提出将图像分为与光无关的反射和平滑照明，并估计其照明图，在通过弱照明图像增强模块得到增强图像进行分类
    有人在此基础上提取全局和局部特征，也有人提出通过多尺度照明注意力模块改进之前架构的缺点。又有人解决了噪声被忽略的问题，同时对语义分割做出了模型优化。

    其他学习方式

  • 对于无监督学习/半监督学习方法，如何实现稳定训练、避免颜色偏差、建立跨域信息的关系挑战当前方法

  • 对于强化学习方法，设计有效的奖励机制和实施高效稳定的训练是错综复杂的
  • 对于零样本学习方法，当颜色保留、伪影去除和梯度返回时，损失函数的设计非常重要。

    技术回顾

    网络架构

    现有架构主要采用了U-Net和U-Net-like架构，因为可以有效的继承多尺度特征，并同时使用低级和搞基特征，有利于低光增强。然而仍有一些关键问题
  1. 极低光图像经过几次卷积后，梯度可能消失
  2. 跳跃链接可能会引入噪声和荣誉特征
  3. 大部分模块是依照常规视觉任务中的模型和参数，没考虑低光数据

    损失函数

    重建损失

    主要分为L1，L2，和SSIM重建损失
  • L2 损失倾向于惩罚较大的错误，但可以容忍小错误。
  • L1 损失可以很好地保留颜色和亮度，因为无论局部结构如何，误差的权重都是相等的。

  • SSIM很好地保留了结构和纹理

    感知损失

    感知损失用于约束与特征空间中的真实情况相似的结果，主要用于图像重建和图像风格转换

    对抗损失

    为了鼓励增强结果和参考图像尽可能相同，使用生成对抗网络的标准损失函数，其中生成器生成增强图像，如果被判别器认为是假，则会产生损失

    曝光损失

    曝光损失衡量增强后结果的曝光水平，对于偏离平均曝光值过多的增强结果会给予更多损失

    评价指标

    作者提出了一个低光图像视频数据集，用于评判现有的深度学习架构，其中着重关注作者对其评价的各种指标

  • 图像增强质量的定量分析

  • 计算复杂度分析

  • 具体应用场景评估

    总结

    本文提供了对低光图像增强的概括，虽然与我的研究方向无关，但是从中学习到了一些架构设计的思路，各类损失函数，同时了解到了一些相应的评估方法。
    最后作者提出了关于低光图像增强未来研究的方向，可以应用到自己的领域

  • 更有效的学习策略

  • 专门定制的网络架构
  • 专用的损失函数
  • 特定于任务的评估指标
  • 增强泛化能力
  • 整合语义信息