每天分享一些读的论文,可能是详细的笔记,也可能是简单的略读带过。 理解有偏差的地方还望交流指出,共同进步。

1. [RL] Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software (AAAI 2020)

使用强化学习结合GAN网络来控制图像编辑软件来做图像增强,其中生成器作为控制图像编辑软件(如PS)的agent,生成器每次一组参数用于控制PS软件编辑图像,当编辑后的图像可以骗过判别器时,获得reward。作者将这个框架应用在图像的增强和人脸美颜上。 亮点

  • 生成器网络不直接参与图像编辑,而是生成一组控制编辑软件的参数,这可以减少artifacts的引入
  • 可以直接编辑高分辨率的图像
  • unpaired train

【资源链接】


【工作详细介绍】

Screen Shot 2020-12-01 at 4.03.55 PM.png
训练判别器
强化学习图像编辑&暗光照光流和去噪 - 图2
λ is a weight for Z, and Z is a regularization term for the discriminator to stay in the set of Lipschitz continuous functions
强化学习图像编辑&暗光照光流和去噪 - 图3

训练生成器
由于图像编辑软件是不可微的,在设计这部分loss的时候需要改动。由于ps的等软件操作不可以视作线性的,所以强化学习图像编辑&暗光照光流和去噪 - 图4,不同于之前的RL图像增强工作,这个工作中生成器作为agent每次只产生一个动作,而非作出一连串的动作。
所以reward定义为:
强化学习图像编辑&暗光照光流和去噪 - 图5

RL选择的是actor-critic(A2C)

【实验结果】
个人觉得这个比psnr之类的没有多大意义,因为它本身就是在原图上做一些增强,最后的叠加效果肯定会比普通方法好。尤其是会比基于GAN的生成网络好,因为PS软件本身不容易引入artifacts。
Screen Shot 2020-12-01 at 7.29.09 PM.png

2. [low-light] Optical Flow in the Dark (CVPR 2020)

把光流估计和暗光照两个setting结合,提出新的setting—黑暗场景的光流估计。生成了个暗光照下的光流数据集,采集了个多种曝光条件下的光流数据作为benchmark数据集。 end-to-end training

【资源链接】


【不详细介绍】

Screen Shot 2020-12-01 at 8.54.27 PM.png