Analyzing and Improving the Image Quality of StyleGAN

分析和改善StyleGAN的图像质量

译文：http://www.gwylab.com/pdf/stylegan2_chs.pdf

Abstract

基于样式的 GAN 架构（StyleGAN）在数据驱动的无条 件生成图像建模中达到了最先进的结果。我们将揭露和分析 其一些特征伪像的出现原因，并提出模型架构和训练方法方 面的改进以解决这些问题。特别是，我们重新设计了生成器 归一化方法，重新审视了渐进式增长架构，并对生成器施加 了正则化，以在从潜在矢量到图像的映射中鼓励更良好的质 量。除了改善图像质量外，使用路径长度调节器还带来了额 外的好处，即生成器变得非常容易反转。这使得可以可靠地 检测图像是否由特定网络生成。我们进一步可视化生成器如 何充分利用其输出分辨率，并确定网络容量问题，从而激励 我们训练更大的模型以进一步提高质量。总体而言，我们改 进的模型在现有的分布式指标质量和感知的图像质量方面都 重新定义了无条件图像建模的最先进技术指标。

2.1 生成器架构修正
在图2a 中显示原始的StyleGAN 合成网络 g， 在图2b 中，我们通过显示权重和偏差并将 AdaIN 操作分解为其 两个组成部分：归一化和调制，将特征图扩展为完整细节。 这使我们可以重新绘制概念上的灰色框，以便每个框都指示 网络中激活一种样式的部分（即“样式块”）。有趣的是， 原始的 StyleGAN 在样式块内施加了偏置和噪音，使它们的 相对影响与当前样式的大小成反比。我们观察到，通过将这 些操作移到样式块之外（它们在未标准化的数据上进行操 作），可以获得更可预测的结果。此外，我们注意到，在此 更改之后，仅对标准偏差进行标准化和调制就足够了（即， 不需要均值）。偏置，噪声和归一化对恒定输入的应用也可 以安全地消除，而没有明显的缺点