Zhou 等。 - 2021 - Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation
Paper 地址：https://arxiv.org/abs/2104.11116
Github：https://github.com/Hangz-nju-cuhk/Talking-Face_PC-AVS
Project Page：https://hangz-nju-cuhk.github.io/projects/PC-AVS
作者本人写的博客：https://zhuanlan.zhihu.com/p/367525241
注：因本篇大多是从作者的博文粘贴过来的。

粗读

研究问题

  • 本文不使用任何人为定义的结构信息（人脸关键点或者3D人脸模型），成功实现了人头姿态可控的语音驱动任意说话人脸生成。
  • 本文Focus的方向为基于单张图像（One-shot），面向任意人脸，语音驱动setting下的说话人脸生成问题。具体来说，我们希望基于一张图片，生成与语音同步的说话人脸视频，且说话人的头部是运动的。
  • 本文相比于之前的方法，避免了关键点或者3D模型计算不准确带来的烦恼，又保持了自由度和鲁棒性。实现了在语音控制准确嘴型的同时，用另一段视频控制头部运动。

    研究背景

    这一setting下的工作包括 VGG 组的You said that? [2] ，CUHK（笔者自己）的DAVS [3], 乐乐的ATVG [4] 以及Adobe周洋和李丁博士的MakeitTalk [5]等等。整体来讲，之前的工作[2][3][4]更多的关注于嘴型的准确性和ID的保存上，从而忽略了头部的自然运动。在本文中我们所试图解决的，是之前说话人脸生成中人头pose难以控制这一问题。
    最近的Makeittalk[5]和乐乐的Rhythmic Head[6] 则关注于和个人ID信息有关的自然头部运动。但是他们的方法都依赖于3D的结构化信息。
    想独立控制头部运动，就需要对Head pose和facial expression，identity做一个解耦。通过思考我们可以意识到，这种解耦在2D图像和2D landmark的表征中都很难实现。而在我们语音驱动的大前提下，嘴型要和audio对齐，头部运动又要自然，可以说是难上加难。另一方面，3D的人脸表征中，head pose和facial expression可以天然地用不同的参数控制，可以说是最佳选择。因此之前的工作，Makeittalk[5]选择了3D的人脸关键点，而Rhythmic Head[6]则直接依赖于完整地3D重建。但是基于3D的人脸建模，尤其是在极端场景下，开源方法的准确度并无法保证。而基于优化算法的3D fitting还会带来大量的预处理负担。所以本文不使用3D或结构化数据，重新从2D入手解决问题。
    1. What comprises a good talking-head video generation?: A Survey and Benchmark https://arxiv.org/abs/2005.03201
    2. Joon Son Chung, Amir Jamaludin, and Andrew Zisserman. You said that? In BMVC, 2017. https://arxiv.org/abs/1705.02966
    3. Hang Zhou, Yu Liu, Ziwei Liu, Ping Luo, and Xiaogang Wang. Talking face generation by adversarially disentangled audio-visual representation. In Proceedings of the AAAI ConConference on Artificial Intelligence (AAAI), 2019. https://arxiv.org/abs/1807.07860
    4. Lele Chen, Ross K Maddox, Zhiyao Duan, and Chenliang Xu. Hierarchical cross-modal talking face generation with dynamic pixel-wise loss. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. https://www.cs.rochester.edu/u/lchen63/cvpr2019.pdf
    5. Yang Zhou, Xintong Han, Eli Shechtman, Jose Echevarria, Evangelos Kalogerakis, and Dingzeyu Li. Makeittalk: Speaker-aware talking head animation. SIGGRAPH ASIA, 2020. https://arxiv.org/abs/2004.12992
    6. Lele Chen, Guofeng Cui, Celong Liu, Zhong Li, Ziyi Kou, Yi Xu, and Chenliang Xu. Talking-head generation with rhythmic head motion. European Conference on Computer Vision (ECCV), 2020. https://www.cs.rochester.edu/u/lchen63/eccv2020-arxiv.pdf

研究方法

  • 本文的关键在于，隐式地在潜空间（latent space）中定义了一个12维的姿态编码，仅使用一个图像重建的pipeline，成功定义了一个对人脸pose的表征，用于头部运动控制。

研究思路

核心设计源于对去年CVPR利用styleGAN实现Face Reenactment[7]的工作（如下图）的参考。

  1. Egor Burkov, Igor Pasechnik, Artur Grigorev, and Victor Lem-pitsky. Neural head reenactment with latent pose descriptors. In Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition (CVPR), 2020.

image.png
但他们工作中只说明了styleGAN可以使用augmented frame进行图像到图像的控制。而在语音驱动的说话人脸问题中，condition实际来自audio的场景下，直接暴力借用这一框架将难以进行训练，因为语音并不能提供人脸姿态信息。

研究结论

在这个工作中，我们提出了Pose-Controllable Audio-Visual System (PC-AVS)，成功在语音任意说话人的setting下，生成了姿态可控的结果。综合来看我们的方法有以下几个特质值得关注：

  1. 我们的方法不借助预定义的结构信息，仅使用一个图像重建的pipeline，成功定义了一个对人脸pose的表征。
  2. 由style-based generator平衡的训练模式让唇形生成收到更契合的重建约束，从而提升了唇形对齐的准确度。
  3. 我们实现了任意说话人脸下的自由人头姿态控制，使生成的结果更加真实。
  4. 我们的模型在极端情况下有很好的鲁棒性，并且实现了转正的说话人脸生成。

    主要方法

    基于对说话人脸的观察，我们在文中把augmented图像的潜空间，定义为无ID空间（Non-Identity Space）。直观上讲，在此空间中，我们可以重新寻找嘴型与语音关联的说话内容空间（Speech Contant Space），和表示头部运动的姿态空间（Pose Space）。
    image.png
    我们工作的完整pipeline如下图所示，训练数据使用的是大量的含语音视频。我们使用任意的一帧 Zhou_2021_Pose-Controllable - 图3 作为ID参考输入，变形另一帧 Zhou_2021_Pose-Controllable - 图4 为Zhou_2021_Pose-Controllable - 图5，并将与Zhou_2021_Pose-Controllable - 图6对齐的语音的频谱 Zhou_2021_Pose-Controllable - 图7 作为condition，试图使用网络恢复Zhou_2021_Pose-Controllable - 图8。
    image.png
    使用数据集的ID约束，我们可以通过ID encoder Zhou_2021_Pose-Controllable - 图10 得到Identity Space；借助之前的augmentation，我们通过encoder Zhou_2021_Pose-Controllable - 图11 ,得到Non-Identity Space。接下来的问题是如何发挥audio的作用，以及如何让图像只约束Pose而不控制嘴型。
  • Learning Speech Content Space. 我们希望Non-Identity Space的feature经过一个mapping Zhou_2021_Pose-Controllable - 图12 映射至speech content space中。而这一latent space的学习，主要依赖音频和视频之间天然的对齐、同步信息（alignment）。在之前的工作中这已经被证明是audio-visual领域用处最广泛的自监督之一[8]。在这里我们使用语音与人脸序列之间的对齐构建contrastive loss进行对齐的约束；对齐的人脸序列和语音特征 Zhou_2021_Pose-Controllable - 图13 是正样本，非对齐的 Zhou_2021_Pose-Controllable - 图14 为负样本。定义两个feature之间的cos距离为 Zhou_2021_Pose-Controllable - 图15 ，这一约束可以表达为：

Zhou_2021_Pose-Controllable - 图16

  • Devising Pose Code. 另一方面，我们借助3D表征中的piror knowledge。一个12维度的向量其实已经足以表达人头的姿态，包括一个9维的旋转矩阵，2维的平移和1维的尺度。所以我们使用一个额外的mapping，从Non-Identity Space中映射一个12维的Pose Code。这个维度上的设计非常重要，如果维度过大，这一latent code所表达的就可能超过pose信息，导致嘴型受到影响。

最后我们把 Identity Space，Speech Content Space 和 Pose code 结合起来，送入基于StyleGAN2[9]改造的Generator。这三者的信息在Generator中通过图像重建训练进行平衡，loss形式使用了pix2pixHD的重建训练loss。在训练中，pose code起作用的原理是，在ID和pose信息都显式地被约束的前提下，Pose Code最容易学到的信息是改变人头的姿态，以减少重建的loss。在这一目标下，因为姿态逐渐与我们的目标贴合，嘴型的重建约束也会反过来帮助audio feature的学习，从而达到平衡。

  1. Joon Son Chung and Andrew Zisserman. Out of time: auto-mated lip sync in the wild. In ACCV Workshop, 2016. PDF链接
  2. Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten,Jaakko Lehtinen, and Timo Aila. Analyzing and improv-ing the image quality of stylegan. InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition (CVPR), 2020.PDF链接

实验结果

我们在数值上和质量上与之前SOTA的任意语音驱动人脸的方法进行了对比。在数值上，我们对比了LRW和VoxCeleb2两个数据集，重点关注于生成图像还原度（SSIM），图像清晰度（CPDB），生成嘴型landmark的准确度（LMD）和生成嘴型与音频的同步性，使用SyncNet[8]的confidence score评价（ Zhou_2021_Pose-Controllable - 图17 ）。
image.png
我们与之前方法的对比图如下所示：
image.png
更多的Ablation和结果可以参考我们的paper和demo video，这边展示了在极端情况（大角度，低分辨率）的生成结果。展示了如果我们把pose code置0，可以实现转正的说话人脸效果。
image.png