A Morphable Model For The Synthesis Of 3D Faces

本文介绍了一种新的三维纹理人脸建模技术。3D人脸可以从一张或多张照片中自动生成。
整个流程图如下：

通过3D人脸模型数据库生成人脸可形变模型，输入的2D图片经过人脸分析匹配到相应的3D人脸形变模型，再通过一定的调整生成3D输出。

1. 3D人脸形变模型

假设人脸由形状（几何信息）和纹理组成，一个人脸可以由数据库人脸组合而成。人脸的几何信息通过形状向量来表示，都是n个点的坐标信息。人脸的纹理信息通过纹理向量来表示，表示所在点的RGB值。

对于一个有用的人脸合成系统来说，能够根据人脸的可信性来量化结果是很重要的。因此，我们从我们的人脸的数据集中估计了系数和的概率分布。这种分布使我们能够控制系数和的可能性，并同时控制生成的人脸出现的可能性。
使用100张男性人脸和100张女性人脸，求出他们的平均形状，，然后进行PCA得到


通过调节 和来控制shape和texture基来调节人脸。

2. 脸部属性

面部表情由于面部表情在不同人脸上的表示是大致相同的，比如笑，哭，生气等，因此可以使用同一个参数应用到不同人脸上，即可达到想要的效果。

不同于上面的面部表情具有统一性，面部特征在不同的个体的差异会变得很明显，例如脸颊、嘴巴、眉毛的宽度以及鼻子的形状。因此在具体实现的时候，我们需要手动标定出这些特征点，来找到输入图像与模型的对应关系。

用标注好权重的面部特征的和 可以直接在原有形变模型上进行加减使得可以作用于任何一个三维模型，来使它拥有或去掉对应的脸部特征。但是对应的特征很多，如果所有特征都用手工标定基本上不太现实，因此，做出假设是一个线性函数，这样寻找一个线性函数，可以转化为存在确定值的最优解问题， 达到最优解条件为以下值最小。

3. Matching a morphablemodel to images

该框架的一个关键是：能将自动将形变人脸模型匹配到一个或多个图像。

在有了形变模型之后，对于一张给定的人脸照片，我们需要将模型与人脸照片进行配准，然后对模型的参数进行调整，使其与照片中的人脸差异值达到最小。简单而言，不断依据模型与输入的人脸照片进行比对，不断进行迭代，使两者之间的比对误差达到最小，这个时候，我们可以近似认为该模型即为对应输入的人脸照片的三维模型。
为了可以使形变模型与输入的照片进行量化比较，需要利用模型重建出模型照片，使得模型图片 与输入图像直接的欧式距离最小，即最小：


有系数决定好的脸部模型，在渲染的时候我们还需要的参数，它包括了相机参数，对象尺寸，图像的旋转和平移，环境的光照强度等等，因此我们可以继续将脸部模型扩充表示为 ，所以原问题可以转化为，寻找到相应的参数 ，使得条件概率 达到最大值。
根据贝叶斯定理， 在考虑到输入图片中存在噪声的情况，引入标准误差 ，可以得出：

因此，最大化该条件概率可以转化为最小化以下代价函数：

配准流程：

1. 对输入图像进行down-sample(下采样)处理；
2. 先从进行优化，然后加入，在每次的子迭代过程中，逐步添加需要的元素和组件；
3. 先尝试较大值，（高斯噪音的标准差）,然后逐渐减小;
4. 在最后的迭代过程中，脸部模型的分解为小的Segment, 这个时候固定好，然后对于每一个Segment，分别对和参数进行优化，这样可以得到脸部的细节特征达到一个较好的优化。

找到最优值后，相应的三维脸部模型就可以按照参数建立得到。

4. 多视角图像的生成：

将此技术扩展到一个人的多个图像可用的情况是很简单的，形状和表情接收同一个共同 基控制，分割出不同的 来控制不同的图片输入角度， 替换为每对输入图像和模型图像的图像欧式距离之和，并同时优化所有参数，如下图:

References

https://zhuanlan.zhihu.com/p/97564880 https://blog.csdn.net/qq_39426225/article/details/97671694 https://blog.csdn.net/weixin_37340613/article/details/94390717