官网：https://faces.dmi.unibas.ch/bfm/index.php?nav=1-0&id=basel_face_model

解决什么问题
3DMM由参数化的生成式3D形状、参数化的反照率模型以及模型系数上的相关概率密度组成。一组形状和反照率系数描述了一个面（人脸）。结合投影和照明参数，可以生成面部的渲染。
然而，3DMM构建过程比较困难，难以广泛使用。需要一个精确和快速的3D扫描仪，扫描数百个个体的扫描和计算扫描之间的密集对应关系。“它唯一的弱点是对3D模型的要求。”因此，从人脸图像分析社区中需要一个公开可用的3D可变形的人脸模型。
本文为了填补这一空白，提出并公开了 Basel 人脸模型，a generative 3D shape and texture model。

模型构建

3DMM的构建需要一个具有不同面部形状和外观的训练集。训练数据应该是目标人群的一个代表性样本。BFM的训练数据集包括100名女性和100名男性的面部扫描，其中大多数是欧洲人。患者年龄8~62岁，平均24.97岁，体重40~123公斤，平均66.48公斤。每个人以中性表达扫描三次，并选择最自然的扫描。

1. 3D face scanning

为了捕捉自然外观的面孔，获取时间是至关重要的。我们使用了一个编码光系统，采集时间为∼1s。与采集时间约为∼15秒的激光扫描仪相比，结果更加准确。该结构化光系统采用ABW-3D技术构建。它使用一系列光模式，为投影仪唯一编码的每个像素，这样三角测量甚至可以在非结构化区域上执行。
为了捕捉全脸，该系统使用了两个投影仪和三个摄像机，从而产生四个深度的图像。该系统以优异的精度捕捉从耳朵到耳朵的面部表面（图3，左）。由于眼睛和头发的反射特性，我们的系统无法捕捉到眼睛和头发的三维形状。
image.png

2. Registration

原始数据需要进行关联。扫描被重新参数化，从而使语义上对应的点（比如眼角、鼻尖）在参数化区域中共享相同的位置（图4）。Registration 建立了面部所有点的对应关系，包括像脸颊这样的非结构化区域。
image.png
将点线性组合后，再来是面。配准不良对模型质量的影响如图1所示。为了建立对应关系，我们使用了一个改进版本的Optimal Step Nonrigid ICP Algorithm [4]。配准方法应用于三角网格的三维域。它逐步使模板变形到测量的表面，同时确保平滑变形。除了建立对应关系外，该方法还使用鲁棒距离度量来填补缺失区域。为了提高模型的质量，我们在嘴唇、眉毛和耳朵上手动添加了关键点。
image.png

3. Texture Extraction and Inpainting

面反照率用每个顶点的颜色表示，这是从照片计算出来的。根据到可见性边界的距离和法线相对于视角的方向，将三张照片的信息混合。我们手动去除头发，并使用扩散法完成缺失的数据，用以改进反照率模型。

4. Model

配准后，这些面被参数化为具有m=53490个顶点和共享拓扑的三角形网格。顶点(xj，yj，zj)T∈R3相关的颜色(rj，gj，bj)T∈[0,1]3。如此，一张脸可以被2个 3m 维的向量表示：
image.png
BFM假设形状和纹理之间是独立的，构造了[7]中描述的两个独立的线性模型。利用主成分分析(PCA)对数据进行高斯分布拟合，得到一个参数化面模型：
image.png
其中 µ{s,t}∈R3m为平均值，σ{s,t}∈Rn−1为标准差，U{s,t}=[u1，…∈R3m×n−1是形状和纹理主成分的标准正交基础。
新的人脸是从模型中生成的线性组合的主成分
image.png
在正态分布的训练样本和正确的均值估计假设下，系数是独立的单位方差正态分布。合成人脸所需的数据(即模型数据Ms、Mt和三角剖分)以及测试数据和测试结果可以在我们的网站上获得。

结果

image.png
image.png