使用智能手机连续拍摄脸部正面和侧面的视频会产生密集的数据云。CMU的机器人研究所利用这些数据，在深度学习算法的帮助下，开发了一个两步的过程，以建立面部的数字重建。该团队的实验表明，他们的方法可以达到亚毫米的精度，优于其他基于相机的方法。

数字脸可以用来制作游戏、虚拟现实或增强现实的化身，也可以用于动画、生物识别甚至医疗程序。面部的精确3D渲染在制作定制外科口罩或呼吸器时可能也很有用。

机器人研究所的副教授西蒙·露西说:“在计算机视觉和图形学领域，建立面部的3D重建一直是一个悬而未决的问题，因为人们对面部特征的外观非常敏感。”“即使是重建过程中的微小异常，也会使最终结果看起来不现实。”

激光扫描仪，结构光和多摄像机工作室设置可以产生高度精确的面部扫描，但这些专业传感器对于大多数应用来说过于昂贵。然而，CMU新开发的方法只需要一部智能手机。

Lucey与硕士生Shubham Agrawal和Anuj Pahuja共同开发的这种方法，于3月初在科罗拉多州斯诺马斯举行的IEEE计算机视觉应用冬季会议(WACV)上发表。它以拍摄15-20秒的视频开始。在这种情况下，研究人员在慢动作设置中使用iPhone X。

“慢动作的高帧率是我们方法的关键之一，因为它会产生密集的点云，”Lucey说。

然后，研究人员采用了一种常用的技术，称为视觉同步定位和地图绘制(SLAM)。Visual SLAM对表面上的点进行三角测量来计算其形状，同时使用该信息来确定相机的位置。这创建了面部的初始几何形状，但是缺少数据会在模型中留下空白。

在这个过程的第二步，研究人员首先通过使用深度学习算法来填补这些空白。然而，深度学习的使用方式有限:它可以识别人的侧面和标志，如耳朵、眼睛和鼻子。然后使用经典的计算机视觉技术来填补空白。

“深度学习是我们每天都在使用的强大工具，”Lucey说。“但深度学习有记忆解决方案的倾向，”这不利于包括面部区分细节的努力。“如果你使用这些算法只是为了找到地标，那么你可以使用经典方法更容易地填补空白。”

这种方法不一定很快;处理时间为30-40分钟。但整个过程可以在智能手机上完成。

Lucey说，除了面部重建，CMU团队的方法还可以用于捕捉几乎任何物体的几何形状。这些物体的数字重建可以被整合到动画中，或者通过互联网传输到可以用3D打印机复制这些物体的网站。