划重点

 

• 什么是3D人脸重建技术？本质上是通过2D的图像合成3D数据，或者直接3D扫描，之后再进行面容修复。
• 重建的价格贵吗，普通人是否消费得起？多数外伤，肿瘤相关的面部重建手术都是有医保进行覆盖，大众都可以受惠。
• 3D人脸重建效果怎么样？基本能够维持在95%的复原度。
• AI换脸、整形与3D人脸重建有什么关联？AI换脸注重二维的技术实现，整形更侧重于3D技术应用，利用3D技术的一些优势实现面部改善。
• 3D人脸重建技术未来还会有其他领域用到吗？手机摄像头面部解锁、数字人等领域都有相关技术应用的案例。

 

概述

 

 

林志颖车祸事件让人扼腕叹息，事故发生后，面部受损的他如何修复容貌，成为外界关注的话题之一。

 

好的消息是，医院正在评估利用科技力量进行3D脸部重建，以帮助他走过事故阴霾。

 

医学上3D脸部重建简单来说就是将骨折移位的骨段复位，面部重建，先用3D打印受伤的面部树脂结构，进行模拟复位重建，恢复面部骨性结构，用钛板等将其固定。

 

据了解，这项技术在国外已有成熟发展，在游戏和电影工业领域都有广泛应用，那么3D人脸重建技术究竟有何看点，又有什么玄机？

 

以下是直播实录精华版内容：

 

01

先获取3D人脸数据，再进行面容修复

 

刘兴亮: 林志颖在遭遇车祸后，据说面部受损比较严重，好在目前医院的消息说，可以通过3D重建的技术帮助他修复面容。首先，我想请汪老师来给我们科普一下到底什么是3D重建技术，目前这个技术有哪些不同的类型？
 

 *基于3DMM模型的参数化学习方法

汪铖杰: 3D重建技术从计算机视觉领域来讲，本质上是通过人脸深度信息或2D的图像来有效还原人脸的3D信息，最后完成面容修复。一般，它分为两种类型，第一种是它借助一些专业的设备，能够获取深度，类似于3D扫描仪等等。另外一类主要是输入一张或者多图片，通过一些算法来恢复出3D效果。像现在这种从图片恢复3D，一般主流的有两种，一种是偏传统学的3DMM来做，另外是深度学习用神经渲染的网络来完成。

 

刘兴亮: 我理解的就是一种要3D扫描，另外一种就是拿现成的图片去做。医学领域的3D重建技术有哪些应用？

 

张杰: 3D重建技术在医学应用非常广泛。比如经常应用的CT检查，就可以进行3D重建。一般情况下骨折裂缝或者一些病变时进行3D重建，可以很直观的看出来病变的地方、形状。另外我们在做手术设计时，会实验设计打印出3D的树脂模型，在上面进行拼接。尤其一些肿瘤患者在切除肿瘤后容貌会受损，我们进行修复，用镜像技术来观察没有切除的部分，以此评估患者两侧的对称度。所以说3D技术在我们领域里应用非常广泛，是我们每天工作中都要接触到的。

 

刘兴亮: 除了腾讯优图实验室以外，市面上还有哪些知名的企业在研究3D重建技术，这个技术的壁垒到底是在什么地方？

 

汪铖杰: 其实这个3D技术在很多场景里面都有应用，所以从事这一块技术研究的公司不少。比如我们日常生活中经常接触的扫脸面容识别。在登录的过程中，为了去保证识别的精度，手机前置摄像头就有3D扫描仪。另外是互动型的app或者视频的软件里面也会涉及到的3D重建，比如腾讯会议中的头饰就是合成效果，3D人脸的重建在这个过程中就已经完成。      

 

 *3D重建在腾讯会议头饰功能上的应用

 

另外3D技术的应用还和影视制作相关，当我们要去塑造或者改变形象，为了保持视觉的真实感，就需要从3D的角度去做修整，用于获得更自然的效果。

 

02

若只有骨骼受损，林志颖容貌能完好修复

 

刘兴亮: 林志颖的颜值能不能通过3D重建技术真的实现修复？

 

张杰: 我认为没有问题，因为我没看到具体的照片，我们日常所看到严重的面部骨折情况主要有两个原因：一是交通伤，二是高坠伤。这里面主要是涉及两方面的问题：第一方面就是骨组织的骨折，因为面部骨组织特别复杂。有上颌骨，下颌骨，颧骨，眼眶等等，即使它粉碎的很厉害，我们也会将其复原。如果骨组织不缺损，我们基本上可以达到比较完美的解剖复位，很多时候应用的切口也是非常隐蔽的切口，一般很多是从口内切口，这样会比较美观。最重要的是皮肤损伤，因为皮肤外伤缺损需要复原，复原要用新的组织来重新把它代替，这个会影响外观。如果是仅为骨组织受损，我认为是可以复原。

 

 *林志颖受伤现场及本人日常照片，图片源自网络。

 

汪铖杰: 那从我的角度来看，这个问题是个医学问题，因为我们做3D重建其实主要偏向面部表面的重建。从本质上来讲，在我们这个学科里，其实它不涉及到内部骨骼组织。我们所说的借助3D扫描设备或者图像来恢复，本质上来讲它都是做的皮肤表面。所以从我们的角度来讲，可能只是为医学过程做一些有参考价值的东西。

 

刘兴亮: 可以给我们科普一下人脸3D重建的流程是什么样的？成本高不高，是否在我们普通人承受范围内。

 

汪铖杰: 首先，3D重建的方法比较多，但是目前主流的方法基本上都是用机器学习的方式来做，那我们可以通过一些原始数据的学习，得到训练以后的模型，后面这个模型就具备了从2D图片到3D的过程。那么像现在比较前沿的技术，其实是自监督学习的方式，自己监督自己，从一张2D的图片到3D，再从3D投影回2D，两个2D的图片再去做比较，我们学术上叫它损失函数，再通过这种传递的方式去训练这个模型。对成本而言，如果要求高精度，肯定会有研发门槛，其实我们团队一些比较资深的研究员也在努力去改善这个技术的效果，现在基本能够做到影视级别，它主要还是在研发阶段的成本会比较大，到投入使用的阶段，成本其实就不会很大。从时间的角度来讲，就是几秒钟的时间。

 

之前在计算机视觉领域的CVPR会议上发布的一篇文章就是讲这个领域的内容，现在的算法框架是支持任意多张图片输入的，一张或者两三张都可以。一般来讲图片的数量多一些，效果会更好，但输入照片尽量是同时期的。

 

03

费用平民化，医保能报销

 

刘兴亮: 接下来想问一下张医生，现在人脸3D重建手术的流程是什么样的？做这种手术成本有多高？我们普通人能够消费吗？

 

张杰: 3D重建技术目前在医学中非常普遍。比如说骨折，我们会通过患者头部CT来观察骨折部位，导出数据给到承接3D重建任务的公司，帮助我们打印出树脂模型，最后参照树脂模型模拟手术过程，在骨折处重新拼接到原始状态。我认为这对手术的帮助还是非常大的，尤其是复杂的骨折手术或者肿瘤修复重建手术，用处非常广泛，费用不高，老百姓绝对也承担得起。

 

我们现在骨折的手术，专门有团队承担，在肿瘤方面，面部上颌骨或者下颌骨的肿瘤切除后，我们需要用其他部位的骨头，如腓骨，髂骨进行修复重建，恢复患者的外形和功能。肿瘤切除后患者的功能和生活质量恢复非常重要，比如腹部的手术，切开以后要主要考虑胃肠功能，外形可能没那么重要，但是面部不一样，如果将面部组织切除后，就要进行缺损修复，让患者拥有好的外形和生活质量。

 

刘兴亮: 林志颖本次手术费估计要花费多少钱？

 

张杰: 因为具体不清楚骨折程度，手术费用定价比较合理。具体到手术，一般会采用小钛板进行骨折断端固定，铆住骨折部位不让其松动，六个月以后骨折愈合后，我们再通过手术将小钛板取出，费用则是根据钛板的使用数量来划分，国产与进口的价格也不同，依据材料而定。这类医药费也都是医保覆盖，价格方面老百姓也完全可以承受。

 

04

“换一张20岁的脸”要靠整形

 

刘兴亮: 目前我们的3D重建效果怎么样？林志颖可能能恢复到多少？

 

汪铖杰: 从技术的角度来讲，我们会去做量化评估。如果进行重建，重建后的平均误差与真实表面的误差需达到一毫米到两毫米，当然这是偏学术的指标。实际上普通人可能更关心重建后，通过观察3D网格形状能不能辨认出重建模型。我们之前在内部做过一轮实验，通过重建3D模型，让人们去猜测重建的人物是谁，结果发现有百分之七八十的概率能够猜对。当然这也和外貌、长相也有一定的关系，因为有一些人长相偏近于平均脸，猜测的难度相对较大。林志颖的脸部也是比较有特色，重建出来大部分还是能够辨认得出。

 

张杰: 我认为从医学的角度，我们会先给他进行复位，先将轮廓搭起，但是比较重要的还是软组织的恢复，因为人脸下面有皮肤肌肉等等，尤其是面部表情肌的附着在修复过程中，尽管最后完成修复，但效果可能并不会特别好。不过，恢复95%应该是没有问题，但是小表情或者个别精细的部位，可能还是和术前有不少的差异。

 

刘兴亮: 3D重建技术我们可以通过图片进行3D建模，如果我是林志颖，我是不是可以选择通过特定图片恢复到二三十岁的样子，这个承接技术上有没有什么障碍？

 

汪铖杰: 因为现在技术本质上是接收输入图片，只要某个时间点的照片是完备的，那就可以基于图片进行3D还原。一些影视剧，它整个故事线可能会比较长，有20岁的故事情节，也有40岁的故事情节。我们的技术是可以实现从现在的状态迁移回20岁。如果和医学角度相比复杂度不在一个维度，AI技术从场景区别上还是要简单一些。

 

张杰: 这是很大的问题，除了水平的问题，还涉及到抗衰老的概念。想恢复到20年前，虽然成年以后，骨头不再发育，但变化的主要是软组织，受重力影响，胶原蛋白流失，皮肤不断下垂，出现皱纹等等，并不是说想恢复到20岁就可以恢复到20岁，这需要大量金钱的投入。

 

刘兴亮: 在影视作品中，即使林志颖在面部修复后有差距，但根据后期的技术在此基础上进行复原呈现给大家有没有问题？

 

汪铖杰: 这类技术称为内容生成类技术，其本身具备学习能力，通过学习某个演员20岁时的状态，包括面部的结构、面部的纹理，都可以学习，完成后就可以迁移到现在的影视作品中，从视觉上来看相当于回到最初的模样。

 

05

AI换脸、整形和3D重建的关系

刘兴亮: 现在一些影视剧会利用AI换脸来进行角色替换，是不是也利用到这个技术？整形和3D重建技术有什么区别呢？两者可以划等号吗？

 

汪铖杰: AI换脸与3D人脸重建还是有区别的，现在普通的AI换脸还是能够看出明显的瑕疵或者效果，不是很自然，有时候会出现面部五官改变，但是轮廓没有改变的情况。

 

影视领域，对面貌相关处理技术的要求比较高，需要技术和人共同配合。

 

随着现在技术的发展，3D重建相关技术愈加成熟能够很好的帮助电影制作者去发挥想象力，借助这些技术可以突破年龄变化等难题，从而专注在创意之中。

 

张杰: 整形是一个大类别属于颌面外科，在我们医院也是非常重点的一个科室。

 

现在人们生活条件提高，比如地包天或者小下巴，还有因为疾病导致肿瘤或面部偏斜，都是有条件通过整形手术来改善。借助3D的设计模型改变患者容貌，让它符合大众的审美的，增强患者的社会认同感和自信心，这类手术就需要3D技术的运用，现在这类手术很热门，而且是自费进行。

 

06

3D重建在手机、数字人等领域已广泛应用

 

刘兴亮: 今天所讲的3D重建技术是在医学领域。那除了医学领域还有什么其他领域可以应用？或者有相关的经典应用案例跟我们分享一下。

 

汪铖杰: 3D技术的应用场景很多，实际上这些场景都会去设计类似于偏娱乐互动型的3D应用，当然我们重点还是影视级的3D技术，也可以借助3D的重建去帮助艺术工作者“让一个胖的人怎么变瘦”，未来算法也可以自动在影视作品中实现更多的可能。3D很多时候其实是隐藏在内部，为其他显式型技术提供支撑。

 

比如手机的人脸识别解锁功能，也是通过3D扫描设备或者重建技术实现的。手机里面存在的3D模型，当你去解锁手机，两个模型会去进行比较，观察是不是同一人。当我们设置人脸解锁时会让我们转动头部，转动的过程实际上就是在做3D的重建。

 *LAP人脸3D重建(最右)效果与其他方案面部处理细节对比

 

我们现在很多技术，它可能在2D层面，如果加上3D信息，效果会明显更好。举个例子，我们去做人脸的美化或者美妆，其实在2D层面它可以完成，如果我们引入3D重建的信息就会更好。借助3D重建的技术，给演员去加妆容，3D就会显得比较自然。

 

另外是整个行业中做比较多的数字人，它的数字虚拟过程，实际上就是3D技术在作用。比如我们想让数字人去做一些表情或者唇部的动作，那么背后都有3D重建和3D驱动的技术在其中，如果想要数字人更真实、对话更自然，这都离不开3D技术的提升。

 

张杰: 这个数字人有什么用吗？

 

汪铖杰: 我们很多的行业中存在客服接待员成本的情况，客服通过网络进行处理接待，在这个过程中有客服真人去通过视频或者语音与用户进行交流，它的问题在于人力成本会比较高，而且耗费时间会比较长。但数字人是可以实现与真人交流的这种体验，并且不会发生资源等待、资源不足的情况。

 

刘兴亮: 那我们在医学领域可能还有什么方面会用到这个3D重建的技术？

 

张杰: 3D打印。通过3D打印硬组织修复人骨缺损，在遇到不规则型的修复部分，我们就需要设计完成后通过3D金属打印修复体，直接进行贴合修复。成品很规范，按照镜像进行设计。现在医学上也在做髋关节、颈椎的3D打印，逐渐的实现个性化的发展，这也是3D打印的大趋势。而且医院也有AR和VR的技术在手术过程中进行实时的辅助，来实现计算机方面的技术需求。

 

刘兴亮: 假如说两位老师以后合作，能给对方提供什么支持呢？

 

张杰: 人工智能学习这方面，我们也进行了不少题目研究，包括智能勾画技术或者借助3D照相评估手术程度，可以帮助我们后期进行经验积累。

 

 *基于研究生成式对抗网络GAN和3D技术的AI生成内容方案

 

汪铖杰: 主要现在AI可以完成很多任务，现在研究比较热的概念叫对抗生成网络，它可以完成生成式的任务。举个例子，比如影视领域里有一张图片，中间因为遮挡导致出现内容空缺，算法技术则可以通过AI对该场景的理解将空缺部分弥补。

 

之前所提到的3D补缺骨组织，那机器未来说不定可以实现依据过往经验自动生成缺失部分。腾讯优图实验室有提供机器学习的平台Tione，可以根据各个行业自身所存在的一些问题，通过平台学习来解决，我们也在尝试将AI的能力进行通用化或者平台化，给到各行各业。像医学CT领域，在细节的信息输入上会更丰富一些，从AI模型学习角度来看，也会更容易一些，我相信AI在未来可以实现张杰老师希望有的技术和功能支持。