本文来自微信民众号：燃财经（ID:rancaijing），作者：金玙璠、苏琦，编辑：魏佳，题图来源于Bilibili Up主AI王子。

“科技改变追星生涯。”

 

克日，B站上泛起了多个鹿晗AI换脸的视频，由于换脸后的人脸轮廓、脸色异常自然，加上鹿晗本人颜值出挑，许多网友自称成了鹿晗的AI粉。

B站截图

 

这些视频多由UP主制作并上传，时长约2-4分钟左右。

 

与此同时，日前同样由于AI换脸被推上热搜的古装网剧《三千鸦杀》迎来大结局。剧中被换脸的角色“青青”就没这么幸运了，不只没有AI粉，自开播以来就因“手艺太差”被网民“群嘲”是车祸现场，“五分钱换脸”“画面有点诡异”“一个人毁了整部剧”等谈论充斥在弹幕和微博谈论中。

《三千鸦杀》中的AI换脸效果出现

 

片方换脸的缘故原由是，剧中“青青”一角的饰演者刘露因大闹公开场合被拘留，现在替换刘露饰演青青一角的演员是张鼎鼎。但出现出的效果差强人意，角色换脸后的五官显著大于凡人，脸色生硬，脸部边缘还泛起了模糊、扭曲的情形。

 

“片方想要挽回‘劣迹艺人’造成的损失可以明白，然则处置方式过于低劣。若是选择AI换脸，至少也要到达之前B站up主‘换脸哥’混剪的效果，效果出现出来的是美图秀秀的水平，面部扭曲、脸色生硬、脖子和头颜色完全星散。”在影视行业事情6年的陈倾对燃财经示意。

 

AI换脸并不是首次应用在国产影视剧中，2019年播出的《封神演义》《名誉时代》《长安十二时刻》以及刚刚完结的《时光与你都很甜》中，都使用了该手艺，但效果不尽如人意。

 

简朴来说，这是一种先通过视频/图片采集一位演员的面部脸色，再通过转换编码给另一位演员“换脸”的手艺。此前这项手艺进入民众视野，是2019年B站up主“换脸哥”将94版《射雕英雄传》中朱茵的脸替换成杨幂，以及陌陌旗下的ZAO App在朋友圈掀起的“换脸”风潮。

 

多位业内人士对燃财经示意，《三千鸦杀》中的换脸效果简直不太理想，但背后不是只有手艺缘故原由这么简朴。这次影视剧中被“群嘲”的AI换脸操作与ZAO相比，为何效果不佳？AI换脸成本若何？自娱自乐效果尚可，一商用就“露怯”，这项手艺是否真的有应用市场？

被群嘲的AI换脸术比不过ZAO？

AI换脸手艺最早泛起在2017年，也被叫做“深度伪造手艺”(DeepFake)，简朴来说，就是通过人工智能深度学习手艺将视频中泛起的人脸替换成另一张脸。这一手艺的鼻祖是一位名叫“DeepFake”的开发者。同年，他将这项手艺开源，他的名字也就成了AI换脸手艺的统称。

 

智能互动视频播放器手艺平台极链科技Video 团结创始人董慧智告诉燃财经，DeepFake这套算法的弱点就在于，脸部边缘的处置，尤其是在较为夸张的脸部脸色处置上，还没有做过深度处置，因此每家公司在实际使用中都要自己做一些优化处置。

 

他从《三千鸦杀》的换脸效果判断，“背后的换脸团队应该是在DeepFake开源算法的基础上做了一些优化，只是优化得不是稀奇好，在脸色和动作，尤其是脸部边缘处置上照样存在一些问题，因此从用户角度来看效果确实对照僵硬”。

《三千鸦杀》因角色AI换脸在微博被“群嘲”

 

此次AI换脸的效果，也被众多用户拿来与曾经火爆一时的换脸工具ZAO举行对比。

 

2019年8月30日，“仅需一张照片，出演天下好戏”的ZAO App上线，它也是基于DeepFake算法演变出的产物之一。

ZAO App的功效先容

 

在瑞莱智慧RealAI产物负责人唐家渝看来，“实在ZAO的大部门视频脸部边缘处置得也不是很好，估量是它的建模历程学习到的特征也不是稀奇好。”

 

ZAO的效果虽然看起来略好一些，但也不代表手艺一定更优，由于两者使用场景差别，难度差别。

 

“AI手艺的焦点在于训练的历程，训练后的模子应用于统一领域，许多算法的准确度可以靠近100%，这是AI有优势的地方；但瑕玷是与人类相比，AI的遐想能力较弱，没有训练过的内容险些不会。”董慧智说。

 

众所周知，ZAO里可供用户换脸的影视剧片断是特定场景，也就是说，手艺难度相对较小。董慧智剖析，ZAO背后需要训练的时间对照长，需要选定视频库中的片断，对其中男女主角的脸部举行长时间的学习和训练，不停调参，经由线下预处置再上线，用户的使用效果自然不错。

 

而影视剧中的暂且换脸难度更大，需要在短时间内，对一个未经训练的影视剧举行AI批量换脸。董慧智对燃财经示意，AI分训练和推理两个阶段，前期训练的历程很长，可能要一到两周甚至几个月，而一次推理历程也就是几百毫秒。因此一样平常情形下，提供手艺的AI公司受限于成本和时间要求，只能用有限的样原本训练模子，推理时却面临的是海量多样化的视频，效果不是稀奇理想。

 

在董慧智看来，两者难度的差异相当于，ZAO是开卷考试，所有问题都已经做过，烂熟于胸；而影视剧中的AI换脸属于闭卷考，做的问题都是没学过的，只是行使原来学过的一些知识和履历去重做一遍，效果差距自然很大。

AI换脸的真实水平与成本难题

 

据唐家渝先容，影视剧AI换脸的效果与剧中人物的角度正面与否、光照条件有直接关系。也就是说，若是接纳对照前沿的算法，上述两个条件较好的情形下，数据采集充实，最终建模的效果会对照好，肉眼基本难以分辨，除非场景的复杂度较高，好比脸部被一片树叶遮挡，这就需要后期的人工修复了。

 

“我看剧(《三千鸦杀》)中有的片断，人物都是相对正面的角度，光线看起来也还不错，在这样的情形下，换脸面部依旧没有贴合，说明手艺确实一样平常。”唐家渝说。

 

那我们看到的B站up主“换脸哥”以及“AI鹿晗”的作品，另有许多好莱坞作品为何能够以假乱真呢？

 

“有点炫技的意思。”董慧智以为B站up主“换脸哥”的作品（将94版《射雕英雄传》中朱茵的脸替换成杨幂），应该是经由后期人工处置的，效仿好莱坞一些特效软件，人工干预、时间长、造价高。

94版《射雕英雄传》中朱茵的脸替换成杨幂

 

那么，AI公司若是接到影视剧换脸的义务后举行重新训练和应用是否可以？谜底是可以，但要保证训练的速率足够快。“这样做很不经济，相当于每造一幢小房子，就要请国际顶尖设计师来设计一遍，造价太高了。”董慧智弥补道。

 

在好莱坞影戏史上，“换脸”手艺早就被普遍应用于影视剧中，甚至创造出一个虚拟的真人出来，固然造价也是高得惊人。

 

最具代表性的要数2015年的《速率与激情7》，直接让去世的主演保罗·沃克“复生”了。据此前外媒报道，只用CGI（计算机合成图像）手艺一项，就将这部影戏的制作成本从原计划的2亿美金提升至了2.5亿美金。

 

2019年上映的影戏《双子杀手》更是将CGI手艺向前推了一步，创造出一个减龄至23岁的威尔·史密斯，与真人版51岁的威尔·史密斯举行近身格斗。

 

这不是单纯的对男主角威尔·史密斯举行面部“减龄”，而是从肌肤、骨骼、眼睛、牙齿光泽各个方面举行再造。

《双子杀手》中真假威尔·史密斯近身格斗的场景

 

要实现这样的效果，首先需要数据准备，通过传感器网络演员差别的脸部姿态、角度、脸色以及光照的脸部图像，其次需要举行专门的数据处置，通过电脑举行数字维度上的转换，最后遵照计算机系统对人脸脸色转变的特征点，在虚拟形象上重构。固然，在制作部门建模的时刻参考了大量威尔·史密斯年轻时拍过的影戏画面。

 

这一场真假威尔·史密斯的近身格斗，只有4分钟的戏份，却需要后期团队花九个月的时间调整和完善，难度之大、成本之高可想而知。听说光是这个CGI人物的制作用度就是威尔·史密斯片酬的2倍。

 

在成本方面，此前有媒体报道，现在市场上AI换脸的价钱大概是1.5万元/分钟，手动换脸的价钱在十几万元/分钟，即便是简朴的内容，最低市场报价也要在5-6万元/分钟。

 

唐家渝从差别角度拆分AI换脸的成本，一方面是算力的成本，需要有高性能、一定数目的GPU，硬件的价钱对照高；另一方面是拍摄、网络种种照片以及建模的成本；此外，事后处置一些遮挡情形也需要一定的人工成本。

 

手动P图换脸的成本自然更高。“若是我现在是影视制作方，演员出了问题，我一定不会找手动换脸。1秒的画面一样平常有23-30帧，每一帧都要手动换，成本太高了。”唐家渝示意。

 

也就是说，现在海内影视行业一旦遇到需要替换演员的突发情形，AI换脸相比手动换脸，是成本可控的拯救方式。

AI换脸商业化远景几何？

    

《三千鸦杀》中的AI换脸效果出现

 

据娱乐资本论矩阵号河豚影视档案报道，《三千鸦杀》背后的AI换脸手艺提供方，是一家受到资本市场认可，估值已达几十亿元的公司，但并不主营影视类项目，因此也不善于做影视剧中的AI换脸。

 

“很少有公司单做AI换脸这一项，盈利很难，由于研发成本没有其他的落地项目来摊销。”董慧智告诉燃财经，“拖后腿”的因素，除了成本、手艺成熟度之外，另有供需双方对AI换脸手艺的明白、预期相差较大。

 

“不光用户，包罗影视剧的制作方、导演，对AI换脸手艺都没有那么领会，他们由于以为‘既然ZAO都做得那么好了’，而对影视剧换脸的期望值过高。”他以为这也是制约行业生长的很主要的因素。

 

但总得来说，董慧智先容，AI换脸手艺在行业中主要有两大商业化模式。

 

一种是向大的视频平台和制作方输出手艺，类似于定制开发，收取的是授权费 维护费，这种方式成本高，订价也高，一样平常都是百万量级；另一种是按单次需求的事情量（要换若干张脸，一共若干秒）收费，一样平常是影视剧制作方提出换脸需求，手艺公司去实现。

 

详细到极链科技Video ，董慧智透露，“AI换脸”只是公司数十款产物中的一个，如此一来，80%的研发成本是共用的，边际成本也就更低。

 

而想要扩大商业化局限，隐私问题是一个绕不开的话题。先前红极一时的ZAO，就是用户因上传的照片无法撤掉而担忧信息泄露、遭遇诈骗等问题，纷纷弃用。

与ZAO类似，极链科技Video 的商业化偏向之一是面向C端用户的手艺解决方案，即让用户上传自己照片，和自己的idol演对手戏。董慧智对燃财经透露，这一方面可以与影视剧的播放平台直接互助，也可以链接大平台的粉丝社区，未来有一定的商业价值，固然，也会吸收ZAO的前车之鉴。“ZAO最大的问题是把脸部图像保留下来，才有了隐私侵权问题，我们会注重制止这个问题。”

 

除此之外，极链科技Video 另有两个商业化偏向是，用人脸做emoji脸色以及对短视频/直播中人物的再创作。

 

后者应用需求在B站随同同人创作而崛起，一样平常而言，是将短视频/直播中的人物替换成动漫脸、GIF脸色包等。这一偏向还在2018年的海内掀起了一股“虚拟主播”的热潮，由于媒体、教育、医疗、娱乐、客服等多个领域和场景，无一不适用，于是搜狗、科大讯飞、斗鱼等大公司都进场试水。

此次疫情时代应用的AI主播

唐家渝提供了另一个商用偏向。

 

众所周知，DeepFake的开源降低了AI换脸的手艺门槛，但与之响应的黑产也快速生长，种种换脸情色视频和软件教程层出不穷，在海内已经形成了一个上游提供软件及手艺、中游提供视频、照片定制、下游售卖制品视频，甚至有的商家做的是全产业链的生意。

 

越来越多的人最先抵制AI换脸，其风险在于经由AI换脸的合成照片、合成视频是人类仅凭肉眼无法识别的，部门甚至无法通过单一手艺模子判别，很容易被看成真实信息举行再次流传。由于除了DeepFake，最常使用的AI换脸算法另有FaceSwap和Face2Face，差别算法天生的效果千差万别。

 

那么“反黑”，也就是通过使用判别器算法来打假，就是个不错的商业化偏向。外洋最负盛名的是一家总部位于阿姆斯特丹的创业公司Deeptrace，在海内，RealAI是最早涉及这一领域的公司，去年底正式上线了针对Deepfake的深度伪造视频检测工具。现在，RealAI已经在金融行业做出反敲诈的解决方案，主要应用于信贷风控领域。

 

总体来说，影视行业是现在AI换脸手艺更容易落地的场景，但眼下需求有限。随着机械学习算法的快速学习与进化，AI换脸相关从业者要做的是，在烧钱的影戏特效和人人取之可用的入门级App之间，寻找性价比和安全性最高的商用领地。

注：应受访者要求，文中陈倾为假名。