沟通咨询
提交成功

7亿投资的郑爽未播剧该如何拯救?AI换脸给出答案

2021.02.04
公司动态

作为新年内娱第一瓜,郑爽事件持续发酵。继人民网、中央政法委、央视新闻等官媒痛批郑爽“代孕弃养”事件后,国家广播电视总局主管重点刊物《广电时评》在公众号上发文评论称:“不会为丑闻劣迹者提供发声露脸的机会和平台”,标志着广电总局向郑爽开出了正式的“封杀令”。

 

 

目前郑爽的多个合作方已经纷纷撤下了与她相关的宣传内容。刚刚官宣了郑爽为代言人的Prada,眼泪PradaPrada地掉。

 

除此之外,郑爽的丑闻风波还牵连到超11家影视公司、12家品牌方,包括4部待播电视剧《翡翠恋人》、《只问今生恋沧溟》(原名《倩女幽魂》)、《绝密者》、《刘老根4》,1部待播献礼片电影《1921》和1部在播综艺《追光吧!哥哥》。

 

郑爽客串的剧目暂且不提,由她主演的三部未播电视剧《翡翠恋人》《绝密者》《只问今生恋沧溟》,据网络数据,保守估计,累计投资金额加起来超过7亿元,无数主创人员的辛勤付出就此打了水漂。

 

一、倒霉作品与“劣迹艺人”的切割

 

如何拯救被劣迹艺人牵连的倒霉作品?通常剧作方会或节目组会采用删减镜头、打马赛克、换人重拍、换脸等多种手法,和劣迹艺人彻底切割干净。

 

对于非主要演员,删减镜头是此前最常用的方式,比如《小时代4》中剪掉了柯震东的全部正面清晰镜头,但对于绝对主演来说,这一方式对剧情的改动过大,影响观感,一旦涉及演员镜头过多,很难完全删减根除,只能被迫下架。

 

选择换人重拍最能保证效果,但无疑增加了巨大的时间和经济成本,比如此前《捉妖记》找到井柏然重新拍摄柯震东的戏份就追加7000万。

 

 

基于上述的问题,换脸的方案在近些年被更多地考虑。以郑爽的电视剧《美人私房菜》中的片段为例,孵化自清华大学人工智能研究院的AI企业瑞莱智慧RealAI团队近期展示了一段利用AI深伪合成技术换脸郑爽的效果。

 

 

上面视频片段中,郑爽的脸被替换成了两位素人的脸,整段视频已经完全看不到郑爽的影子,两个目标人物的面部特征完全被替换到郑爽的脸上,就连一颗痣也没有放过。看过这段视频的人纷纷表示,毫无违和感!当然,如果剧作方能找到替代演员,剧中郑爽的脸可以被替换成杨幂、赵丽颖等任意女演员的脸。

 

二、影视剧换脸,深度合成技术已做好了准备

 

传统影视剧后期制作中通常利用CG技术来实现面部的替换,CG技术首先对换脸后的人物(最终出现在荧幕上的人物)进行细致的扫描,建立他面部的数字模型。之后在真实拍摄时,要求“替身”演员佩戴动捕装置进行拍摄。最终将捕捉到的“替身”演员的动作映射到荧幕演员的数字模型上,至此完成面部替换。

 

 

不难发现,CG技术通常是基于有计划的、在拍摄环节就开始展开的人物换脸,对于事后补救类的换脸需求无能为力。同时,CG技术的制作成本高昂,据报道,CG技术特效换脸每分钟的价格在10w左右,最低市场报价也会在5~6w。据报道,《速度与激情7》中仅利用CG技术“复活”保罗部分的花费就高达5000w美元。

 

 

而利用AI深度合成的技术进行面部替换,成本会大幅降低。RealAI团队介绍,AI深度合成的最主要投入在于算法开发环节,算法开发完成后,由机器学习实现自动化面部替换,不需要大量人工处理,据估计,一部30集左右的影视剧通过AI深度合成技术换脸,制作周期仅需1~2周,提高制作效率的同时大大降低了投入成本。

 

RealAI团队还创新性提出了将人类知识先验和模型正则化引导学习跨域语义空间的方法,提升生成视频的逼真度,保证在强日光、夜间等复杂场景中的稳定换脸效果。如下面两段短视频中,换脸效果均达到了影视级别的应用效果。

 

《太阳的后裔》换脸片段:强日光场景

 

《太阳的后裔》换脸片段:夜间场景

 

除了面部替换外,RealAI团队表示,表情操纵、人脸属性编辑、全脸合成等深度合成的技术,还被应用于影视剧本地化嘴型修改、虚拟IP打造等场景中。

 

 

表情操纵案例视频

 

全脸合成:你能看出上面这些照片AI生成的假脸吗?

 

三、如何实现一秒换脸剧中人?

 

瑞莱智慧RealAI团队介绍到背后主要采用的是依赖于深度学习技术开发的深度伪造内容生成算法,深度学习技术具有准确表达复杂、高维、大规模数据,能够通过学习的方式自动提取特征的能力。AI换脸的通用方法主要包含三步:

 

图: 深度伪造视频生成流程示例

 

 

图像采集与预处理

 

准备大量的A和B两个人物面部的图片数据集,包含两个人物的不同角度、不同光照、不同情绪等丰富场景的数据。对于换脸前的原始人物,可使用其需要换脸的影视作品中的图像。对于换脸后的人物,可在影棚中1个小时内完成标准化的图像采集流程。将以上的图像素材作为模型训练的准备。

 

 

自动编码器生成网络训练

 

将A和B的原始图像经过编码器编码,提取人脸图像的潜在特征,将高维图片降维得到向量表示。编码完成再通过解码器,将低维向量扩展到高维图片,重构A和B的人脸图像。模型训练环节,将预处理后的A和B的大量图像放入网络中进行训练,最终得到A和B人脸替换的自动编码器模型。训练完成后,两个解码器可以分别恢复A和B的人脸。

 

图:自动编码器结构原理示意图

 

 

图像生成环节

 

模型训练完成后,即可实现A和B互相换脸的效果。通过将模型中A和B的解码器互换,然后选取A的一张图像作为原始图像,在编码器编码完成后,基于解码器B进行解码,进而生成将A的脸换至B的身体上的视频。在此基础上,通过对图像融合技术的优化,消除多种融合不良的问题,完成高质量的人脸替换。

 

告别五毛特效抠图和被删减成预告片般的剧集内容,低成本的AI换脸或许将成为影视公司应对劣迹艺人封杀的新一根“救命稻草”。