当前位置: 首页 > 科技观察

一键变卡通!抖音特效热搜技术背后的秘密

时间:2023-03-12 23:59:05 科技观察

昨天,李荣浩因为小眼睛再次上了热搜。在#特效不是李荣浩眼睛大#的话题下,有一段李荣浩和杨丞琳结婚照的变脸视频。变脸之后,李荣浩的眼睛完全变成了一条线。孙红雷也在微博转发“五十步笑百步”:这个特效太过分了,李老师,有人黑你了!对此,网友们的评论都变成了“哈哈哈哈”。细心的人可能已经注意到视频中的抖音APP标志。这是正确的!以上这个对小眼族不太友好的功能,是抖音新推出的“变身漫画”特效。而这种一键将真人变成漫画的效果背后是生成对抗网络GAN(GenerativeAdversarialNetworks)。一键打破次元壁目前,抖音《变身漫画》特效在人气挑战榜“周实时榜”(2002年6月15-21日)中排名TOP1,以及已被约867.2万用户使用。其中,很多明星都拍摄过同一个视频,玩法也是五花八门。比如陈赫拿出一把苍蝇拍一样的“神秘钥匙”来解除二次元封印。邓紫棋擦了擦玻璃,变了脸色。张艺兴说唱了一段时间,无数次用手势穿梭于次元空间。进入二次元后,明星的发型、五官等细节“还原”,同时多了一丝俏皮灵动。然而,将真人变成漫画风格的情况并不少见。近年来,特效相机APP层出不穷。用户将图片、视频改成漫画风、古风风、手绘风、油画风,甚至改变性别、年龄都不是问题。生成对抗网络GAN说到换脸,有一个技术绕不开——生成对抗网络GAN。雷锋网(公众号:雷锋网)此前报道称,GAN作为一种深度学习模型,在机器学习中是一个比较新的概念。在论文《对抗式生成网络》(生成对抗网络)中。机器学习模型分为两种类型:生成模型和判别模型。顾名思义,它们各自的作用就是根据数据集进行生成和判断。IanGoodfellow之所以能成为“GANs之父”,是因为他创造性地提出了通过对抗(Adversarial)来估计生成模型的概念,同时训练生成模型和判别模型,让两者对抗彼此。生成模型要尽量生成真实的图片来欺骗判别模型,同时判别模型要尽量区分生成模型生成的图片和原始数据集。这个过程就像一场游戏中两个玩家之间的战斗。开始的时候,两人的脸都糊涂了,到最后“真相越来越清晰”。这种机器之间自发的相互学习可以说是非常智能的。GAN的种类也很多,其中最常见的是CycleGAN。事实上,CycleGAN是早期人脸转换的一次重要尝试。可以从source转换到target,也可以进行逆向转换,方便学习两个类之间的转换关系,也更好的保证了转换。画面质量。如上图所示,如果你能把斑马变成马,那么即使你改变动作,马也可以再次变成斑马;同理,夏天可以变冬天,冬天也可以换场景变回夏天。虽然上述的抖音动漫风格的换脸特效没有透露具体的技术信息,但此前尝试将人脸变成漫画图像的尝试确实使用了CycleGAN,相关论文也在7月份的pre-release中发表2019.打印平台arXiv。值得一提的是,这项研究利用了所谓的界标辅助CycleGAN。根据论文,这里的“地标”并不是我们常说的“地标”,而是指面部特征,因此我们可以将这项技术理解为CycleGAN的特殊版本——“面部特征辅助的CycleGAN”。技术如何,先看效果(雷锋网注:右边第二列是CycleGAN生成的;右边第一列是CycleGAN辅助人脸特征生成的)。现实中的美女变成了二次元小萝莉。Sportsman生成的漫画看起来也不错。此外,一些研究团队已经使用面部特征将低分辨率图像转换为基于GAN的高分辨率图像。感觉多年的老近视都治好了!看到这里,是不是想感叹太神奇了?其实还有更神奇的事情,比如众生大转。这是西班牙互联网棋盘厂商REGIUM网站上的员工资料页面,看起来并没有什么异常。但实际上,被陷害的四名工程师都是“假人”,在现实生活中并不存在。雷锋网了解到,这些“人造人”来自国外的造脸网站thispersondoesnotexist.com,而这些照片也是基于GAN制作的。然而,随着换脸技术的出现,也存在着不少问题——比如曾经一夜爆火、凉了三天的ZAOAPP,以及在全球臭名昭著的Deepfake,都引起了各界的关注生活。如何合理利用这种换脸技术,是需要思考的问题。