当前位置: 首页 > 科技观察

特朗普“猫狗版”生成,假脸工具StarGANv2被攻破,算法已开源

时间:2023-03-21 17:41:42 科技观察

本文经AI新媒体量子位授权转载(公众号ID:QbitAI),转载请联系出处。如果你想用人工智能把特朗普的脸变成一只猫,或者把你自己的脸和一个漂亮的近江结合起来,你会怎么做?也许你会想到两种AI工具。但是Deepfake生成的人脸太不一致,GAN生成的假人脸很难深度定制。现在韩国团队开发的风格迁移模型StarGANv2可以完美解决这个问题。如果你是长期关注GAN的学生,那你一定还记得StarGAN,它是高丽大学和ClovaAI研究所在2017年底推出的风格迁移模型。随便输入一张头像,而StarGAN会让你知道你改变发型、性别和年龄后的样子。而StarGANv2是同一个研究团队推出的升级版,已经被CVPR2020收录,近日他们在GitHub上公布了官方的实现代码,很快就被网友破解了。StarGANv2有两个训练数据集,一个是人脸,一个是动物脸。两者原本是“井水不干扰河水”,但有人选择混合使用,将特朗普的脸输入到动物脸预训练模型中。结果,特朗普的脸变成了猫变成了这个样子:再加上狗脸,又变成了这个样子,模特还给狗穿上了西装。如何安装这样一个有趣的模型?幸运的是,StarGANv2的开发团队已经提供了完整的代码和预训练模型。首先在本地克隆项目:gitclonehttps://github.com/clovaai/stargan-v2.gitcdstargan-v2/安装依赖:condacreate-nstargan-v2python=3.6.7condaactivatestargan-v2condainstall-ypytorch=1.4.0torchvision=0.5.0cudatoolkit=10.0-cpytorchcondainstallx264=='1!152.20180717'ffmpeg=4.0.2-cconda-forgepipinstallopencv-python==4.1.2.30ffmpeg-python==0.2.0scikit-image==0.16.2pipinstallpillow==7.0.0scipy==1.2.1tqdm==4.43.0munch==2.5.0然后下载预训练数据集,前两项是人脸数据集和预训练模型,最后一项是动物脸。bashdownload.shpretrained-network-celeba-hqbashdownload.shwingbashdownload.shpretrained-network-afhq最后将要转换的照片裁剪成与数据集图片相同的宽高比,输入以下命令对图片进行转换。pythonmain.py—modesample—num_domains2—resume_iter100000—w_hpf1\—checkpoint_direxpr/checkpoints/celeba_hq\—result_direxpr/results/celeba_hq\—src_dirassets/representative/celeba_hq/src\—ref_dirassets/representative/ceStarleba_hq它由三个模块组成:生成器将输入图像转换为反映特定领域风格编码的输出图像;映射网络将latentcode转化为训练时随机选择的多个域的styleencoding;风格编码器提取图像的风格编码,让生成的鉴别器进行reference-guided图像合成;鉴别器将真实图像与来自多个域的假图像区分开来。作者随机选取了10张图片进行风格迁移实验,结果是FID远小于其他同类模型。他们还将四款车型生成的图片上传到AMT平台,交由人工选择。大多数测试人员认为StarGANv2生成的图像质量更好。从人工选择的结果也可以看出,StarGANv2在生成动物人脸方面效果更好。难怪网友们要用动物模型来改造特朗普的头像。传送门论文地址:https://arxiv.org/abs/1912.01865v2官方实现代码:https://github.com/clovaai/stargan-v2