不知道你未来的老婆或老公会长什么样？来吧，让我们用人工智能来预测一个。单身多年的你，有没有想象过自己的另一半长什么样？最近，有这样一个开源项目在深度学习社区火了起来——通过神经网络生成你另一半的外貌。想知道你会和什么样的人在一起吗？网友们纷纷尝试产生效果。项目地址：https://github.com/irfanICMLL/CoupleGenerator作者自己介绍，这是一个从2017年开始的开源项目，当时使用的是TensorFlow，不过最近项目已经更新到GitHub上了。只需要8800步就可以得到对象。培训项目使用了一百多张新婚夫妇的婚纱照。图片是通过爬虫从百度上爬取的。这些婚纱照都有一个统一的模板：喜庆单一的红色背景，清晰的人脸和五官，对模特训练更加友好和方便。训练样本之一。爬取方法：https://blog.csdn.net/qq_27879381/article/details/65015280#comments在模型构建和训练方面，项目采用VGG作为骨架网络学习图像特征。VGG是2014年由KarenSimonyan和AndrewZisserman发表的一种通用神经网络架构，表明堆叠多个层是提高计算机视觉性能的关键因素。VGGNet包含16或19层，主要由小型3×3卷积操作和2×2池化操作组成。VGG的优点是在不使用池化操作的情况下堆叠多个小卷积核可以在限制参数数量的同时增加网络的表示深度。例如，可以通过堆叠3个3×3卷积层而不是使用单个7×7层来克服一些限制。首先，这样做结合了三个非线性函数而不是一个，使决策函数更具辨别力和代表性。其次，参数数量减少了81%，而感受野保持不变。此外，小卷积核的使用也起到了正则化的作用，提高了不同卷积核的有效性。在生成结果的过程中，模型使用了pix2pix的方法。pix2pix是一个基于GAN架构的风格迁移模型，来自论文《Image-to-Image Translation with Conditional Adversarial NetWorks》，作者包括朱俊彦等，论文在CVPR2017发表后，已经实现了各种框架。Pix2pix使用成对的图像数据，学习如何从一个图像转换为另一个图像，并生成可以伪造的图像。使用pix2pix转换不同风格和用途的图像。在Pix2pix中，生成器采用编码器-解码器或U-Net的架构。Pix2pix的两种生成器架构。那么，这个项目应该如何使用呢？在项目中，作者提供了一些内容，包括：CKPT模型文件：https://cloudstor.aarnet.edu.au/plus/s/YHDWgez1g3RFc6oVGG权重文件：https://github.com/machrisaa/tensorflow-vgg训练数据：https://cloudstor.aarnet.edu.au/plus/s/VWZJaWfbla3kFch使用过程中需要下载VGG权重文件和训练数据，下载代码到运行环境运行autotest.sh文件。效果经过8800步的训练，模型给出了一张给定图片的生成结果，如下图：考虑到训练数据不多，生成图片的质量还有提升的空间。此外，我们可以注意到该模型还学习了一些有趣的特征。例如，如果右上角的原始图像中有结婚证，则生成的图像中也会保留结婚证的元素。项目作者介绍本项目的作者是一位非常漂亮的小姐姐，目前在读博士。澳大利亚阿德莱德大学计算机科学专业，师从沉春华教授。刘一凡。刘同学就读于北京航空航天大学自动化科学与电气工程学院本科和硕士，2016年获北京市优秀毕业生。2018年11月进入阿德莱德大学攻读博士学位前为访问学生王敬东教授，微软亚洲研究院高级研究员，2018年ACM杰出会员。刘的主要研究方向是神经计算和模式识别领域，包括图像语义分割。在学术研究方面，2017-2019年，多篇第一作者或其他作者论文被CVPR、ICCV、PAKDD、IEA/AIE、PACLING等国际学术会议录用，部分论文为Oral论文。这是她的个人主页：https://irfanicmll.github.io/实测效果如何为了试试项目的效果，我们还下载了项目的预训练权重（8800次迭代）和预训练权重VGG16的训练权重。由于数据集很小，我们先用项目中的数据试试效果。如下图，我们使用项目datasets目录下的图片进行测试，左边是两组输入图片，右边是输出图片。从生成的结果来看，无论性别，总能生成另一半的模样，进行了一点磨皮。如果我们只给一张肖像呢？现在看来模型的生成规则是输出输入图像左边的人像。如果只输入一张人像，效果可能会更差。为了验证这个想法，我们将上面两张图片都裁剪成一张人像输入到模型中。不出所料，这一代人现在工作得不是很好。如下图，左边是两组输入样本，右边是输出效果。如果数据不是从测试数据集中获取的怎么办？在默认输入规则是情侣照的情况下，我们又做了一次新的尝试。通过输入不在数据集中的夫妻样本来检查模型生成的效果。如下图，左边是输入图像，右边是输出结果，生成的图像很难识别。这对夫妇的图像来自网络搜索结果。诚然，利用现有数据来预测未来物体出现的想法非常好，但由于数据量太小，模型的泛化能力还没有达到应有的要求。一般情况下，单身狗是无法仅靠这个生成一张自己物体的照片的。项目作者也表示数据量比较少，效果不是很好，但还是欢迎大家使用代码和数据进一步训练，我们会进一步关注项目的进展。
