开源前沿(ID:OpenSourceTop)Image-to-Image-technology,programmers等前段时间,一位程序员开发了一款名为DeepNude的应用软件。APP的使用方法非常简单。打开软件→转换→生成照片。从网上给出的生成结果来看,效果确实可以造假,具体如下:目前这个程序已经下线,但是元美在Github上找到了一个DeepNude使用的图像生成和图像修复技术相关的项目。本项目由元宵sc创建。这个仓库包含了DeepNude的pix2pixHD(由Nvidia提出)算法,更重要的是,DeepNudeResearch背后的通用Image-to-Image理论和实践。Image-to-ImageDemo这部分提供了一个试用版的Image-to-ImageDemo:黑白简笔画到五颜六色的猫、鞋子、手提包。DeepNude软件主要使用Image-to-Image技术,理论上可以将你的输入图像转换成你想要的任何图像。在左边的方框中,根据自己的想象画出一只简笔画猫,然后点击处理按钮,输出一只模型生成的猫。体验地址:https://affinelayer.com/pixsrv/DeepNude的技术栈Python+PyQtpytorch深度计算机视觉Image-to-Image理论研究这部分讲解DeepNude相关的人工智能/深度学习理论(尤其是计算机视觉)研究,1.Pix2PixPix2Pix是伯克利大学研究提出的使用条件对抗网络解决图像到图像转换问题的通用解决方案。(Github地址:https://github.com/phillipi/pix2pix)2.Pix2PixHD从语义图中获取高分辨率图像。语义图是一张彩色图片,地图上不同的颜色块代表不同类型的物体,如行人、汽车、交通标志、建筑物等。Pix2PixHD以语义图为输入,从中生成高分辨率逼真的图像它。以前的大部分技术只能产生粗糙的低分辨率图片,看起来不逼真。然而,这项研究生成的图像分辨率为2kx1k,接近全高清照片。(Github地址:https://github.com/NVIDIA/pix2pixHD)3.CycleGANCycleGAN使用循环一致性损失函数实现无需配对数据的训练。换句话说,它可以从一个域转换到另一个域,而无需源域和目标域之间的一对一映射。这开启了执行许多有趣任务的可能性,例如照片增强、图像着色、风格转换等。您只需要源数据集和目标数据集。使用CycleGAN神经网络模型实现照片风格转换、照片效果增强、照片风景季节变化、物体转换四大功能。4.ImageInpainting在演示视频中,你只需要使用工具简单地涂抹掉图像中不需要的内容,即使形状很不规则,NVIDIA的模型也可以“还原”图像,用非常逼真的填充涂抹图片空白。可以说是一键P图,没有“ps的痕迹”。这项研究来自Nvidia的GuilinLiu等人的团队,他们发布了一种深度学习方法,可以编辑图像或重建损坏的图像,即使图像有孔洞或缺失像素。这是当前2018年最先进的方法。事实上,可能不需要Image-to-Image。我们可以使用GAN直接从随机值或从文本生成图像:1.Obj-GANObj-GAN是微软人工智能研究院开发的一种新的AI技术,可以理解自然语言描述,绘制草图,合成图像,以及然后根据文本提供的草图框架和单个单词细化细节。换句话说,网络可以从这些相同场景的文本描述中生成日常场景的图像。效果模型2.StoryGAN微软的新研究提出了一种新型的GAN——ObjGAN,它可以根据文本描述生成复杂的场景。他们还提出了另一种可以画故事的GAN——StoryGAN,它可以通过输入故事的文本来输出连环画。最先进的文本到图像生成模型可以根据单句描述生成逼真的鸟类图像。然而,文本到图像生成器远不止为句子生成单个图像那么简单。给定一个多句段落,生成一系列图像,每个句子一个,以完全可视化整个故事。大意是现在用的比较多的Image-to-Image技术应该是美颜app,那我们为什么不开发更智能的美颜相机呢?技术是无辜的,但不要自娱自乐到死。能做什么不能做什么。德清,希望以上的技巧能被大家用在正道上。
