一切皆有可能JOJO:这个GAN直接让马斯克不再做人了。现在一切都可以成为JOJO!本就意气风发的马斯克,似乎是在直接说“我不是人了!”举世闻名的蒙娜丽莎神秘而优雅的笑容仿佛JO了起来……又是一个同次元……指挥官,指挥官你在干什么!只需打开网页Demo,点击上传任意一张本地图片,即可实现以上效果。这顿时吸引了大批网友围观。不仅推特人气达到了800+,抱脸(HuggingFace)线上试玩也排起长队,最多等个合影也要四五分钟。不仅有JOJO风格,还有迪士尼风格、英雄联盟风格……随便输入一张风格的图片,就可以快速将这个风格应用到新的图片上:看看这可爱又可怜的卡兹兰,大大的眼睛,天真无邪的天真公主笑道,我只想说……老马,收起你的神通吧!JO在线转换任何人像。看完上面的demo,是不是也想做个JO脸呢?让我们用开发者提供的HuggingFace和Colab试试吧。第一个是网络版的抱脸,点击左边框的空白处,可以把本地的任意照片放进去:然后点击提交,等十几秒……站在你面前的不是别人,而是ko无肌金轮大司马!此方法点击链接后可立即播放。不过,虽然简单快捷,但偶尔也要排队等几分钟:所以强烈安利colab版,将任意图片导入test_input文件夹,比如我们这里放一块冰,然后点击运行:继续运行下面的生成模块:makemyicegoddessJOJO,这也是你计算GAN的!而且colab还提供了另一种玩法:导入一张任意风格的图片,自己制作一个XX风格的生成器。嗯……这不是蒂瓦特版的马斯克吗?上传一张严肃的老马图:在style_images文件夹上传一张元神风格的人像:(上传局部二维风格的图片可能会出现“找不到脸”,需要多试几张)然后fine-调好,稍等几分钟,然后点击运行:这刚毅的眼神,再加上原图中老马俯视抱胸的姿势,感觉下一秒就是一句天上人间!通过GAN反演获得近似风格那么,这种方法是如何通过仅参考一张图片就可以完美学习其艺术风格,然后将其应用到其他图像的呢?让我们来看看这个名为JoJoGan的模型。主要通过GAN反演得到近似风格。主要工作流程分为四个步骤:将参考风格图片通过GAN反演成近似配对的训练数据,得到相应的风格化代码;根据风格化代码生成真实人脸图像,并与参考风格图像进行匹配,形成配对数据作为配对训练集;基于这些配对的训练数据,微调StyleGAN;使用微调的StyleGAN生成新样本。开发者表示,该模型在零监督下非常注重风格细节,在不同风格中具有很好的普适性,可以很容易泛化到其他风格的图片中。从二次元到科技宅的开发者闵金冲也是我们的老熟人了。此前曾从事二维妻子生成器:闵金冲毕业于美国伊利诺伊大学厄本那-香槟分校(UIUC),并继续在校攻读博士学位,主要研究领域为机器学习、计算机视觉和图像生成。他之前在字节跳动实习了三个月,现在和两个同学一起创立了一款名为StyleSpace的时尚购物APP,让用户可以在虚拟空间中试穿和购买产品。而他的导师DavidForsyth则是CV领域的大师。曾与JeanPonce合着计算机视觉经典教科书《Computer Vision:A Modern Approach》:HuggingFace在线演示:https://huggingface.co/spaces/akhaliq/JoJoGANcolab在线试玩:https://colab.research.google。com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb#scrollTo=LCLWiXoXwcJb论文链接:https://arxiv.org/abs/2112.11641
