谷歌推出AI新玩法:涂鸦,一键变怪兽小明随意涂鸦一个脑袋,然后简单画个翅膀,加个大尾巴……然后点击“转换”按钮。一头面目狰狞、皮肤粗糙、质地细腻的大怪物就此诞生。这是ChimeraPainter,一款由谷歌研究人员制作的人工智能工具。这是一个在线绘图工具,可以将涂鸦变成活生生的怪物。Chimera的条件GAN研究人员构建了生物混合体的概念,就像打扑克一样。比如你得到一张“鲸鱼”牌,通过组合可以变成“鲸鱼VS大象”的奇美拉怪兽。这种组合形成了一件艺术品,同时也保留了原始图像的视觉特征。在此之前,生成对抗网络(GAN,GenerativeAdversarialNetworks)被广泛应用于图像创作。GAN一般由两个模块组成:生成模型和判别模型。两个模块互相博弈,互相学习,产出相当不错。一个优秀的GAN应用需要一个好的训练方法,否则可能会因为神经网络模型的自由度而导致输出不尽如人意。比如麻省理工学院和IBM合作开发了“GANPaintingStudio”。允许用户上传他们选择的图像以从不同角度修改他们的外观,从改变对象的大小到添加全新的对象,如树木、窗户、建筑物、桌子……等等。此外,Nvidia最新的AI软件可以将粗糙的涂鸦变成逼真的风景。在ChimeraPainter中,与前两个专注于照片写实主义的GAN不同,它们使用了一种称为条件GAN的方法。这种方法不同于一般的GAN。一般的GAN都是基于一系列图片,生成器和判别器相互竞争形成一张新的图片。Chimera画师需要将一张创意图输入到生成器中,然后在此基础上通过GAN生成新的图。为了训练GAN,研究人员创建了一个包含10,000多张全彩色图像的数据集,其中包含不同生物的3D模型。在这个生物模型数据库中,不仅描绘了每个生物的整体大小和形状,还提供了四肢、器官和躯干的分割图。艺术家以这些“肢解”的模型为基础,重新组装出新的“生物”。可选择头部、牙齿、躯干、翅膀等不同部位进行涂装。您可以在左侧看到各种身体部位选项按钮。然后通过GAN,选择最好的组合模型,组合,输出给ChimeraPainter。必须首先制作生物纹理。在GAN模型中,在渲染图像的低对比度部分时,会出现标签,这会导致图像失去空间连贯性。比如这张图的腿和眼睛的识别边界不清晰,导致输出的图片很奇怪。为了解决这个问题,ChimeraPainter的研究人员开发了一种新的半自动化方法。Chimera画家为每种所需的生物类型(例如鬣狗或狮子)创建模型。然后,艺术家使用虚幻引擎创建了叠加在3D模型上的彩色纹理。然后将“分割图”(如头部、耳朵、颈部等)的单色应用到模型上,以确保GAN理解艺术家指定的结构、形状、纹理和比例。再次使用虚幻引擎将3D生物模型放置在简单的3D场景中。为了增加数据库中的模型数量,自动化脚本会主动使用此3D场景。在10000个生物模型的基础上,不断补充,生成10000+张图片+分割图。根据生物的不同姿态,在视点和缩放级别之间进行插值,以创建全彩色图像和分割图,形成新的GAN训练数据集。每次手动创建这些数据需要20多分钟。谷歌称ChimeraPainter为艺术家节省了数百万小时的时间。
