本文经AI新媒体量子位授权转载（公众号ID：QbitAI），转载请联系出处.你觉得GAN生成的图像不够酷吗？不需要改变数据集，只需要在CLIP下达的命令中加上“UnrealEngine”字样，然后让CLIP指挥GAN，图像立马变成高大上的文艺CG风格。文中加入虚幻引擎的技巧由小松崎亚兰率先发布在推特上，吸引了大批CV圈人士围观。后来有人把这个过程贴在了Colab上，网友们都疯了。也可以指定为“ColoredPencilStyle”或“GhibliStyle”：最神奇的是加入“3D照片修复”竟然可以生成三维构图。CLIP是OpenAI开发的负责重新排序图像的模型，它与GAN的工作方式也非常简单。先用一个不起眼的随机模式作为种子，像这样：让CLIP这样计算它与文本描述的相似度分数，然后反馈给GAN，让GAN以提高分数为目标不断迭代。AI画师团就这样出现了。除了在提示中加入风格要求，你还可以直接告诉AI一个人的名字，看看他们在AI眼中的样子。甚至可以用来猜测那些从未露面的大佬，比如神秘的比特币之父中本聪。这就是AI眼中的中本聪。信不信由你，反正我信了。Colab上有很多版本的在线演示VQGAN+CLIP。经过比较，我们选择了一个有额外的优化和池化技巧的，速度和质量都更好（链接在文末）。步骤1和2按顺序执行。Step3，选择要使用的模型，默认是用ImageNet训练的。第四步，设置参数。一般只需要在文本中填写需要生成的内容即可，以“|”分隔。width和height控制生成图片的分辨率，model可以选择要使用的模型（需要在第3步下载）。改变种子数可以代替随机图像种子。另外，可以在init_image指定一个初始图片，需要将图片上传到Colab环境，然后填写链接。比如有人用这样一张图片作为图片种子，开发了一个新的玩法：生成宝可梦。第五步执行，对于300*300分辨率的图，迭代500次只需要几分钟。最后，生成的过程也可以合成成视频。就这么简单，快来试试吧。在线演示：https://colab.research.google.com/drive/1ZAus_gn2RhTZWzOWUpPERNC0Q8OhZRTZVQGAN：https://github.com/CompVis/taming-transformersCLIP：https://openai.com/blog/clip/
