AI用50个三角形画了一个抽象版的蒙娜丽莎，很有后现代的感觉。现在，给AI一个短语和50个三角形，它就能创作一幅极简主义的抽象画。只需输入“一只猫的图画”，就会生成一只棱角分明、阴森森的抽象猫。不仅是这种笼统的概念，给定一个特定的词汇，这个AI还可以指定去画。例如，如果你输入“华特迪士尼世界（Disneyland）”，50个三角形会立即重新排列，一个风格完全不同的抽象版迪士尼城堡就会出现在你的面前。可以说完全抓住了迪士尼城堡的精髓。以上这些“杰作”其实是进化策略（ES）和CLIP相结合的成果，由谷歌大脑团队制作。他们让两个AI相互配合，根据文字提示和具体图片，用一堆三角形拼出一幅极具特色的抽象画。抽象出来的谷歌大楼长这样：不能说一点关系都没有，只能说一模一样。这一次，它真的有一种后现代艺术的感觉。只用三角形创作的抽象画从生成的效果可以看出，ES算法+CLIP其实就是将一堆随机的三角形重新排列，通过调整大小、位置、颜色，逐步构建成给定形状的集合。词汇表适合的图像。具体来说，一开始ES算法会随机给画布上一些三角形，以三角形的坐标和RGBA值作为参数。进化策略（Evolutionarystrategy，ES）算法的原理就像进化论一样，可以根据给定的信息不断优化，直到得到最优解。CLIP是OpenAI开发的一种模型，负责重新排序图像。它会对ES算法给出的三角形图像与文本描述之间的相似度进行评分，然后将结果反馈给ES算法。ES算法会不断迭代提高分数，最终得到一幅艺术画。除了给出文字说明，直接给出一张图片作为初始信息，只用ES算法绘制。这不，在使用了50个三角形，迭代了10000次之后，后现代抽象派蒙娜丽莎诞生了。如果添加更多的三角形，该算法将给出更好的结果。在下面的比较中，当三角形的数量达到200时，生成的图像立即增加了数十亿个点的细节。在达尔文和蒙娜丽莎的例子中，适应度几乎达到了100%。此外，为了取得更好的效果，研究人员还采用了ClipUp优化器。从对比中可以看出，使用优化器迭代10000次后的效果优于基本算法迭代560000次后的效果。同时，与基于梯度的渲染方法相比，ES算法的性能也可圈可点。渲染方式将更侧重于纹理和颜色的细化，而ES算法将更侧重于如何布局这些三角形。那么给文本指令生成有什么作用呢？在“Self”、“Human”和“WaltDisneyWorld（迪士尼乐园）”的情况下，算法的表现还是很不错的。在体现关键词主题本质的情况下，随着构图三角形数量的增加，算法给出的结果细节会更加丰富。但是在“东京之画”的例子中，它的表现就没那么好。研究人员认为这是由于算法难以生成阴影较深的三角形，从而导致了这一结果。并且在面对命题作业时，算法会尽量给出不同的答案。在这几种情况的4次重复测试中，我们可以看到生成的图像有明显的差异。可以试用demo。其实，这并不是CLIP第一次“指挥”其他AI作画。之前与GAN的合作，将图像变成了CG美术风格。其实这次你也可以体验一下抽象画的效果。团队已经把代码开源了，也可以在Colab上玩（链接附在文末）。这是网友上传的生成图。效果真的很好。你能猜出是谁吗？论文链接：https://arxiv.org/abs/2109.08857GitHub开源地址：https://github.com/google/brain-tokyo-workshop/试用链接：https://colab.research.google.com/驱动器/1DGNxs8E4cA_ZUwPQdusxDArCWj-JX5TG#scrollTo=7AkoGodQw8kr&uniqifier=4
