本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。四位美少女，AI绘画，在ChatGPT热浪中爆发。新“魔法”一出，立马引起了全场的关注：原本是四位闺蜜在海边的普通合影：在新魔法的加持下，“啪”的画风反转，瞬间进入美轮美奂的动漫画风：还有完全不同的效果，比如姜子：不仅动画画风效果惊艳，连人物姿势都保持“原汁原味”。这个效果一出，也引起了很多网友的关注，直呼“求在线教程”：也有不少人呼吁将这款游戏商业化：两位AI大神联手使用这个AI组合拳击是的，是一位名叫“viggo”的中国博主。他手握的两件法宝分别是：左手的StableDiffusion和右手的ControlNet。StableDiffusion，相信很多朋友都已经很熟悉了，是一款可以根据文字输入提示快速画图的AI绘画神器。ControlNet是一个新的热门AI插件（GitHub2天获得4.6Kstars），相当于给AI绘画加了一个buff，可以精确控制手部细节和整体结构。小哥的做法比较简单，就是先导入原图，使用StableDiffusion将图片转为文字。然后使用Text2Prompt插件展开，找到对应的关键字；最后使用ControlNet插件绑定骨骼，开始改变关键字来测试效果。当然，原图中四位美女的姿势也可以根据小弟画的不同骨骼结构来改变。例如：与原图中人物的位置相比，上图中的人物更加分散，站成一排；而且上半身手臂的姿势也发生了变化。也得益于StableDiffusion的能力，AI生成的画作在画风上也能产生完全不同的效果：效果惊人到让一些网友看不下去了，按照小哥的说法“复刻”了，并说：第一次接触，很好玩，尝试复现，感觉不错。但有一说一，全新AI绘画顶级插件ControlNet的“神通”不仅限于此。简单的几笔也能画出逼真的效果。比如微博博主“风信子”分享了他在使用ControlNet插件后“把素描变成美女”的方法。他先画了一个线稿：然后打开ControlNet的涂鸦模型细化效果，得到的结果是：效果逼真，令人印象深刻。《风信子》还测试了同一种子下不同参数的效果：有朋友要问了，如果关闭ControlNet会有什么效果？别着急，博主也做了测试，结果如下：“风信子”的运行也得到了ControlNet作者的认可：这也让博主本人很兴奋，直呼“尖叫”：当然，ControlNet还可以实现很多其他的功能。例如，在装修设计中，您可以输入一张您拍摄的卧室图片，分分钟输出草图和风格效果图；而在ControlNet的官网上，也有很多感兴趣的朋友可以尝试不同的功能玩法体验：在AI绘画模型中加入buffControlNet的原理，本质上就是在预训练的扩散模型中增加一个额外的输入来控制它的生成细节。这里可以有多种类型的输入，作者给出了8种类型，包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测线、深度图、人体骨骼等。那么，原理是什么让大模型学会“根据输入条件生成图片”？ControlNet的整体思路和架构如下：具体来说，ControlNet首先复制扩散模型的权重，得到一个“可训练副本”。相比之下，原始扩散模型是在数十亿张图像上进行预训练的，因此参数是“锁定的”。而这个“可训练副本”只需要在特定任务的小数据集上进行训练，就可以学习条件控制。据作者介绍，即使数据量不大（不超过50000张图片），模型训练好后条件控制生成的效果也很好。“锁定模型”和“可训练副本”由一个1×1卷积层连接，命名为“0卷积层”。0卷积层的权重和偏置都初始化为0，这样训练的速度会非常快，接近微调扩散模型的速度，即使是在个人设备上训练。比如一块NVIDIARTX3090TI用20万张图像数据进行训练，只需要不到一周的时间：作者已经基于当前流行的StableDiffusion实现了。主要结构如下：针对不同的输入，作者也给出了相应的模型，生成效果也不错。具体效果就如我们刚才展示的那样。OneMoreThing有一个最后的提醒......男人们，不要认为2月14日情人节会是安全的。可能会有白色情人节（3月14日）、黑色情人节（4月14日）、玫瑰情人节（5月14日）、接吻情人节（6月14日）……学“AI组合拳”送老婆/女朋友一个美丽的礼物！
