1.前言2022年绝对可以说是AIGC元年。从谷歌搜索趋势来看，2022年AI绘画和AI生成艺术的搜索量将激增。今年AI绘画大爆发的一个很重要的原因就是StableDiffusion的开源，这也离不开DiffusionModel这几年的快速发展，结合OPENAI成熟的文本语言模型GPT-3使得从文本到图片的生成过程更容易。2.GAN（生成对抗网络）的瓶颈诞生于2014年，到18年的StyleGAN，GAN在图像生成领域有了长足的进步。就像自然界中捕食者和猎物相互竞争、共同进化一样，GAN的原理很简单，就是用两个神经网络：一个作为生成器，一个作为判别器。生成器生成不同的图像供鉴别器进行判断。无论结果是否合格，两者都相互竞争训练模型。GAN（生成对抗网络）经过不断发展取得了不错的效果，但也存在一些问题始终难以克服：生成结果缺乏多样性、模式崩溃（生成器找到最佳模式后不再改进）、训练难度高。这些困难导致AI生成艺术很难做出实用的产品。3.扩散模型（DiffusionModel）的突破GAN在经历了多年的瓶颈期之后，科学家们想出了一个非常神奇的扩散模型（DiffusionModel）方法来训练模型：利用马尔可夫链不断地给模型添加噪声原始图像其中，最终变成随机噪声图像，然后让训练神经网络逆向这个过程，逐渐从随机噪声图像中恢复出原始图像，从而使神经网络具备从头生成图片的能力。文本生成图片是将描述文本处理为噪声，不断添加到原始图片中，让神经网络从文本中生成图片。DiffusionModel（扩散模型）使得训练模型更加容易。它只需要大量的图片。生成的图像质量也可以达到很高的水平，生成的结果可以有很大的多样性。这就是新一代人工智能可以拥有令人难以置信的“想象力”的原因。当然，技术一直在取得突破。Nvidia于1月底推出的StyleGAN升级版StyleGAN-T取得了惊人的进步。与StableDiffusion相比，同等算力下生成一张图片只需3秒。StyleGAN-T只需0.1秒。而StyleGAN-T在低分辨率图像上优于DiffusionModel，但在高分辨率图像的生成上仍以DiffusionModel为主。由于StyleGAN-T还没有像StableDiffusion那样得到广泛应用，本文主要介绍StableDIffusion。4.稳定扩散今年年初，AI画坛经历了DiscoDiffusion、DALL-E2、Midjoney时代。直到StableDiffusion的开源，才尘埃落定了一段时间。作为最强的AI绘画模型，StableDiffusion在AI界引起了一场狂欢。基本上，每天都有新的模型和新的开源库诞生。尤其是Auto1111的WebUI版本发布之后，无论部署在云端还是本地，使用StableDiffusion都变成了一件非常简单的事情，而且随着社区的不断发展，很多优秀的项目，比如Dreambooth、deforum，已经为StableDiffusion添加了DiffusionWEBUI版的插件，可以一站式完成模型微调、生成动画等功能。5.AI画画玩法及能力介绍下面介绍目前StableDiffusionArtist风格、美术类型可使用的玩法及能力。这是艺术家GregRutkowski风格的示例。一个穿着花衬衫的漂亮女孩，右手托着下巴拍照，格雷格·鲁特科夫斯基(GregRutkowskiimg2img)img2img，通过设置遮罩，只绘制遮罩内的区域，一般用于修改关键字和微调图片。一个穿着花衬衫的漂亮女孩，右手托着下巴，微笑着摆姿势拍照，作者：GregRutkowski使用DreamBooth在SD模型的基础上训练一个经过微调的大型模型。训练好后使用此模型使用上面的text2imgimg2img等能力NovelAItext2img当前效果最好的二维动画风格模型是NAI以danbooru网站的公开图片为数据集训练出来的。但是由于danbooru本身的版权问题，NovelAI一直比较有争议，而且这个模型是从商业服务中泄露出来的，所以还是要谨慎使用。一个穿着花衬衫的漂亮女孩，右手托着下巴拍照NovelAIimg2img使用NovelAI的模型进行img2img。目前在各个社区非常流行的易见AI画画，也使用了这个能力。但是不小心在免责声明里提到他们的动画模型是在自己收集的数据集上训练的。*右侧样本的文字描述是根据图片内容和AI逆推而来。艺术家的风格是随机的。用户提供的几张照片用于训练一个主题模型，可以根据描述生成任何包含该主题的图片。这组图片使用了20张同事的照片，基于StableDiffusion1.5模型训练了一个2000步的模型，有几个程式化的提示输出。提示示例（图1）：alicepoizon的肖像，高度详细的vfx肖像，虚幻引擎，gregrutkowski，loish，rhads，caspardavidfriedrich，makotoshinkai和loisvanbaarle，ilyakuvshinov，rossdraws，elegant，tombagshaw，a，alphonseglobalillumination,detailedandinterricateenvironment*alicepoizon是这个角色在训练这个模型时的名字stylemodelbasedonsametypesstyletraining使用一组相同风格的图片来训练一个fine-tunedlargemodel，可以用于生成生成样式统一图片。这组图片是使用得物数码馆藏ME.X微调的风格模型生成的。花衬衫美少女莱昂内尔·梅西莱昂纳多·迪卡普里奥斯嘉丽·约翰逊6.目前主要应用介绍美图、抖音、6pen、易简等公司提供的AI绘画服务，提供更便捷的AI绘画体验，而你可以使用各种样式和样式独特的自定义模型。midjouney和DallE2是两个商业AI绘画服务。midjoeney有自己独特的模式，产品化程度高；DallE2提供付费API服务，提供高质量的生成效果。Lensa、曼静等提供个人模特培训服务。他们提供之前的Dreambooth+StableDiffusion服务，一次大概18-25元，上传15-20张用户照片，生成20张左右的定制艺术照。AI开源社区Huggingfacehttps://huggingface.co/目前主流的AI开源社区，类似github，有大量用户对基于StableDiffusion的模型进行微调（fine-tuned），可以下载并部署到自己的服务器或本地计算机上。比如右边的pix2pix模型是结合GPT3的StableDiffusion模型，可以通过自然语言描述完成上面提到的修复功能。7.在这里搭建一个StableDiffusionWEBUI服务7.1云版本，利用AutoDL提供的云计算能力，也可以使用其他平台，如GoogleColab或百度飞桨。先在AutoDL上注册一个账号，租用A5000/RTX3090显卡的云主机。https://www.autodl.com/market/list用这个主机创建镜像，可以在www.codewithgpu.com上选择打包好的算法镜像。这里以https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/Stable-Diffusion-for-NovelAI为例，选择创建。创建完成后，开机启动JupterLab，执行如下命令启动服务。如果系统盘空间不足，也可以将stable-diffusion-webui/文件夹移动到数据盘autodl-tmp重新启动。如果遇到启动失败，可以根据自己机器所在位置配置学术资源加速。cdstable-diffusion-webui/rm-rfoutputs&&ln-s/root/autodl-tmpoutputspythonlaunch.py??--disable-safe-unpickle--port=6006--deepdanbooru6.2本地版本如果你有显卡如果你有一台好的电脑，你可以在本地部署它。Windows版本的搭建方法如下：首先需要安装Python3.10.6，并在Path中添加环境变量。本地安装gitCloneStableDiffusionWEBUI项目代码，模型文件放在models/Stable-Diffusion目录下，相关模型可以到https://huggingface.co/下载运行webui-user.bat，访问该服务通过本地计算机ip和端口7860。8.总结本文介绍了AI绘画的一些相关信息。有兴趣的朋友也可以自己部署服务，尝试学习使用DreamBooth或者最新的Lora微调大模型。相信在2023年，随着AIGC的日益普及，我们的工作和生活都会被AI大大改变。前段时间ChatGPT的推出给我们带来了巨大的震撼。就像我们刚进入互联网时搜索信息的能力一样，以后学会用AI来辅助我们的工作也将是一个非常重要的能力。9.参考资料从起源到争议，AI生成艺术元年谈AIhttps://sspai.com/post/76277神经网络学习笔记6-生成AI绘画背后的GAN与Diffusionhttps://blog.csdn.net/qq_45848817/article/details/127808815扩散模型如何工作：从零开始的数学https://theaisummer.com/diffusion-models/GAN结构概述https://developers.google.com/machine-learning/gan/gan_structureTheMidjourney绝对初学者指南——AI艺术的神奇介绍https://www.entrogames.com/2022/08/absolute-beginners-guide-to-midjourney-magical-introduction-to-ai-art/病毒式AI头像应用程序Lensa在未经我同意的情况下脱掉了我的衣服https://www.technologyreview.com/2022/12/12/1064751/the-viral-ai-avatar-app-lensa-undressed-me-without-my-consent/instruct-pix2pixhttps://huggingface.co/timbrooks/instruct-pix2pix
