一、Stable Diffusion 的特点
1.与 Midjourney 相比,Stable Diffusion(以下简称 SD)的优点有:
①免费开源
Midjourney 需要开魔法使用,免费额度用完之后付费才能继续,最低 10 美元/月。而 SD 在 B 站上有大神整理好的整合安装包,不用魔法,免费下载一键安装。 安装到本地的 SD 随开随用,生成的图片只有自己能看到,保密性更强。
②拥有强大的外接模型
由于开源属性,SD 有很多免费高质量的外接预训练模型(fine-tune)和插件,比如可以提取物体轮廓、人体姿势骨架、画面深度信息、进行语义分割的插件 Controlnet,使用它可以让我们在绘画过程中精准控制人物的动作姿势、手势和画面构图等细节;插件 Mov2Mov 可以将真人视频进行风格化转换;SD 还拥有 Inpainting 和 Outpainting 功能,可以对图像进行智能局部修改和外延,这些都是目前 Midjourney 无法做到的。
推特网友@Toyxyz3 通过分别渲染手部网格深度和开放姿势骨骼的方式,在 SD 内实现对人物手指和姿势的精准控制。
推特网友 @Claude 利用带有 controlnet 和 mov2mov 功能的 SD webUI,将真人视频转换为动画风格。
③训练自己的模型
我们可以用 SD LORA 或者 Dreambooth 将自己喜欢的人物形象或者画风训练生成模型,打造自己的专属 AI 绘画工具,也有画师和设计师用自己的原创作品训练模型,之后有灵感了就之后用文字描述出来,让 SD 帮自己快速出各种概念草图。
利用吴仓石 、郑板桥、八大山人、任颐等大师作品+现代人物训练而成的水墨风 SD LORA 模型—— 墨心 Moxin,图片来源:墨心 MoXin | Stable Diffusion LORA | Civitai
2.与 Midjourney 相比,Stable Diffusion 的缺点有:
①对电脑配置有要求
在本地用 SD 生成图像和训练模型都需要显卡做支撑,所以 SD 对电脑显卡有要求。最好是 Nvidia 的显卡(N 卡),显存至少 4G,不然图像的生成速度非常非常非常慢(不是夸张),也容易出现报错或系统崩溃。如果你想自己训练模型,最好用高配置的台式机,显卡选 40 系列及以上,显存最低 12G,CPU 选 Intel i7 或者以上,内存越大越好。
检查电脑显存的方法(windows):
鼠标放在工具栏,单击右键打开“任务管理器”,选择顶部的“性能”,进入后下拉查看 GPU 的部分,找到“专用 GPU 内存”,下面对应的数字就是电脑的显存。下图显示的电脑显存是 2G,生成一张最低配置的 512*512px 的图像需要 8 分钟,而 32G 显存的生成速度只需几秒,所以显存低的电脑不适合运行 Stable Diffusion。
②需要较大的硬盘空间
因为 SD 所有文件都是安装在本地电脑上,而且生成不同的风格图像需要下载不同的模型,一个大模型至少 2G,假设你想要尝试 10 种风格,那 10 个大模型可能就要 30G 的空间。一般要求装 SD 的那个盘要有 100G 的剩余空间,最低不小于 40G,且最好不要安装在 C 盘。
想要生成好看的小姐姐图像,就需要下载文件接近 4 个 G 的 Chilloutmix 大模型,图片来源:ChilloutMix | Stable Diffusion Checkpoint | Civitai
③入门学习难度更高
SD WebUI 的各种参数比 Midjourney 要复杂,而且很多功能都需要通过额外安装插件和模型来实现,因此我们需要了解各种参数的含义,不同的模型插件的使用方法,可能还需要了解背后的原理知识,因此入门学习的难度比 Midjourney 高。
一个功能配置较完整的 SD webUI 汉化操作界面。
④高质量风格有局限性,不够灵活
SD 目前的高质量的图像生成模型多集中在真人、游戏和二次元插画方面, 而且换一个风格就需要下载一种模型;而 Midjourney V5 可以仅通过文本提示词就快速生成各种类型和风格的高质量图像。
看完上面的内容,想必大家对 Stable Diffusion 适合的使用场景、自己的电脑能否撑起 Stable Diffusion 已经有基本了解。
:::warning 下面为大家推荐 下载方便操作简单的SD整合安装包,安装包获取方式见文章底部👇
:::
二、Stable Diffusion 电脑配置要求
1. 配置要求:
需要使用 N 卡(NVIDIA 显卡),显卡的显存至少需要 4GB 以上显存才能在本地运行。最低配置需要 4GB 显存,基本配置 6GB 显存,推荐配置 12GB 显存或者以上。
Stable Diffusion Ai 绘画主要是运行显卡,算力越强,出图越快。显存越大,所设置图片的分辨率越高)
“推荐使用 RTX4090 显卡哦” ——-来自一个 3080 显卡玩家
还有一点的就是硬盘空间要大,SD 出图主要依赖模型,网上下载的模型资源一般都很大(一个模型在 2G 以上)批量跑图也是很占内存的,这边建议 60GB 以上的硬盘空间。
2. 网络要求:大家都懂哈,咱也不说。
3. 操作系统:需要是 Win10 或 Win11。
满足以上条件基本上就可以用 SD 跑图啦。
三、Stable Diffusion安装与部署
1.SD基本概念
在安装之前跟大家简单介绍几个在SD中会常听到的几个专业术语**👇**
大模型:用素材+SD低模(如SD1.5/SD1.4/SD2.1),深度学习之后炼制出的大模型,可以直接用来生图。大模型决定了最终出图的大方向,可以说是一切的底料。多为CKPT/SAFETENSORS扩展名。
VAE:类似滤镜,是对大模型的补充,稳定画面的色彩范围。多为CKPT/SAFETENSORS扩展名。
LoRA:模型插件,是在基于某个大模型的基础上,深度学习之后炼制出的小模型。需要搭配大模型使用,可以在中小范围内影响出图的风格,或是增加大模型所没有的东西。炼制的时候如果基于SD底模,在不同大模型之间更换使用时的通用性会较好。但如果基于特定的大模型,可能会在和该大模型配合时得到针对性的极佳效果。
ControlNet:神级插件,让SD有了眼睛,能够基于现有图片得到诸如线条或景深的信息,再反推用于处理图片。
Stable Diffusion Web-UI(SD-WEBUI):开源大神AUTOMATIC1111基于Stability AI算法制作的开源软件,能够展开浏览器,用图形界面操控SD。
秋叶包:中国大神秋叶开发的整合包。由于WEBUI本身基于GitHub的特性,绝大多数时候的部署都需要极高的网络需求,以及Python环境的需求。使用秋叶整合包,内置了和电脑本身系统隔离的Python环境,以及内置了Git,不需要了解这两个软件就可以运行。可以几乎忽视这样的门槛,让更多人能够享受AI出图。
2.Stable Diffusion 安装
我们可以先安装启动器的运行依赖,并解压秋叶包本体。
第一步:打开“启动器运行依赖-dotnet-6.0.11.exe”来安装。
第二步:解压“sd-webui-aki-v4.zip”。
注意:
当我们解压好启动器本体的时候,暂时还不要启动,先一起把模型安装了。
第三步:导入核心数据。
1、下载“推荐大模型”文件夹中的模型。
2、并把文件夹里的所有模型放在这个目录下:
\sd-webui-aki-v4\models\Stable-diffusion
1
3、同时,还要下载ControlNet模型。
4、ControlNet模型文件夹里的所有内容,放在这个目录下:
\sd-webui-aki-v4\models\ControlNet
1
5、最后,需要单独下载推荐LoRA。
6、这些LoRA是笔者为了方便小伙伴们取用改了名的,需要全部放在这个目录下:
sd-webui-aki-v4\extensions\sd-webui-additional-networks\models\lora
1
7、当大家上手之后就可以参考末尾处这一篇文章,并在【大量模型·LoRA】文件夹中寻找自己想要的LoRA了。
三、Stable Diffusion 使用教程
Windows本地部署👇
开启软件运行。
解压并导入完毕上述数据之后,就可以点开启动器了。
1、在安装目录下往下拉,找到这个“A启动器.exe“,双击。
2、再点击右下角的一键启动。
3、再让这个界面多跑一会儿。
4、就可以看到它自动在浏览器中打开了一个新的网页,就算是启动成功了。
注意:
有时候会出现警告错误或缺少模块,但是又不会影响正常运行。
如果它没自动打开,可以手工去浏览器输入网址:http://127.0.0.1:7860
5、最终的效果。
例如:输入一个关键词“一个美女”,点击“生成”,结果效果图如下:
:::warning 秋叶包资源:各位小伙伴可直接扫描下方二维码找帕克老师或者小助理备注“SD整合包”获取资源
:::
Mac本地部署
diffusionBee 提供了一个基于 Stable Diffusion 的应用程序,无需复杂部署,正常安装就可以使用 官网地址:https://diffusionbee.com/
硬件要求参考:
1、建议: 8GB M1 MacBook Air 以上
2、DiffusionBee 适用于基于 Intel 的机器。如果你没有专用的图形芯片,它与 M1 机器相比非常
3、DiffusionBee 需要更高版本的 macOS 12.5.1,推荐使用 Apple 芯片的机器
如果你对Stable Diffusion感兴趣或者想深入的了解AI绘画,请加入我们的俱乐部!和1000+AIGC研究员一起探讨交流!学习分享!
:::warning AIGC研究社俱乐部周边🌈
工具站(资源导航工具):www.aigcyjs.com
帕克的博客(AI黑科技分享):blog.aigcyjs.com
:::