1.入门手册（腾讯）

开源图像模型Stable Diffusion入门手册

整合包

关于插件

文生图最简流程

1. 选择需要使用的模型（底模），这是对生成结果影响最大的因素，主要体现在画面风格上。
2. 在第一个框中填入提示词（Prompt），对想要生成的东西进行文字描述
3. 在第二个框中填入负面提示词（Negative prompt)，你不想要生成的东西进行文字描述
4. 选择采样方法、采样次数、图片尺寸等参数。

• Sampler（采样器/采样方法）选择使用哪种采样器。Euler a（Eular ancestral）可以以较少的步数产生很大的多样性，不同的步数可能有不同的结果。而非 ancestral 采样器都会产生基本相同的图像。DPM 相关的采样器通常具有不错的效果，但耗时也会相应增加。
  • Euler 是最简单、最快的
  • Euler a 更多样，不同步数可以生产出不同的图片。但是太高步数 (>30) 效果不会更好。
  • DDIM 收敛快，但效率相对较低，因为需要很多 step 才能获得好的结果，适合在重绘时候使用。
  • LMS 是 Euler 的衍生，它们使用一种相关但稍有不同的方法（平均过去的几个步骤以提高准确性）。大概 30 step 可以得到稳定结果
  • PLMS 是 Euler 的衍生，可以更好地处理神经网络结构中的奇异性。
  • DPM2 是一种神奇的方法，它旨在改进 DDIM，减少步骤以获得良好的结果。它需要每一步运行两次去噪，它的速度大约是 DDIM 的两倍，生图效果也非常好。但是如果你在进行调试提示词的实验，这个采样器可能会有点慢了。
  • UniPC 效果较好且速度非常快，对平面、卡通的表现较好，推荐使用。
• Sampling Steps（采样步数）Stable Diffusion 的工作方式是从以随机高斯噪声起步，向符合提示的图像一步步降噪接近。随着步数增多，可以得到对目标更小、更精确的图像。但增加步数也会增加生成图像所需的时间。增加步数的边际收益递减，取决于采样器。一般开到 20~30。
• 不同采样步数与采样器之间的关系：
  
  
• CFG Scale（提示词相关性）图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示，但它也在一定程度上降低了图像质量。可以用更多的采样步骤来抵消。过高的 CFG Scale 体现为粗犷的线条和过锐化的图像。一般开到 7~11。CFG Scale 与采样器之间的关系：
• 生成批次每次生成图像的组数。一次运行生成图像的数量为“批次* 批次数量”。
• 每批数量同时生成多少个图像。增加这个值可以提高性能，但也需要更多的显存。大的 Batch Size 需要消耗巨量显存。若没有超过 12G 的显存，请保持为 1。
• 尺寸指定图像的长宽。出图尺寸太宽时，图中可能会出现多个主体。1024 之上的尺寸可能会出现不理想的结果，推荐使用小尺寸分辨率+高清修复（Hires fix)。
• 种子种子决定模型在生成图片时涉及的所有随机性，它初始化了 Diffusion 算法起点的初始值。

• 高清修复通过勾选 “Highres. fix” 来启用。默认情况下，文生图在高分辨率下会生成非常混沌的图像。如果使用高清修复，会型首先按照指定的尺寸生成一张图片，然后通过放大算法将图片分辨率扩大，以实现高清大图效果。最终尺寸为（原分辨率*缩放系数 Upscale by)。
  • 放大算法中，Latent 在许多情况下效果不错，但重绘幅度小于 0.5 后就不甚理想。ESRGAN_4x、SwinR 4x 对 0.5 以下的重绘幅度有较好支持。
  • Hires step 表示在进行这一步时计算的步数。
  • Denoising strength 字面翻译是降噪强度，表现为最后生成图片对原始输入图像内容的变化程度。该值越高，放大后图像就比放大前图像差别越大。低 denoising 意味着修正原图，高 denoising 就和原图就没有大的相关性了。一般来讲阈值是 0.7 左右，超过 0.7 和原图基本上无关，0.3 以下就是稍微改一些。实际执行中，具体的执行步骤为 Denoising strength * Sampling Steps。
• 面部修复修复画面中人物的面部，但是非写实风格的人物开启面部修复可能导致面部崩坏。
• 点击“生成”

提示词

提示词内容

• 自然语言 可以使用描述物体的句子作为提示词。大多数情况下英文有效，也可以使用中文。避免复杂的语法。
• 单词标签 可以使用逗号隔开的单词作为提示词。一般使用普通常见的单词。单词的风格要和图像的整体风格搭配，否则会出现混杂的风格或噪点。避免出现拼写错误。可参考Tags | Danbooru (donmai.us)
• Emoji、颜文字 Emoji (💰👨👩🎅👼🍟🍕) 表情符号也是可以使用并且非常准确的。因为 Emoji 只有一个字符，所以在语义准确度上表现良好。关于 emoji 的确切含义，可以参考Emoji List, v15.0 (unicode.org)，同时 Emoji 在构图上有影响。💐👩💐

提示词语法

• (word) - 将权重提高 1.1 倍
• ((word)) - 将权重提高 1.21 倍（= 1.1 * 1.1）
• [word] - 将权重降低至原先的 90.91%
• (word:1.5) - 将权重提高 1.5 倍
• (word:0.25) - 将权重减少为原先的 25%
• (word) - 在提示词中使用字面意义上的 () 字符

[to:when] 在指定数量的 step 后，将to处的提示词添加到提示
[from::when] 在指定数量的 step 后从提示中删除 from处的提示词
[from:to:when] 在指定数量的 step 后将 from处的提示词替换为 to处的提示词

[cow|horse] in a field

Token

提示词模板

• Majinai：MajinAI | Home
• 词图：词图 PromptTool - AI 绘画资料管理网站
• Black Lily：black_lily
• Danbooru 标签超市：Danbooru 标签超市
• 魔咒百科词典：魔咒百科词典
• AI 词汇加速器：AI 词汇加速器 AcceleratorI PromptNovelAI 魔导书：NovelAI 魔导书
• 鳖哲法典：鳖哲法典
• Danbooru tag：Tag Groups Wiki | Danbooru (donmai.us)
• AIBooru：AIBooru: Anime Image Board

Controlnet

基本流程

• 点击 Enable 启用该项 ControlNet
• Preprocessor 指预处理器，它将对输入的图像进行预处理。如果图像已经符合预处理后的结果，请选择 None。譬如，图中导入的图像已经是 OpenPose 需要的骨架图，那么 preprocessor 选择 none 即可。
• 在 Weight 下，可以调整该项 ControlNet 的在合成中的影响权重，与在 prompt 中调整的权重类似。Guidance strength 用来控制图像生成的前百分之多少步由 Controlnet 主导生成，这点与[:]语法类似。
• Invert Input Color 表示启动反色模式，如果输入的图片是白色背景，开启它。
• RGB to BGR 表示将输入的色彩通道信息反转，即 RGB 信息当做 BGR 信息解析，只是因为 OpenCV 中使用的是 BGR 格式。如果输入的图是法线贴图，开启它。
• Low VRAM 表示开启低显存优化，需要配合启动参数“—lowvram”。
• Guess Mode 表示无提示词模式，需要在设置中启用基于 CFG 的引导。
• Model 中请选择想要使用解析模型，应该与输入的图像或者预处理器对应。请注意，预处理器可以为空，但模型不能为空。

可用预处理/模型

• canny 用于识别输入图像的边缘信息。
• depth 用于识别输入图像的深度信息。
• hed 用于识别输入图像的边缘信息，但边缘更柔和。
• mlsd 用于识别输入图像的边缘信息，一种轻量级的边缘检测。它对横平竖直的线条非常敏感，因此更适用于于室内图的生成。
• normal 用于识别输入图像的法线信息。
• openpose 用于识别输入图像的动作信息。OpenPose Editor 插件可以自行修改姿势，导出到文生图或图生图。
• scribble 将输入图像作为线稿识别。如果线稿是白色背景，务必勾选“Invert Input Color”
• fake_scribble 识别输入图像的线稿，然后再将它作为线稿生成图像。
• segmentation 识别输入图像各区域分别是什么类型的物品，再用此构图信息生成图像。如果想绘制一张符合 segementation 规范的图像，可以使用以下色表绘制。color_coding_semantic_segmentation_classes - Google 表格

多 ControlNet 合成

模型

模型下载

Civitai | Stable Diffusion models, embeddings, hypernetworks and more > Models - Hugging Face > SD - WebUI 资源站 > 元素法典 AI 模型收集站 - AI 绘图指南 wiki (aiguidebook.top) > AI 绘画模型博物馆 (subrecovery.top)

模型安装

• 大模型（Ckpt）：放入 models\Stable-diffusion
• VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\Stable-diffusion 或 models\VAE 目录，然后在 webui 的设置栏目选择。
• Lora/LoHA/LoCon 模型：放入 extensions\sd-webui-additional-networks\models\lora，也可以在 models/Lora 目录
• Embedding 模型：放入 embeddings 目录

模型使用

• Checkpoint(ckpt)模型 对效果影响最大的模型。在 webui 界面的左上角选择使用。

• Lora 模型 / LoHA 模型 / LoCon 模型

• Embedding

模型训练

环境搭建

1. 首先，以管理员模式启动 Powershell，执行“Set-ExecutionPolicy Unrestricted”命令，并回答“A”。然后可以关闭该窗口。
2. 启动一个普通的 Powershell 窗口，在需要克隆该仓库的路径下，执行以下命令：

git clone https://github.com/bmaltais/kohya_ss.git
cd kohya_ss
python -m venv venv
.\venv\Scripts\activate
pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116
pip install --use-pep517 --upgrade -r requirements.txt
pip install -U -I --no-deps https://github.com/C43H66N12O12S2/stable-diffusion-webui/releases/download/f/xformers-0.0.14.dev0-cp310-cp310-win_amd64.whl
cp .\bitsandbytes_windows\*.dll .\venv\Lib\site-packages\bitsandbytes\
cp .\bitsandbytes_windows\cextension.py .\venv\Lib\site-packages\bitsandbytes\cextension.py
cp .\bitsandbytes_windows\main.py .\venv\Lib\site-packages\bitsandbytes\cuda_setup\main.py
accelerate config

.\venv\Scripts\activate
python .\tools\cudann_1.8_install.py

环境更新

git pull
.\venv\Scripts\activate
pip install --use-pep517 --upgrade -r requirements.txt

界面启动

.\gui.ps1

训练流程

1. 准备训练集

2. 图片裁剪

3. 图片打标

• 关键词生成 可以在训练环境的页面下打标：

【本义：一个在铁匠铺里打铁的男铁匠】

打标对图片的描述越准越好，如果条件允许，尝试人工打标。

• 关键词合并 在生成出的关键词中，我们需要把与训练目标强相关的关键词划为一个统一的特征表述。以”1boy, cooking, frying pan, male focus, solo, gloves, apron, fire, brown footwear, black gloves, boots, stove, kitchen, holding, facial hair, bandana, blue shirt, shirt”为例，假如我们的训练对象就是一个男性大胡子，那么他必然始终携带着”男人、胡子“这两个要素，那么我们可以用一个词总结这个角色，例如用”Smith“替代”1boy,facial hair”，整条句子将变为：

• 编组 一些具有同组关系的图片可以利用关键词引导 AI 去归纳它们。譬如，我们训练的对象 Smith 有三张图，分别是全图、背景、前景，那么我可以如此处理：

4. 正则化

-	完整内容	训练目标	其他要素
	在铁匠铺里打铁的铁匠 Smith	Smith	铁匠铺、打铁、铁匠

5. 文件路径组织

6. 训练参数

a. 底模

b. 最大分辨率 Max resolution

c. Epoch

d. Batch size

e. Save every N epochs

f. 学习率 Learning Rate

g. 学习率调度器 Learning Rate Scheduler

• adafactor：自适应学习率。
• constant ：恒定，学习率不变。
• constant_with_warmup：恒定预热。学习率在开始会增大一点，然后退回原学习率不变。
• Cosine：使用余弦函数来调整学习率，使其在训练过程中逐渐降低。常被称为余弦退火。
• cosine_with_restarts：余弦退火重启。在 consine 的基础上每过几个周期将进行一次重启，该值在选择后可以设定。
• linear：线性。学习率线性下降。
• Polynomial：使用多项式函数来调整学习率。

h.学习率预热比例 LR warmup

i. 优化器 Optimizer

• Adam：一种常用的梯度下降算法，被广泛应用于神经网络模型的优化中。它结合了动量梯度下降和自适应学习率方法的优点，既可以加快收敛速度，又可以避免学习率调整不当导致的振荡和陷入局部最优解。并且对于不同的参数有不同的学习率，更加适用于高维度的参数空间。
• AdamW：对 Adam 算法的改进方案，对惩罚项参数进行控制，能更好地控制模型的复杂度，防止模型过拟合，提高泛化性能。
• AdamW8bit：8bit 模式的 AdamW，能降低显存占用，略微加快训练速度。
• Adafactor：自适应优化器，对 Adam 算法的改进方案，降低了显存占用。参考学习率为 0.005 1 。
• DAdaptation2：自适应优化器，比梯度下降（SGD）方法更加稳定有效、使用时请将学习率设置为 1。
• Lion3：自适应优化器，节省更多显存、速度更快，与 AdamW 和 Adafactor 相比有 15%左右的加速。参考学习率为 0.001。
• SGDNesterov：一种常用的优化算法，基于梯度下降（SGD）方法进行优化，通过引入动量的概念加速收敛速度。
• SGDNesterov8bit：8bit 模式的 SGDNesterov，能降低显存占用，略微加快训练速度。

j. Text Encoder 与 Unet

k. Network Rank(Dimension)

l. Network Alpha

m. Caption Dropout

n. Noise Offset

o.xformers

p. Gradient checkpointing

q. shuffle caption

r. Token

s. Clip Skip

风格训练

人物训练