https://help.aliyun.com/zh/pai/user-guide/how-to-use-sd-web-ui?spm=a2c4g.11186623.0.0.20342f7elWhOei

本文为您介绍如何使用SDWebUI。

WebUI页面介绍

Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图1

序号 区域
模型切换区域
功能区域
参数区域
生图区域

模型切换区域

推荐模型下载地址:C站LiblibAI·哩布哩布AI - 中国领先的AI创作平台 Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图2 ## 功能区域 ### 文生图 #### prompt语法总结 + 通用prompt技巧常见的通用范式: 前缀(画质词+画风词+镜头效果+光照效果) + 主体(主题+材质+色调+渲染参数) + 场景(环境+细节) - 使用半角括号()可以提高权重,将想要强调的提示词括起来,在提示词后面增加冒号和权重值,例如(beautiful:1.3)。权重取值范围推荐(0.4~1.6),权重过低容易被忽略,权重过高容易过拟合导致图片畸形;也可以直接使用半角括号()来叠加权重,每增加一层相当于提高1.1倍权重,例如:(((cute))) - 权重计算公式:(PromptA:权重):用于提高或降低该提示词的权重比例,注:数值大于1提高,小于1降低。(PromptB):PromptB的权重为1.1=(PromptA:1.1) {PromptC}:PromptC的权重为1.05=(PromptB:1.05) [PromptD]:PromptD的权重减弱0.952=(PromptC:0.952) ((PromptE)=(PromptE:1.11.1) {{PromptF}}=(PromptF:1.051.05) [[PromptG]]=(PromptG:0.9520.952) - 使用<>可以调取Lora,输入格式为: + 常见提示词描述 | | | | | —- | —- | —- | | | | | | | 正向提示词 | | 负向提示词 | | —- | —- | :—- | | prompt | 描述 | negative prompt | 描述 | | HDR,UHD,8K,4K | 可以提高图片的质量 | mutated hands and fingers | 变异的手和手指 | | best quality | 丰富图片的细节 | deformed | 畸形的 | | masterpiece | 杰作 | bad anatomy | 解剖不良 | | Highly detailed | 增加图片细节 | disfigured | 毁容 | | Studio lighting | 添加演播室灯光,可以给图片增加纹理。 | poorly drawn face | 脸部画得不好 | | ultra-fine painting | 超精细绘画 | mutated | 变异的 | | sharp focus | 聚焦清晰 | extra limb | 多余的肢体 | | physically-based rendering | 基于物理渲染 | ugly | 丑陋 | | extreme detail description | 刻画细节 | poorly drawn hands | 手部画得很差 | | Vivid Colors | 增加图片色彩 | missing limb | missing limb | | (EOS R8, 50mm, F1.2, 8K, RAW photo:1.2) | 专业摄影描述 | floating limbs | 漂浮的四肢 | | Boken | 虚化模糊背景,突出主体。 | disconnected limbs | 肢体不连贯 | | Sketch | 素描 | malformed hands | 畸形的手 | | Painting | 绘画 | 变异的 | 脱离焦点 | | - | - | long neck | 长颈 | | - | - | long body | 身体长 | #### 文生图效果展示 + 简单prompt:在对应区域输入正向描述(希望在图片中出现)和负向描述(不希望在图片中出现),提示词越多,AI绘图结果会更加精准。Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图3Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图4 + 复杂prompt: - 正向prompt:8k portrait of beautiful cyborg with brown hair, intricate, elegant, highly detailed, majestic, digital photography, art by artgerm and ruan jia and greg rutkowski surreal painting gold butterfly filigree, broken glass, (masterpiece, sidelighting, finely detailed beautiful eyes: 1.2), hdr - 负向prompt:canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render - prompt来源:请参见C站 - prompt:越靠前的词权重越大,根据自己的需求调整词语的顺序,例如:主体(Subject)、绘画介质(Medium)、绘画风格(Style)、艺术家名(Artist)、网站(Website)、清晰度(Resolution)、细节描述(Additional details)、颜色(Color)、光影效果(Lighting)。在实际编写的指令中,不需要包含以上所有分组里的关键词,根据自己的需求来设定关键词和顺序即可。除基础模型外,已经训练好的模型一般会有隐藏设置,自动触发一些固定风格,或舍弃部分prompt,根据实际情况而定。Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图5 ### *图生图 图生图技术可依据提示词描述的特点,将一张图片转化为具有新特点的另一张图片,如将自动为画作线稿上色。同时,该功能支持参数调整,并具备局部重绘功能,用户能在指定区域进行重绘而不影响其他部分,也可利用涂鸦画笔对原图进行修改后再次生成。 生成的图片不仅能作为新的图生图输入以进行循环创作或局部再编辑,还可用于其它附加功能。此外,系统能够根据输入图片自动生成关键词,通过CLIP与DeepBooru两种AI模型实现反推,其中CLIP适用于写实风格图片,DeepBooru则适用于动漫图片。 具体操作步骤如下。

图生图

  1. 单击选框上传图片。图片比例需要跟设定好的长宽一致,例如,512*512的图片需要上传1:1的图片。
  2. 使用反推提示词CLIP/DeepBooru,或自己填写补充Prompt和Negative Prompt, 单击生成,即可生成一张基于已上传图片的新图片。Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图6

涂鸦

  • 上传普通图片在已上传的图片上进行涂鸦,可以配合修改部分Prompt,再次生成的图片就会包含涂鸦部分。Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图7
  1. 上传线稿草稿自主上色,配合Prompt可以生成不同风格的图。Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图8Sketch可以提高我们创作图像的效率和创造力,它使得不具备精湛绘画技能的用户也能轻松驾驭,只需凭借自身的想象力,即可将各种创意点子流畅转化为高质量的视觉图像。

局部重绘

在原图上添加一个蒙版(将需要修改的部位涂黑),对蒙版或者非蒙版区域进行重绘操作。
  1. 重绘蒙版内容在Prompt中加上想要修改成的内容,单击生成即可。例如,下图在原来的Prompt中增加了wears sweater。Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图9
  2. 重绘非蒙版内容在Prompt中加上想要修改成的内容,单击生成即可完成。例如,下图在原来的Prompt中增加了classroom。Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图10

涂鸦重绘

在局部绘制的基础上增加了调色板,让绘制过程参考蒙版颜色。

Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图11

上传重绘蒙版

上传在外部工具(如Photoshop)中制作的蒙版进行遮罩操作,适用于对遮罩区域精细化程度有较高要求的用户。为实现这一效果,请将您预先制作完成的精细蒙版文件上传至下图的下半部分。

Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图12

参数区域

Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图13

参数 说明 推荐值
采样方法
(sampling method)
扩散去噪算法的采样模式,不同的采样方法会有不同的效果,根据实际使用情况选择合适的采样方法。
其中,euler adpm++ 2s adpm++ 2s a karras整体构图较为相似;euler dpm++ 2mdpm++ 2m karras整体构图比较相似;DDIM的构图风格比较不同。
常用Euler a。
采样迭代步数
(sampling steps)
生成图片的迭代次数是决定AI优化效果的关键因素,每一次迭代都意味着AI系统将有更多机会对比Prompt与当前生成图像,并据此进行精细化调整。
提高迭代步数会消耗更多的时间和计算资源,但并不能保证结果会更好。
在实际应用中,随着迭代步数的增大,生成的图像通常会呈现出更丰富的细节,与采样模式息息相关。以Euler a为例,大约在30~40步,生成的图片细节趋于稳定状态,进一步增加迭代步数不会增加新的细节。
webui默认数为20步,LMS、DPM fast和PLMS三种采样方法需要更高的迭代步数(30-50步),可根据实际模型出图的效果进行调整。
面部修复 优化面部图像可勾选。 远景画面时勾选,可以优化图片面部细节,近景画面时不宜勾选,会出现图片过拟合现象。
平铺图
(Tiling)
生成一个可以平铺的图像。 会影响正常出图和降低显存消耗,当前不建议勾选
高分辨率修复
(Hires. fix)
可以影响图片的分辨率。
使用两个步骤的过程进行生成,以较小的分辨率创建图像,然后在不改变构图的情况下改进其中的细节。勾选后需要设置高分迭代部署、重绘幅度等参数。
勾选后可以增加图片细节,也可能会影响出图结果。
宽度&高度 图片的尺寸和分辨率,对显存的消耗较大,分辨率越大细节越多,不建议设置过大。 默认512x512即可。
总批次数 不同批次生成的图片细节不同,数值越大,需要计算的时间越久。 默认1即可。
单批数量 每批同时生成的图片数量,对显存消耗较大。 根据自己的需求选择一次出几张图,推荐1~4张。
提示词引导系数
(CFG Scale)
数值越大,越接近Prompt词,参数值越小,AI生成的自由创作空间越大。 默认7即可,适当留有AI自由创作空间。
随机数种子
(seed)
参数值为-1表示每一次生成都是随机;若为其他任意数值(可为负数和小数),seed值一致,其他参数一致,模型一致,GPU一致,可以生成相同图片。 默认-1

Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图14

参数 说明
从提示词或上次生成的图片中读取生成参数。
清空提示词内容。
显示/隐藏扩展模型。可以查看其他附加模型:Embedding,Hypernetwork,ckpt,Lora等。
将所选预设样式插入到提示词之后。
将当前提示词储存为预设样式。

模型介绍

请参见模型介绍【内测中】

ControlNet插件

参数介绍

Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图15

参数 说明
启用 勾选后启用CnotrolNet。
低显存优化 4 GB显存以下可勾选。
预处理器 不同选项具有不同的预处理效果,每一个预处理器有对应的模型,二者搭配使用。
模型 与预处理器中的模型搭配使用。需要手动下载并上传至对应目录中。
控制权重 表示生成图片时,受CnotrolNet生成图片影响的权重占比。在图生图的过程中,低重绘强度配高权重,可以锁定图片的细节,更改滤镜和画风;高重绘强度配低权重,可以修改图片的细节。
引导介入时机 数值为0~1,意为百分比,表示ControlNet在第几步介入绘画。0表示从第一步就开始介入,1表示从最后一步开始介入。数值越大,CnotrolNet对生成图片的影响就越小。
例如:设置采样迭代步数为20,引导介入时机为0.3,表示从第6(20*0.3)步开始介入。
引导终止时机 数值为0~1,意为百分比,表示CnotrolNet在第几步退出绘画。
控制类型 + Canny(硬边缘):可以认为是线稿,能够检测图片的轮廓、动作、衣服褶皱、表情等细节线条。但生成图片比较固定,容易被其他背景影响。不适合背景比较复杂以及和主体有较多相交的图片。通常与control_sd15_canny模型组合使用。
+ Depth(深度):生成输入图片的深度估计,可以控制图像内物体的空间定位,浅色区域表示距离用户较近,深色区域表示距离用户较远,但在识别图片细节上有差异。但大图像会丢失图像内部细节(面部表情等),通常与control_sd15_depth模型组合使用。
+ NormalMap:法线贴图。法线图完全来源于图像,而不是在3D建模软件中构建的,主要使用红、绿、蓝三种颜色,通过不同的角度来精确定位物体的粗糙程度和光滑程度,可以保留图像较多的细节,处理图片复杂的细节和轮廓,以及处理图片的远近和距离,适合人物建模。通常与control_sd15_normal组合使用。
+ OpenPose(姿态):根据图像人物形象生成基本的骨架,骨架图有较多关节点,可以稳定地生成相同主题的图片。通常与control_sd15_openpose模型组合使用。
+ MLSD(直线):主要检测直线,可以检测出独特的刚性轮廓,主要应用于建筑等物体,不适合处理非刚性和弯曲轮廓的物体。通常与control_sd15_mlsd模型搭配使用。
+ Scribble/Sketch:涂鸦/草图。可以从简单的黑白线条画和草图生成图像,也可以直接上传素描图像。如果图片是由白色背景和黑色线条组成,需要勾选反色模式。通常与control_sd15_scribble模型搭配使用。
+ Segmentation:语义分割。将上传的图片按照一定的区域进行划分方便ArtLab识别对象类型。通常与control_sd15_seg模型组合使用。

ControlNet生图效果展示

三视图(单击查看详情)

  • 推荐模型CheckpointLoRA
  • Prompt设置
    • 正向Prompt:JinxLol,mature female,1girl, solo,looking at viewer, navel, gloves, fingerless gloves, character name, midriff, bare shoulders, looking at viewer, gun, crop top, belt,outdoors
    • 负向Prompt:(low quality, worst quality:1.3), (lowres), blurry,text,watermark,signature,artist name,letterboxed, female pubic hair,realism
  • 参数设置**采样方法(Sampler)选择DPM++2M Karras**,其他参数使用默认值或根据实际需求进行微调。
  • ControlNet参数设置上传一张不同视角的线稿,控制类型选择Canny(硬边缘),其他参数使用默认值或根据实际需求进行微调。
  • 效果图展示Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图16Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图17

户外建筑物(单击查看详情)

  • 推荐模型::CheckpointLoRA
  • Prompt设置
    • 正向Prompt:XSWB,architecture,autumn,bench, blue_sky, building,cloudy_sky, day, fence,forest, garden, grass, house, mountain, nature, no_humans, outdoors, palm_tree, path, pavement, plant, road, scenery, sky,tree, water,wooden_fence,triangular top,masterpiece,ultra-fine painting,sharp focus,HDR,UHD,8K,4K
    • 负向Prompt:soft line,Distorted, fuzzy
  • 参数设置**采样方法**(Sampler)选择Eular a,其他参数使用默认值或根据实际需求进行微调。
  • ControlNet参数上传一张建筑物线稿,控制类型选择MLSD(直线),其他参数使用默认值或根据实际需求进行微调。
  • 效果图展示Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图18

室内装修(单击查看详情)

  • 推荐模型基础模型v1-5-pruned-emaonly.safetensors、LoRA
  • Prompt设置**正向Prompt**:Interior advanced Design
  • 参数设置**采样方法(Sampler)选择Eular a**,其他参数使用默认值或根据实际需求进行微调。
  • ControlNet参数上传一张室内毛坯房图片,控制类型选择MLSD(直线)单批数量为4,一次出4张图,其他参数使用默认值或根据实际需求进行微调。
  • 效果图展示Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图19

生成二次元头像(单击查看详情)

  • 推荐模型CheckpointLoRA
  • Prompt设置
    • 正向Prompt:best quality, masterpiece, (realistic:1.2), 1 girl, brown hair, brown eyes,Front, detailed face, beautiful eyes
    • 负向Prompt:(low quality, worst quality:1.4),nsfw
  • 参数设置**采样方法(Sampler)选择Eular a**,其他参数使用默认值或根据实际需求进行微调。
  • ControlNet参数上传一张人脸图像,控制类型选择Canny(硬边缘),其他参数使用默认值或根据实际需求进行微调。
  • 效果图展示Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图20Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图21

更换真人服饰(单击查看详情)

  • 推荐模型C站
  • Prompt设置
    • 正向Prompt:close up of a european woman, ginger hair, winter forest, natural skin texture, 24mm, 4k textures, soft cinematic light, RAW photo, photorealism, photorealistic, intricate, elegant, highly detailed, sharp focus, ((((cinematic look)))), soothing tones, insane details, intricate details, hyperdetailed, low contrast, soft cinematic light, dim colors, exposure blend, hdr, faded
    • 负向Prompt:(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation,nsfw
  • 参数设置**采样方法(Sampler)选择Eular a**,其他参数使用默认值或根据实际需求进行微调。
  • ControlNet参数上传一张人物图,控制类型选择OpenPose(姿态),其他参数使用默认值或根据实际需求进行微调。
  • 效果图展示Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图22Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图23

更改发色**(单击查看详情)**

  • Prompt设置可增加以下标签:black hair
  • 参数设置通过图生图局部重绘功能更改图片发色,手动绘制蒙版,重绘幅度设定为0.6,其他参数保持默认。
  • 效果图展示Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图24Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图25

背景重绘**(单击查看详情)**

  • 推荐模型
  • Prompt设置可增加以下标签,并通过括号来增加权重:green trees,((beach)),((sea)),((blue sky)),black hair
  • 参数设置手绘蒙版,根据蒙版范围修改蒙版模式、重绘幅度等参数。
  • 效果图展示Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图26Stable Diffusion | 【入门】SDWebUI使用方法与实践案例 - 图27