工作流

ControlNet——基础篇 - 图1

节点说明

节点 说明 进阶参考
ControlNet加载器 用于加载ControlNet模型
ControlNet应用 ControlNet的强度设置,强度越大,越服从输入图像。

ControlNet模型说明

不同的模型需要对应不同的Controlnet模型

类型 说明
tile 将生成图像分成多个小块(瓷砖)进行处理,适用于生成大图像时控制细节和样式。
openpose 使用姿态估计技术识别和标记人体的关键点,可以引导模型生成特定姿势的人物图像。
depth 利用深度图信息来指导生成过程,使得图像在三维空间上表现更具立体感和深度感。
seg 通过图像分割技术,允许用户指定图像中不同区域的属性或内容,从而控制生成结果的各个部分。
normalbae 生成法线图以帮助模型理解光照和表面细节,从而在图像生成时增强真实感和细节。
canny 使用 Canny 边缘检测算法生成边缘图,帮助模型在生成图像时遵循特定的边缘和结构。
mlsd Multi-Line Segment Detector(多线段检测器),用于检测图像中的直线特征,适合于生成结构化图像。
适合建筑类
lineart 用户提供线稿作为输入,引导模型生成符合线稿内容的图像,常用于艺术创作和插图。
scribble 用户提供简单的涂鸦或草图,模型根据这些简笔画生成完整的图像,适合快速原型和创意实现。
shuffle 随机打乱图像中的某些元素,创造新的构图和布局,适用于抽象艺术和创意设计。

ControlNet模型下载

下载链接:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

ControlNet文件格式说明

ControlNet——基础篇 - 图2

参考文献

ControlNet是什么

https://zhuanlan.zhihu.com/p/635673830