插件篇 - 💖 【Doing】ControlNet 构图控制插件 - 《AI 人工智能》

简介

ControlNet is a neural network structure to control diffusion models by adding extra conditions.

简单来说 ControlNet 能从指定图像中提取中结构，构图，或者深度信息，用于指导 Stable Diffusion 生成指定结构或者构图的图。

💖 【Doing】ControlNet 构图控制插件 - 图1

ControlNet 可以通过指定不同的模型指导构图，比如 canny，pose，depth，也可以通过给定线稿，色块图等不同模型指导构图。

比如 Canny 模型，通过边缘检测提取线稿指导构图。

💖 【Doing】ControlNet 构图控制插件 - 图2

比如 openpose 模型，提取骨骼姿势指导构图。

💖 【Doing】ControlNet 构图控制插件 - 图3

比如 depth 模型，提取图像深度信息指导构图。

💖 【Doing】ControlNet 构图控制插件 - 图4

模型下载地址

该插件用于在 SD-webui 中使用 controlnet：

在 Extensions 中，选择加载可用，搜索 sd-webui-controlnet ，并安装，安装完后切换到 installed，然后”
应用并重新加载“

💖 【Doing】ControlNet 构图控制插件 - 图5

💖 【Doing】ControlNet 构图控制插件 - 图6

将下载的模型放到 models/ControlNet 文件夹中。

开启 enable，注意处理器和模型要对应，比如 canny 的处理器就对应 canny 的模型

💖 【Doing】ControlNet 构图控制插件 - 图7

自己尝试效果如下：

原图	输入	输出

参考秋叶的视频