一、介绍一下LayerDiffusion

ControlNet作者最新推出的一项研究受到了一波高度关注——

给一句prompt，用Stable Diffusion可以直接生成单个或多个透明图层（PNG）！

如何在ComfyUI中使用LayerDiffusion - 图1

LayerDiffusion不仅可以生成单个透明图像，还可以生成多层图像，分离图像的前景和背景。

如何在ComfyUI中使用LayerDiffusion - 图2

除了之外，还可以用于条件生成，如下面用透明的前景图像生成背景图像，或者基于背景图像生成透明的前景图像。

如何在ComfyUI中使用LayerDiffusion - 图3

也可以多次进行图层的混合

如何在ComfyUI中使用LayerDiffusion - 图4

值得一提的是，作者还展示了如何把ControlNet引入进来，丰富LayerDiffusion的功能

如何在ComfyUI中使用LayerDiffusion - 图5

二、工作流

8个工作流，涉及透明背景创建、模型替换、背景添加、物体生成与抠图，以及老人坐像的提取与轮廓修复。

  1. 生成透明素材工作流

如何在ComfyUI中使用LayerDiffusion - 图6

  1. 生成透明素材且有蒙版

如何在ComfyUI中使用LayerDiffusion - 图7

  1. 上传透明（不要网络素材），给透明素材换背景

如何在ComfyUI中使用LayerDiffusion - 图8

  1. 上传背景图片（如椅子），在提示词中生成前景（比如生成一个老人坐在椅子上）

如何在ComfyUI中使用LayerDiffusion - 图9

  1. 上传背景图片和根据背景生成的老人坐在椅子上的图片，来把老人抠出来

如何在ComfyUI中使用LayerDiffusion - 图10

  1. 上传透明素材（比如狗）和给透明素材换背景之后的图片（狗在街上），把狗在房间里p掉

如何在ComfyUI中使用LayerDiffusion - 图11

  1. 直接p掉图片中透明元素不协调，所以要重绘一下，让它抠得更自然

三、相关工作流下载及目录

【相关工作流下载及目录】

链接：https://pan.baidu.com/s/1ZBR8xHUBlHQs1gofKVKDGw?pwd=01bo 提取码：01bo

选择Load，将网盘中的JSON文件导入ComfyUI即可

如何在ComfyUI中使用LayerDiffusion - 图12

【ComfyUI的LayerDiffusion插件安装】

打开ComfyUI Manager，选择Install Custom Nodes， 搜索 LayerDiffusion， 安装作者是huchenlei的这个版本即可如何在ComfyUI中使用LayerDiffusion - 图13

如何在ComfyUI中使用LayerDiffusion - 图14

一般运行时会自动进行安装，如果模型安装遇到问题，也可以手动下载模型至ComfyUI的安装目录

ComfyUI\ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\models\layer_model 这个文件夹里（如果没有可以自己建一下，就叫这个layer_model名字）

模型地址：链接：https://pan.baidu.com/s/16f32__LhxXThdjcSO8w_KA?pwd=equp 提取码：equp

【ComfyUI的保姆级安装】

https://www.yuque.com/u12148312/wooyoo-aigc-technology/rliukb6eht5bcclg?singleDoc# 《ComfyUI | ComfyUI安装使用》