深度:

Depth Anything 深度预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图1

  1. 介绍:
  2. 模型名称:
  3. 对应模型:
    1. SD1.5 模型:control_sd15_depth_anything
    2. SDXL 模型:
  4. 效果预览:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图2

Depth Anything V2 深度预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图3

  1. 介绍:
  2. 模型名称:
  3. 对应模型:
    1. SD1.5 模型:control_sd15_depth_anything
    2. SDXL 模型:
  4. 效果预览:
Zoe DepthAnything 深度预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图4

  1. 介绍:
  2. environment(环境):
  3. 对应模型:
    1. SD1.5 模型:control_sd15_depth_anything
    2. SDXL 模型:
  4. 效果预览:
Zoe 深度预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图5

  1. 介绍:从图像中提取深度信息;
  2. 对应模型:
    1. SD1.5 模型:control_v11f1p_sd15_depth、t2iadapter_depth_sd15v2
    2. SDXL 模型:control-loar-depth-rank256
  3. 效果预览:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图6

LeRes 深度预处理器

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图7

  1. 介绍:从图像中提取深度信息
  2. 前景移除:指定移除已识别深度前景的阈值,具体表现为大于该值的部分被1替换
  3. 背景移除:指定移除已识别深度背景的阈值,具体表现为小于该值的部分被0替换
  4. 强化:
  5. 对应模型:
    1. SD1.5 模型:control_v11f1p_sd15_depth、t2iadapter_depth_sd15v2
    2. SDXL 模型:control-loar-depth-rank256
  6. 效果预览:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图8

Metric3D 深度预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图9

  1. 介绍:
  2. 框架:
  3. fx:
  4. fy:
  5. 对应模型:
    1. SD1.5 模型:control_v11f1p_sd15_depth、t2iadapter_depth_sd15v2
    2. SDXL 模型:control-loar-depth-rank256
  6. 效果预览:
MiDaS 深度预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图10

  1. 介绍:从图像中提取深度信息;
  2. 角度:指定深度投影到图像的倾斜角
  3. 背景阈值:指定移除背景的阈值
  4. 对应模型:
    1. SD1.5 模型:control_v11f1p_sd15_depth、t2iadapter_depth_sd15v2
    2. SDXL 模型:control-loar-depth-rank256
  5. 效果预览:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图11

法向:

Metric3D 法向预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图12

  1. 介绍:
  2. 框架:
  3. fx:
  4. fy:
  5. 对应模型:
    1. SD1.5 模型:control_v11p_sd15_normalbae
    2. SDXL 模型:
  6. 效果预览:
MiDaS 法向预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图13

  1. 介绍:从图像中提取法向信息,并使用RGB通道存储计算得出的XYZ信息(法向贴图),效果略差,不推荐;
  2. 角度:指定法向图的旋转角度;
  3. 背景阈值:指定移除背景的阈值;
  4. 对应模型:
    1. SD1.5 模型:control_normal-fp16
    2. SDXL 模型:暂无
  5. 效果预览:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图14

BAE 法向预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图15

  1. 介绍:从图像中提取法向信息,并使用RGB通道存储计算得出的XYZ信息(法向贴图);
  2. 对应模型:
    1. SD1.5 模型:control_v11p_sd15_normalbae
    2. SDXL 模型:暂无
  3. 效果预览:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图16

DSINE 法向预处理器

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图17

  1. 介绍:
  2. 对应模型:
    1. SD1.5 模型:control_v11p_sd15_normalbae
    2. SDXL 模型:暂无
  3. 效果预览:

手部修复:

MeshGraphormer深度预处理器:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图18

  1. 介绍:通过基于扩散的条件修复来细化生成图像中畸形的手;
  2. 对应模型:
    1. SD1.5 模型:control_sd15_inpaint_depth_hand_fp16
    2. SDXL 模型:暂无
  3. 此模型的连接方式与其他 Controlnet 不同,下方为工作流

图生图-ControlNet 手部修复.json

文生图-ControlNet 手部修复.json

  1. 效果预览:

3. Controlnet 法向与深度预处理器(文章草稿,待优化) - 图19