大家上手并且尝试进行绘图创作了,但是发现无论自己再怎么调整,出来的效果图似乎都不尽人意,无论是图片内容还是画风效果都无法达到自己的预期,那么当你学了今天这篇关于ControlNet的讲解,你就会发现原来在AI绘图中,对人物进行样貌姿势的调整,和对背景进行画风要素的变更,都是如此的简单顺手。

直接上图看看效果,让大家直接感受一下ControlNet的强大之处。

首先让我们先记住这张示例图原来的样子(AI绘制),接下来我们会用ControlNet的九种模型来对这张图进行处理,从而查看处理前后的效果对比

图片要素(健身房场景、欧美女性、运动背心、运动短裤、长发、背景有窗、灯光效果)

一、Canny:边缘检测(Canny edge detection)

简介:可将图片的细节通过线稿的方式表现出来(图一),并在线稿的基础上进行重新绘图;

特点:可保留人物主体的衣服褶皱和肢体动作等细节,但背景也会跟着保留,多用在3d转2d的场景中,也可用于手绘稿的绘图中;

效果:图二没有使用canny情况下,人物姿势发生了变化;图三,开启canny并加入水墨画lora后,保留了人物主体动作和背景的大致结构。

ControlNet插件,提升绘画效率 - 图2ControlNet插件,提升绘画效率 - 图3ControlNet插件,提升绘画效率 - 图4

二、HED边缘检测(soft HED edge detection,保留细节)

定义:同样是线稿类型,保留图片整体的细节为线稿样式;

特点:保留主体细节的同时,还会保留主体以外的背景和光影内容,可以理解为canny的加强版,一般情况下推荐使用HED;

效果:图2和图3均更换了衣服,但比起canny背景保留更为完成,还是在健身房的环境中,头顶的灯光效果依然存在。

ControlNet插件,提升绘画效率 - 图5ControlNet插件,提升绘画效率 - 图6ControlNet插件,提升绘画效率 - 图7

三、MiDaS深度信息估算(MiDaS depth estimation)和LeReS深度信息估算(LeReS depth estimation)

简介:两者都是深度检测,用于检测图片的景深和光影;LeReS 比 MiDaS 精度要更强,出图时间也更长;

特点:无法捕捉细节,可获取人物的轮廓、景深和环境光影效果,越白说明里画面越近,越黑即越远;常用于光影效果强的图片,可替换背景和更换主体以外的内容;

效果:图2 MiDaS 效果图 ,图四 LeReS 效果图,两者都是保留主体细节的情况下更换了户外的背景,但 LeReS 保留的细节更具立体感和层次感

ControlNet插件,提升绘画效率 - 图8ControlNet插件,提升绘画效率 - 图9ControlNet插件,提升绘画效率 - 图10ControlNet插件,提升绘画效率 - 图11

四、法线贴图(Normal map)

定义:模拟出光线在图片中每个点的反射效果,体现出一种凹凸的立体效果;

特点:通过模拟光影效果从而突出主体细节,主体以外的内容会完全忽略;同样可用于保留主体和更换背景的场景,或需要尽可能体现主体层次和立体感的情况中;

效果:图2、3均保留了人物主体并替换为简单背景,可以发现原图的背景细节均已去除;

ControlNet插件,提升绘画效率 - 图12ControlNet插件,提升绘画效率 - 图13ControlNet插件,提升绘画效率 - 图14

五、OpenPose姿态检测(OpenPose pose detection)

定义:判断图片主体的骨骼肢体动作,并以此重新生成图片;

特点:可自定义人物主体的肢体动作,通过人物捕捉器的手动调节实现;可用于图生图中让保留人物样貌的情况下,做出不一样的动作姿势;

效果:图1、2、3均通过图1的方式进行自定义动作后的人物效果。(只要你想,甚么都可以哦🤐🔞)

ControlNet插件,提升绘画效率 - 图15ControlNet插件,提升绘画效率 - 图16ControlNet插件,提升绘画效率 - 图17ControlNet插件,提升绘画效率 - 图18

六、M-LSD线条检测(M-LSD line detection)

定义:识别图片的结构和透视关系,检测出图片中的线条,忽略曲线等内容;

特点:直线、棱角要素居多的场景更适用,且会忽略人物等有曲率的内容;可用于如建筑设计,房屋设计这些设计场景;

效果:图1为有人物的原图;图3、4中发现人物已经被去除,且保留原有的房屋构造的同时,生成了不同的装修风格和窗外风景。

ControlNet插件,提升绘画效率 - 图19ControlNet插件,提升绘画效率 - 图20ControlNet插件,提升绘画效率 - 图21ControlNet插件,提升绘画效率 - 图22

七、涂鸦(scribble)

定义:通过简单的涂鸦线稿来生成图片:

特点:简单草稿图即可生成细节满满的图片;

效果:图1为手绘的一棵树,图2、3是在手绘的基础上补充细节生成的图片。

ControlNet插件,提升绘画效率 - 图23ControlNet插件,提升绘画效率 - 图24ControlNet插件,提升绘画效率 - 图25

八、伪涂鸦(fake scribble)

定义:将图片转为涂鸦的效果图,并在涂鸦的基础上重新生成图片;

特点:常用于更换物品的材质,比如衣服、裤子、鞋之类的材质更换,

效果:图1为一件衣服网图;图3、4、5均为更换了不同衣服面料后的效果;

ControlNet插件,提升绘画效率 - 图26ControlNet插件,提升绘画效率 - 图27ControlNet插件,提升绘画效率 - 图28ControlNet插件,提升绘画效率 - 图29ControlNet插件,提升绘画效率 - 图30

九、ADE2ok语义分割(Semantic segmentation)

都打上标签进行划分(相同标签为一种色值,比如人、树、建筑等标签类型),并基于标签类型进行重新生图;只对图片内容进行标签类型的区分,不区分具体内容的单位和个数;可在草图中通过标注色值来规定图片中有哪些标签类型,对应着有哪些要素,接着就可以让图1为一张建筑原图,通过语义分割后,原图中不同的要素都会在图2中用不同色块进行区分,蓝绿色为天空背景,棕色为建筑,接着图3、4就会对背景和建筑所在的区域重新生成图片效果,结果可以看到建筑风格发生了改变。

ControlNet插件,提升绘画效率 - 图31ControlNet插件,提升绘画效率 - 图32ControlNet插件,提升绘画效率 - 图33ControlNet插件,提升绘画效率 - 图34