作用:

能够参考给定图像的风格和内容生产图片

原理:2.IP Adapater - 图3

2.IP Adapater - 图4

2.IP Adapater - 图5相当于加载了一个单图片定制化Lora

优点:

保留SD的原生结构和参数,需要训练的模型参数量非常小,训练推理非常高效,几乎不会对后面的提示词,lora,ControlNet等造成明显的污染

2.IP Adapater - 图6

模型体系 2.IP Adapater - 图7

注意模型加载器与Clip视觉加载器G与H匹配

2.IP Adapater - 图8

2.IP Adapater - 图9

第一个和第三个都是vision transformer H

第二个是vision Transformer G