Clip 简单解释

:::info Clip 是一个神经网络,它有很多的层数,它的处理过程是一层层的将你的 Prompt 转换成数字,再被转换器读取。比如你的提示词是“一个披着斗篷的精灵族少女”,那么 Clip 第一层可能是“一个少女”,第二层是“一个精灵族少女”,第三层是“一个披着斗篷的精灵族少女”,一层比一层具体。

  • Clip Skip 1:意味着从最后一层终止,你会得到“一个披着斗篷的精灵族少女”。
  • Clip Skip 2:意味着从倒数第二层终止,你会得到”一个精灵族少女”,但不一定是披着斗篷的。

:::

实际上 Clip 的处理过程远比上面解释的复杂,Clip 从每一层中标记不同的东西,但越早终止它能从 Prompt 中标记的内容就越少,最终画面出来的描述就越不精确:

🧩 clip skip 跳过层 - 图1🧩 clip skip 跳过层 - 图2

对比上面这两张图,skip12 中缺少提示词中的animal ears, jacket, long sleeves, open mouth, running,standing on one leg等关键提示词。

功能简介

比较玄学的是使用 skip 2 ,据称有比较好的效果。

clip skip 即 clip 跳过层,在 Stable Diffusion 中 Clip 一共有 12 层,通过这个设置可以决定图像在第几层的时候结束生成。

🧩 clip skip 跳过层 - 图3

以下提示词为参考,通过 xyplot clip skip 1~12 出图

  1. 1girl, white hair, animal ears, bangs, black skirt, blue blue eyes, jacket, long sleeves, open mouth, running, short hair, solo, standing, standing on one leg

效果如下:

🧩 clip skip 跳过层 - 图4

太小看不清楚:

🧩 clip skip 跳过层 - 图5

🧩 clip skip 跳过层 - 图6

如何使用

Clip Skip 可以用来有效改善过拟合画面,提升画质,比如我们把 CFG 调高来模拟过拟合的情况:

🧩 clip skip 跳过层 - 图7

然后再通过 clip 跳过来提前结束生成过程:

🧩 clip skip 跳过层 - 图8

参考视频

bilibili