前几天写了全网最简单Chilloutmix生成照片级人像教程（无需显卡），里面介绍了Chilloutmix和LoRa模型，而这两个模型分别代表什么含义，和Stable Diffusion又是什么关系呢？我在网上找了一些资料梳理了一下。
什么是微调模型？
微调是机器学习中的常用技术。它采用在宽数据集上训练的模型，并在窄数据集上训练更多。经过微调的模型将偏向于生成与训练集相似的图像，同时保持原始模型的多功能性。Stable Diffusion通用性很好，但并不是什么都擅长。例如，它可以生成带有prompt “anime”的动漫风格图像。但是生成动漫某流派的图像可能有些困难。使用该流派的图像微调模型，而不是修改prompts，可以生成更好的效果。
两种主要的图像微调方法是 (1) Additional Trainning和 (2) Dreambooth。它们都从基本模型开始，例如 Stable Diffusion v1.4或v1.5。Additional Trainning是通过使用额外数据集训练基础模型来实现的。例如，可以使用额外的老爷车数据集训练 Stable Diffusion v1.5，可以使生成的汽车图像偏向老爷车的造型。Dreambooth最初由谷歌开发，是一种将自定义主题注入文本到图像模型的技术。你可以拍几张自己的照片，然后使用 Dreambooth 将自己放入模型中。（风靡一时的Lensa用的就是Dreambooth技术）
有四种类型的文件可以称为“模型”，包括checkpoint、textual inversions、LoRa、hypernetworks。其中checkpoint是真正的模型，包含生成图像需要的一切，一般2-7GB。其他三类可以理解为补丁文件，一般几百MB，使生成的图像输出固定的风格，需要搭配checkpoint一起使用。
Checkpoint模型推荐
Stable Diffusion V1.4
由 Stability AI 于 2022 年 8 月发布的 v1.4 模型被认为是第一个公开可用的Stable Diffusion模型。
地址：https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
Stable Diffusion V1.5
Stable Diffusion v1.5 于 2022 年 10 月由 Stability AI 的合作伙伴 Runway ML 发布。该模型基于 v1.2 并经过进一步训练。
地址：https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt
F222
F222最初是为生成porn而训练的，但在生成写实风格的照片方面有奇效。
地址：https://huggingface.co/acheong08/f222/blob/main/f222.ckpt
Chilloutmix
Chilloutmix是一个生成写实照片图像的模型，用了许多东亚女性做训练，可以理解为F222的东亚版本。
地址：https://civitai.com/models/6424/chilloutmix
Anything V3
Anything V3适合生成二次元风格的图像。
地址：https://huggingface.co/Linaqruf/anything-v3.0
Open Journey
Open Journey是使用Midjourney V4生成的图像进行微调的模型。Triggering keyword: mdjrny-v4 style
地址：https://huggingface.co/prompthero/openjourney
Waifu-Diffusion
Waifu-Diffusion适合生成日本动漫风格的图像。
地址：https://huggingface.co/hakurei/waifu-diffusion
Robo Diffusion
Robo Diffusion会将你生成的图像变成机器人风格。
地址：https://huggingface.co/nousr/robo-diffusion
Mo-di-diffusion
Mo-di-diffusion适合生成皮克斯风格的图像
地址：https://huggingface.co/nitrosocke/mo-di-diffusion
现在训练微调模型的成本很低，huggingface和civitai上每天都有源源不断的新模型冒出来，祝大家玩的开心。Have fun～
若有收获，就点个赞吧
0 人点赞
