前言
2022 年末和 2023 年初,DIffusion + ChatGPT 这两个名词不断地在我的朋友圈和信息流中出现,占据着我注意力的焦点,DIffusion 和 ChatGPT 分别代表了 AI 领域的两个重要方向,一个是图形,一个是自然语言处理。在数科的业务中 AIGC(AI Generated Content
)也开始成为一个重要的业务方向,因此了解一下相关技术进展是非常有必要的。
DiffusionBee
关于 Stable Diffusion 是什么相信不用再赘述,可简单理解为通过 AI 生成图像的模型。网上有比较多的站点可以体验,比如 NovelAI,Midjourney 等,Mac 用户想要体验的话最简单的可以下载一个 DiffusionBee 客户端,生成图像有多种方式,最简单的是 Text2Img 文字生成和 Img2Img 图像生成。
Stable Diffusion WebUI
然而不管是 NovelAI 也好,DiffusionBee 也好,他们要么固定模型,要么需要收费,且无法满足更加自定义的需求。另外如果想要将生成的过程和结果都留存在本地的话就不太合适,比如你可能在生成一些敏感图片的时候不希望留痕。
如果想要体验更多自定义的模型,调教更多的参数,添加更多风格化插件,或者调教自己的模型的话本地化搭建生成服务是比较合适的方案,这就是本文要部署的 stable-diffusion-webui 客户端,从名字可以看出来它的 UI 基于 web。
如果你家里有 Windows 以及一块 NVIDIA 的独立显卡的话,安装过程会相对比较容易,运行起来也会比较快,毕竟显卡(GPU)就是生产力,越好的显卡运行越快,据说 4090 只需 1.5 s。如果只有 Mac 或者是 AMD 的显卡的话那么只能使用 CPU 进行运算,会比较慢且对机器性能有要求。鉴于大部分同学其实没有 DIY 机器的习惯这里以我自己的 M1 机器为例进行部署记录一下部署过程。
部署步骤
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Installation-on-Apple-Silicon
1. 安装 HomeBrew 并更新
这里如果安装过 homebrew
可以忽略。
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
2. 安装依赖库
要求 python 一定是 3.10 版本。
brew install cmake protobuf rust python@3.10 git wget
3. clone 仓库
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
4. 下载模型
这里提供一些模型链接
- novelAI https://huggingface.co/acheong08/secretAI/resolve/main/stableckpt/animefull-final-pruned/model.ckpt
- stable_diffusion https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
- waifu_diffusion https://huggingface.co/hakurei/waifu-diffusion-v1-3/r
5. 将模型放到模型目录下
将拿到的 ckpt 文件放到<font style="color:rgb(36, 41, 47);">stable-diffusion-webui/models/Stable-diffusion</font>
目录下,如下:
6. 运行启动命令
这里第一次启动会下载并启动一个 python 虚拟环境:
$ cd stable-diffusion-webui
$ sh webui.sh --skip-torch-cuda-test --no-half --use-cpu all
这里因为其实 Mac 使用不了 GPU 加速所以需要加上 --skip-torch-cuda-test
flag,否则会报错。如果一切顺利的话部署完成,点击本地地址即可访问 webui。
然后就可以自己尝试输入 Prompt 生成图片了。
推荐一些 Prompt
Prompt 有点咒语的意思,有自己的一套生成规则,可以参考一些网站寻找自己想要的的 Prompt。下面是尝试的一些效果可以尝试使用,AI 生成具有随机性,有时效果不太好可以多试几次或者调整参数,注意长宽不宜设置过大。
Prompt | 生成 |
---|---|
Closeup face portrait of a black girl wearing crown of flowers, smooth soft skin, big dreamy eyes, beautiful intricate colored hair, symmetrical, anime wide eyes, soft lighting, detailed face, by makoto shinkai, stanley artgerm lau, wlop, rossdraws, concept art, digital painting, looking into camera | |
Tiny cute isometric temple, soft smooth lighting, soft colors, soft colors, 100mm lens, 3d blender render, trending on polycount, modular constructivism, blue blackground, physically based rendering, centered | |
Tiny cute isometric living room in a cutaway box, soft smooth lighting, soft colors, purple and blue color scheme, soft colors, 100mm lens, 3d blender render | |
Tiny cute and adorable piglet adventurer dressed in a warm overcoat with survival gear on a winters day, jean - baptiste monge , anthropomorphic |