StableDiffusion 是一种基于文本提示生成图像的工具，Dify 已经实现了访问 Stable Diffusion WebUI API 的接口，因此你可以直接在 Dify 中使用它。以下是在 Dify 中集成 Stable Diffusion 的步骤。

1. 初始化本地环境

推荐使用装有较强 GPU 的机器来安装和驱动 Stable Diffusion，但这并不是必须的，你也可以使用 CPU 来生成图像，但速度可能会很慢。

2. 安装并启动 Stable Diffusion WebUI

  1. 从官方仓库克隆 Stable Diffusion WebUI 仓库
  1. git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
  1. 运行命令启动 Stable Diffusion WebUI。

克隆仓库后，切换到仓库目录。根据系统的不同，可能需要使用不同的命令来启动 WebUI。

Windows

  1. cd stable-diffusion-webui
  2. ./webui.bat --api --listen

Linux

  1. cd stable-diffusion-webui
  2. ./webui.sh --api --listen
  1. 准备模型

现在你可以根据终端中显示的地址在浏览器中访问 Stable Diffusion WebUI，但模型还不可用。你需要从 HuggingFace 或其他来源下载模型，并将其放在 Stable Diffusion WebUI 的 models 目录中。

例如，我们使用 pastel-mix 作为模型，使用 git lfs 下载模型并将其放在 stable-diffusion-webui 的 models 目录中。

  1. git clone https://huggingface.co/JamesFlare/pastel-mix
  1. 获取模型名称

现在你可以在模型列表中看到 pastel-mix，但我们仍然需要获取模型名称，访问 http://your_id:port/sdapi/v1/sd-models，你将看到如下的模型名称。

  1. [
  2.     {
  3.         "title": "pastel-mix/pastelmix-better-vae-fp32.ckpt [943a810f75]",
  4.         "model_name": "pastel-mix_pastelmix-better-vae-fp32",
  5.         "hash": "943a810f75",
  6.         "sha256": "943a810f7538b32f9d81dc5adea3792c07219964c8a8734565931fcec90d762d",
  7.         "filename": "/home/takatost/stable-diffusion-webui/models/Stable-diffusion/pastel-mix/pastelmix-better-vae-fp32.ckpt",
  8.         "config": null
  9.     },
  10. ]

model_name 就是我们需要的，这个例子中是 pastel-mix_pastelmix-better-vae-fp32。

3. 在 Dify 集成 Stable Diffusion

在 工具 > StableDiffusion > 去认证 中填写你在之前步骤中获取的认证信息和模型配置。

4. 完成

  • Chatflow / Workflow 应用

Chatflow 和 Workflow 应用均支持添加 Stable Diffusion 工具节点。添加后，需要在节点内的 “输入变量 → 提示词” 内填写变量引用用户输入的提示词，或者是上一节点生成的内容。最后在 “结束” 节点内使用变量引用 Stable Diffusion 输出的图像。

  • Agent 应用

在 Agent 应用内添加 Stable Diffusion 工具，然后在对话框内发送图片描述，调用工具生成 AI 图像。