原文链接 https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini?tab=readme-ov-file
项目介绍 | Info
- 将 Google Gemini 引入到 ComfyUI 中,现在你可以用它为你生成提示词、描述图像,也可与它畅聊人生
- 目前 Gemini API 免费开放,你可以在这里申请一个自己的 API Key:Gemini API 申请
- 版本:V2.1 新增上下文聊天节点(相当于聊天机器人)💬 ,修复 Deadline of 60.0s bug
详细说明 | Features
- Gemini 目前提供 2 种模型: - Gemini-pro: 文本模型 - Genimi-pro-vision: 文本 + 图像模型
- 2 类节点: - 隐式 API KEY:将 Gemini_API_Key 设置为了环境变量,更安全,方便分享工作流(不会外泄 API KEY)㊙️Gemini_Zho:同时支持两种模型,其中 Genimi-pro-vision 可接受图像作为输入㊙️Gemini_Vsion_ImgURL_Zho:Genimi-pro-vision 模型,接受图像链接作为输入💬Gemini_Chat_Zho:Genimi-pro 模型,支持上下文窗口,聊天机器人(Genimi-pro-vision 本身还未支持上下文功能) - 显式API KEY:直接在节点中输入 Gemini_API_Key,仅供个人私密使用,请勿将包含 API KEY 的工作流分享出去✨Gemini_API_Zho:同时支持两种模型,其中 Genimi-pro-vision 可接受图像作为输入✨Gemini_API_Vsion_ImgURL_Zho:Genimi-pro-vision 模型,接受图像链接作为输入💬Gemini_API_Chat_Zho::Genimi-pro 模型,支持上下文窗口,聊天机器人(Genimi-pro-vision 本身还未支持上下文功能)
- 辅助节点: - ✨DisplayText_Zho:显示文本 - ✨ConcatText_Zho:使用 “,” 连接文本
参数说明 | Parameters
- image(非必要):选择 Gemini-pro 时无需接入图像,选择 Genimi-pro-vision 时需要接入图像
- prompt:提示词
- model_name:模型选择,Gemini-pro 或 Genimi-pro-vision
- stream:流式传输响应
- api_key:输入 Gemini_API_Key (仅在显式节点上有)
使用方法 | How to use
- 首先需要申请一个自己的 Gemini_API_Key:Gemini API 申请
- 选择隐式节点㊙️(推荐):将你的 Gemini_API_Key 添加到 config.json 文件中,运行时会自动加载
- 选择显示节点✨:直接将 Gemini_API_Key 输入到节点的 api_key 中(注意:请勿将包含此节点的工作流分享出去,以免泄露你的 API Key)
- 使用注意:本地使用请确保你可以有效连接到 Google Gemini 的服务,推荐使用 Colab 或 Kaggle(无连接问题)
安装 | Install
- 推荐使用管理器 ComfyUI Manager 安装
- 手动安装: 1. cd custom_nodes 2. git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini.git 3. cd custom_nodes/ComfyUI-Gemini 4. pip install -r requirements.txt 5. 重启 ComfyUI
工作流 | Workflow
V2.0 工作流(隐式)(V1.1工作流依旧可用)
V1.1 工作流(隐式)
更新日志 | Changelog
20231229- V2.1版:修复 Deadline of 60.0s bug,方法来自官方:google/generative-ai-python#117
- V2.0版:新增上下文聊天节点,相当于聊天机器人 - 💬Gemini_Chat_Zho(隐式) - 💬Gemini_API_Chat_Zho(显示)
- V1.1版:修改 API KEY 的加载方式为自动添加 config.json ,将 API KEY 写入即可
- 已登陆 manager 不用手动安装了
- 实现 Genimi-pro-vision 模型调用,支持图像或图像链接输入
- 增加隐式节点,更加安全
- 增加辅助节点
- 创建 ComfyUI Gemini 项目,实现 Gemini-pro 模型调用