- ChatGPT
- PaLM-rlhf-pytorch:该项目是在 PaLM 架构之上实现 RLHF(人类反馈的强化学习),它基本上是使用 PaLM 的 ChatGPT。
- OpenChatKit:它提供了一个强大的的开源基础,为各种应用程序创建专用和通用的聊天机器人。该 kit 包含了一个经过指令调优的 200 亿参数语言模型、一个 60 亿参数调节模型和一个涵盖自定义存储库最新响应的可扩展检索系统。OpenChatKit 是在 OIG-43M 训练数据集上训练的,该数据集是 Together、LAION 和 Ontocord.ai 三者的联合
- text-generation-webui:它是一个用于运行 GPT-J 6B、OPT、GALACTICA、LLaMA 和 Pygmalion 等大语言模型的 gradio web UI。该项目旨在成为文本生成领域的强力工具。功能包括使用下拉菜单在不同模型之间切换、提供类似于 OpenAI playground 的笔记本模式、用于对话和角色扮演的聊天模式、为 GPT-4chan 生成漂亮的 HTML 输出等等
- KoboldAI-Client:它是一个基于浏览器的前端,通过多个本地和远程 AI 模型实现 AI 辅助写作。KoboldAI-Client 提供了一系列标准的工具,包括内存、作者注释、世界信息、保存 & 加载、可调节的 AI 设置、格式化选项以及导入现有文字冒险游戏《AI Dungeon》(AI Dungeon是一款基于深度学习的文本冒险游戏,可以让玩家与人工智能(AI)合作创造无限可能的故事。玩家可以选择不同的角色、世界和情节,或者自己创建新的内容。玩家可以输入自己的动作或对话,AI会根据玩家的输入生成其他角色或世界事件的反应。每个冒险都是独一无二和难以预测的。AI Dungeon有网页版、Steam版和iOS移动端应用)的能力。你可以开启 Adventure 模式,也可以玩 AI Dungeon Unleashed 之类的游戏。
- Open-Assistant:它旨在让每一个人都可以访问基于聊天的大语言模型。项目作者希望借此在语言创新方面掀起一场革命,就像 stable diffusion 帮助世界以新的方式创造艺术和图像一样。
- stanford_alpaca:它旨在建立和共享一个指令遵循的 LLaMA 模型。该 repo 包含了用于微调模型的 52k 数据、用于生成数据的代码以及用于微调模型的代码。
- ChatRWKV:它类似于 ChatGPT,但由 RWKV(100% RNN)模型支持,并且是开源的。项目作者表示,RWKV 是目前唯一能在质量和扩展方面媲美 transformers 的 RNN 模型,同时速度更快、节省 VRAM。
- ChatGLM-6B:是由清华技术成果转化的公司智谱 AI 开源、支持中英双语的对话语言模型「ChatGLM-6B」,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
- xmtf:包含了创建论文《Crosslingual Generalization through Multitask Finetuning》中介绍的 BLOOMZ、mT0 和 xP3 的所有组件。其中 BLOOMZ 是一个 1760 亿参数且可开放获取的多语言模型;mT0(这里特指谷歌的 T5X);xP3 是 46 种语言的有监督数据集,带有英语和机器翻译的 prompt