不知道有没有人想过下载一个chatgpt安装到自己的手机或者笔记本里面？下载chatgpt目前当然是不现实的，想要使用chatgpt只能去openai的官网，或者连接openai的api。但是有的大语言模型（LLM）已经可以下载到本地了。

之前斯坦福的几个博士在meta开源的llama模型的基础上，花了600刀，用从openai的api蒸馏出来的语料微调出了一个叫alpaca的模型，中文是“羊驼”的意思，据说效果能达到GPT-3.5的水平（我个人测试大概是GPT-3的水平）。后来GitHub上又有大神对alpaca进行了优化，做出了alpaca.cpp模型，大小只有4个G，在MacBook Air上用CPU就可以运行，效果堪称惊艳。

如何在自己的笔记本上安装一个大语言模型？ - 图1

安装教程

  1. 安装Git（已经安装了的同学请忽略这一步）

到Git的官网https://git-scm.com/download下载并按照指引安装。

  1. 打开终端（terminal），输入这行代码并回车（是从github上面复制alpaca.cpp这个项目到本地的意思）
  1.                         `git clone https://github.com/antimatter15/alpaca.cpp`

运行完成后，在git的安装路径上找到alpaca.cpp文件夹。（如果忘了git安装在哪，可以在终端输入where git指令并回车，会显示git的安装路径）

  1. 到https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/blob/main/ggml-alpaca-7b-q4.bin这个网站上，点击download下载，然后将下载好的ggml-alpaca-7b-q4.bin文件拖进alpaca.cpp文件夹中。

如何在自己的笔记本上安装一个大语言模型？ - 图2

  1. 回到终端，输入这行指令，等待运行。
  1.                         `cd alpaca.cpp`
  1. 运行完成后，再输入
  1.                         `make chat`
  1. 运行完成后，再输入
  1.                         `./chat`
  1. 这一步运行完成后，就可以在终端里面和alpaca打字聊天了～

如何在自己的笔记本上安装一个大语言模型？ - 图3

本地安装的大模型有什么用？

和alpaca聊几句就会发现，它的智能程度确实离现在的chatgpt有点远，大概和GPT3或者文心一言是差不多的水平。但是这个模型只有4个G，而且不需要显卡，在CPU上就可以运行的很快。理论上每个人的iphone或者笔记本上都可以装一个属于自己的大语言模型，并用自己的数据去不断训练它。

GPT4的水平当然是高，但是很多场景下，对数据安全的需求远远超过了对智能水平的需求。举个例子，如果一家国企想用内部的文档资料训练一个问答机器人，其实对于语言模型的智能程度要求没那么高，alpaca的水平足以，但是出于隐私考虑，这个模型一定是要私有化部署的。

听说现在各大高校的博士们都在学斯坦福，争先恐后地用蒸馏OpenAI的api提取出的数据训练LLM，个人训练自己的LLM的门槛也一定会迅速降低。也许很快会出现一个LLM版的civitai，上面有宅男们用各种动漫“老婆”的语料训练的各种版本的LLM，离电影《她》所描述的未来还会远吗？

《她》里面的人工智能Samantha在同时跟几百个人谈恋爱，男主知道这件事之后非常失望。而下载一个本地部署的LLM，”她”只属于你一个人。心动吗？先下载一个alpaca玩玩吧！

配图来自Midjourney