直接在浏览器里面运行的大语言模型,不需要部署直接调用webGPU进行运算,已经把模型部署成本拉到最低了。 开源项目这周给了我们太多惊喜了。 目前只有M1或者M2芯片的Mac可以运行,许需要下载谷歌开发版本。 这里下载谷歌浏览器开发者版本:https://google.com/chrome/canary/ 用开发者版本的谷歌打开这个页面体验:https://mlc.ai/web-llm/#chat-demo… 他们还开发了在浏览器上运行的Stable Diffusion,也是类似的原理调用WebGPU运算,限制同上面一样。 这里体验:https://mlc.ai/web-stable-diffusion/#text-to-image-generation-demo

    https://twitter.com/HongyiJin258/status/1647062309960028160