中国天文表现好==

谷歌Gemini - 图1

超越CPT-4, Google的Gemini来了! (最详尽的Gemini 解读

谷歌Gemini - 图2

王思若

AI for Life Science.

关注他

14 人赞同了该文章 就在刚刚，打算刷一下Twitter去睡觉，猛然发现Google没有任何预警的发布了Gemini，毕竟前几天科技媒体 The Information 传出来小道消息称，谷歌因为Gemini 无法可靠的处理‘非英语’任务而被推迟发布。 但就在刚刚，Google CEO 皮柴(Pichai)发布推文正式发布Gemini1.0，所有人都等这一刻等着太久了，毕竟从今年4月开始，谷歌合并DeepMind和Google Brain就是为了一心开发这个将足以对标GPT-4的多模态模型，双子星Gemini。

谷歌Gemini - 图3

之前我曾发文称，这次Google压上了全部身家在Gemini上，在6月CEO Hassabis就发文称：Gemini系统将比ChatGPT背后系统更加强大，我们将迎接大模型的下一个时代，在Gemini面前，如今的聊天机器人将微不足道。 好奇心拉满了，我们就一起看看这次Gemini 1.0 给我们带来什么惊喜吧。
 Gemini 是 Google最大、能力最强的人工智能模型，Gemini分为三种规模：Ultra、Pro和Nano，适用于从大型数据中心到移动设备的各种场景。目前，Bard已经集成了Gemini Pro，提升了其在高级推理、规划、理解等方面的能力。

谷歌Gemini - 图4

三种不同尺寸的模型，不同的拓展方式。简单理解，Gemini Ultra 是用来刷榜的，Gemini Pro 是日常使用的，Gemini Nano是为了进行嵌入到移动设备，让大模型成为日常生活的小助手的。 ## 一、Gemini Ultra 对于最强大的模型Gemini Ultra，Gemini Ultra 的性能在大型语言模型 (LLM) 研发中使用的 32 个广泛使用的学术基准中的 30** 个上超过了当前最先进的GPT-4的结果，其中包括 MMLU（大规模多任务语言理解）（衡量大型 AI 模型的主要领先标准之一）和 GSM8K（衡量小学数学推理）**。 谷歌Gemini - 图5 Gemini Ultra 的得分高达 90.0%，是第一个在MMLU（大规模多任务语言理解）上超越人类专家的模型，该数据集结合了数学、物理、历史、法律、医学和伦理学等 57 个科目来测试大模型知识和解决问题的能力。

Gemini 能够利用其推理能力在回答难题之前更仔细地思考。

Gemini 可以理解、解释和生成世界上最流行的编程语言（如 Python、Java、C++ 和 Go）的高质量代码。使用 Gemini 的专门版本，创建了更先进的代码生成系统AlphaCode 2，它擅长解决超出编码范围、涉及复杂数学和理论计算机科学的竞争性编程问题。 当在与原始 AlphaCode 相同的平台上进行评估时，AlphaCode 2 显示出巨大的改进，解决的问题数量几乎是原来的两倍，估计它的表现优于 85% 的竞赛参与者，而 AlphaCode 的这一比例接近 50%。程序员表示后背一凉~

那多模态能力呢？

Gemini Ultra 的性能优于以前最先进的模型，无需从图像中提取文本以进行进一步处理的对象字符识别 (OCR) 系统的帮助。

谷歌Gemini - 图6

并且更加有意思的是，不同于现在大家把各种专有模态的大模型通过‘胶水(各种对齐策略）’杂糅在一起，Gemini从一开始就基于多模态进行了预训练，Gemini的设计初衷是作为一种本质上的多模态模型，可以从一开始就同时处理和理解包括文本、代码、音频、图像和视频在内的不同类型的信息。
 Gemini 1.0 复杂的多模式推理功能可以帮助理解复杂的书面和视觉信息。这使得它在发现大量数据中难以辨别的知识方面具有独特的能力。
Gemini Ultra目前正在完成广泛的信任和安全检查，包括由受信任的外部方进行红队检查，并在广泛使用之前使用微调和基于人类反馈的强化学习 (RLHF) 进一步完善模型。Google将在明年初向开发人员和企业客户推出Gemini Ultra。

二、Gemini Pro和 GeminiNano

Google自己的对话模型Bard 已经接入了Gemini Pro，Gemini 分两个阶段向 Bard 推出：从今天开始，Bard 将使用经过专门调整的英语版 Gemini Pro 进行更高级的推理、规划、理解等。明年初，将推出 Bard Advanced版本，基于更强大的Gemini Ultra模型。 此外，Gemini 也引入谷歌Pixel手机(谷歌旗下的手机)。Pixel 8 Pro 将是第一款运行 Gemini Nano 的智能手机。

三、Gemini 模型

Google给出了长达60页关于Gemini的技术报告，但确实没写啥具体细节，Google标注自己等模型多模态能力被真正探索出来的时候，再去提供更多的细节。

谷歌Gemini - 图7

谷歌Gemini - 图8

  • Gemini Ultra：最强大的模型，设计用于复杂任务，在TPU加速器上可高效服务。
  • Gemini Pro：在成本和延迟方面进行了优化，该模型在广泛的任务中提供显著性能，展示出强大的推理和多模态能力。
  • Gemini Nano：最高效的设备上模型，有两个版本（1.8B和3.25B参数），适用于低内存和高内存设备。它通过从更大的模型中提取精华训练，并以4位量化部署。
Gemini模型的训练数据集既多模态又多语言。前期训练数据集使用来自网络文档、书籍和代码的数据，包括图像、音频和视频数据。 谷歌使用SentencePiece分词器进行训练，并发现在整个训练语料库的大样本上训练分词器可以改善推断出的词汇表，进而提高模型性能。例如，Gemini模型能够高效地分词非拉丁文字，这反过来又可以提高模型质量以及训练和推理速度。 训练过程中，谷歌对所有数据集应用质量过滤器，既使用启发式规则，也使用基于模型的分类器。还进行了安全过滤以去除有害内容。最终的数据混合物和权重是通过在较小模型上进行消融实验确定的。

在训练过程中，谷歌分阶段调整数据配比，增加训练后期与域相关数据的权重。谷歌发现数据质量对于高性能模型至关重要，并认为在寻找预训练的最佳数据集分布方面仍有许多有趣的问题。

( 这些训练大模型心照不宣的思路也被说出来了，hhh~
 大家赶快去Bard上看看Gemini的能力吧，https://bard.google.com/ 或许，真如Google CEO Hassabis所说，在Gemini面前，如今所有的聊天机器人都微不足道。
推荐阅读：（发现标题中GPT拼写成了CPT，更正） 谷歌创始人布林重返职场，投入研发AI杀手锏！预计下半年推出下一代通用模型『Gemini』，和OpenAI的终局之战！

<font style="color:rgb(25, 27, 31);background-color:rgb(248, 248, 250);">https://deepmind.google/technologies/gemini/#introduction</font>

发布于 2023-12-07 22:51・IP 属地北京

谷歌 (Google)