关于

Llama 3 是 Meta 最先进的开源大语言模型的下一代版本，目前提供两种大小的参数量，分别为 8B 和 70B 参数。

Llama 3 70B 在处理多种类型的复杂任务方面，相比 8B 版本有显著的提高。

此外，70B 版本的模型在所有测试中都比 8B 版本得分高，意味着它在理解语言细节、上下文和执行复杂任务（如翻译、对话生成和代码编写）方面更为出色。

Meta 也测试了 Llama 3 在真实世界场景中的性能。他们专门开发了一个新的高质量人类评估集，该评估集包含 1800 个提示，涵盖 12 种关键用例（征求建议、头脑风暴、分类、封闭式问题解答、编码、创意写作、提取、角色 / 人物角色、开放式问题解答、推理、改写和总结）。

在与 Claude Sonnet、Mistral Medium 和 GPT-3.5 的对比中， Llama 3 同样有着更好的表现。

在模型架构方面，Llama 3 选择了一个相对标准的纯解码器 Transformer 架构。与 Llama 2 相比，做了几个关键的改进。Llama 3 使用一个包含 128K tokens 的分词器，可以更有效地编码语言，从而显著提高模型性能。