2023.07.19发布
Llama 2：这是Llama 1的升级版本，训练数据源自新的公开可用数据。比起前一代，Llama 2的预训练语料库增大了40%，模型的上下文长度也增加了一倍，并且采用了分组查询注意力机制（Ainslie等人，2023年）。Meta将发布参数规模为70亿，130亿和700亿的Llama 2变体。另外，虽然在这篇声明中我们提及了已经训练了340亿参数的模型，但目前并未公开发布。 Llama 2-Chat：这是Llama 2的微调版本，专门针对对话场景进行优化。Meta也将发布参数规模为70亿，130亿和700亿的Llama 2-Chat模型变体。 此次 Meta 发布的 Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。此外还训练了 340 亿参数变体，但并没有发布，只在技术报告中提到了。
若有收获，就点个赞吧
0 人点赞
