SERVICE PHONE

029-85798995

雷竞技app下载raybet

雷竞技下载app官网.开源大模型Llama 3王者归来:最大底牌4000

发布时间2024-05-18 07:34:40 来源:雷竞技app下载raybet 作者:雷竞技官网raybetapp点击量:3
雷竞技下载app官网

  本周四,AI 领域迎来重大消息,Meta 正式发布了人们等待已久的开源大模型 Llama 3。

  与此同时,扎克伯格宣布:基于最新的 Llama 3 模型,Meta 的 AI 助手现在已经覆盖 Instagram、WhatsApp、Facebook 等全系应用,并单独开启了网站。另外还有一个图像生成器,可根据自然语言提示词生成图片。

  同日,亚马逊云科技也宣布,Meta Llama 3 基础模型已可通过 Amazon SageMaker JumpStart来部署和推理运行。亚马逊云科技官方博客详细介绍了如何在 SageMaker Studio 中使用 Llama 3 模型(见文后链接),感兴趣的读者可以详细了解。

  图像生成器带来的玩法更加有趣,Imagine 功能带来了从文本实时创建图像。这一功能的测试版从今天开始在美国的 WhatsApp 和 Meta AI 网络体验上推出。

  Meta 表示,Llama 3 在多个关键的基准测试中性能优于业界先进同类模型,其在代码生成等任务上实现了全面领先,能够进行复杂的推理,可以更遵循指令,能够可视化想法并解决很多微妙的问题。

  刚刚发布的 8B 和 70B 版本 Llama 3 模型已用于 Meta AI 助手,同时也面向开发者进行了开源,包括预训练和微调版本:

  体量更大的多模态版本将在未来几个月内推出。Meta 称,目前正在开发的最大模型是 400B+ 参数。

  Meta 研究科学家 Aston Zhang 在大模型发布后表示,在 Llama 3 的研发过程中,研究团队一起应对了预训练和人类数据、预训练扩展、长上下文、后训练和评估方面的诸多挑战。这是一段艰难而又激动人心的旅程。

  更加激动人心的内容即将到来:Meta 的研究者现在准备推出系列视频,帮助人们深入了解 Llama 3 背后的技术。此外 Llama 3 的相关研究论文也将放出。

  最新发布的 8B 和 70B 参数的 Llama 3 模型可以说是 Llama 2 的重大飞跃,由于预训练和后训练(Post-training)的改进,本次发布的预训练和指令微调模型是当今 8B 和 70B 参数规模中的最佳模型。与此同时,后训练过程的改进大大降低了模型出错率,进一步改善了一致性,并增加了模型响应的多样性。

  此外,Meta 还开发了一套新的高质量人类评估数据集。该评估集包含 1800 个提示,涵盖 12 个关键用例:寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色、开放式问答、推理、重写和总结。为了防止 Llama 3 在此评估集上出现过度拟合,Meta 表示他们自己的团队也无法访问该数据集。下图显示了针对 Claude Sonnet、Mistral Medium 和 GPT-3.5 对这些类别和提示进行人工评估的汇总结果。

  为了开发出出色的语言模型,Meta 认为创新、扩展和优化是非常重要的。因而在 Llama 3 的研发中 Meta 采用了这一设计理念,重点关注四个关键要素:模型架构、预训练数据、扩展预训练和指令微调。

  Llama 3 使用具有 128K token 词汇表的 tokenizer,可以更有效地对语言进行编码,从而显著提高模型性能;

  为了提高 Llama 3 模型的推理效率,研究团队在 8B 和 70B 大小的模型上采用了分组查询注意力 (GQA);

  为了训练最好的语言模型,管理大型、高质量的训练数据集至关重要。Meta 在预训练数据上投入了大量成本。Llama 3 使用超过 15T 的 token 进行了预训练,这些 token 都是从公开来源收集的。总体上讲,Llama 3 的训练数据集是 Llama 2 使用的数据集的七倍多,并且包含四倍多的代码。为了为即将到来的多语言用例做好准备,超过 5% 的 Llama 3 预训练数据集由涵盖 30 多种语言的高质量非英语数据组成。但是,Llama 3 在这些语言上的性能水平预计不会与英语相同。

  为了确保 Llama 3 接受最高质量数据的训练,研究团队开发了一系列数据过滤 pipeline,包括使用启发式过滤器(filter)、NSFW 过滤器、语义重复数据删除方法和文本分类器来预测数据质量。

  研究团队发现前几代 Llama 非常擅长识别高质量数据,因此 Meta 使用 Llama 2 为给 Llama 3 提供支持的文本质量分类器生成训练数据。

  研究团队还进行了广泛的实验,以评估出在最终预训练数据集中不同来源数据的最佳混合方式,最终确保 Llama 3 在各种用例(包括日常问题、STEM、编码、历史知识等)中表现良好。

  具体来说,Meta 为下游基准评估制定了一系列详细的扩展法则。这些扩展法则使 Meta 能够选择最佳的数据组合,并就如何最好地使用训练计算做出明智的决策。

  重要的是,扩展法则使 Meta 能够在实际训练模型之前预测最大模型在关键任务上的性能(例如,在 HumanEval 基准上评估的代码生成性能)。这有助于确保最终模型在各种用例和功能上都具有强大的性能。

  在 Llama 3 的开发过程中,Meta 对扩展行为进行了一些新的观察。例如,虽然 8B 参数模型的 Chinchilla 最佳训练计算量对应约 200B token,但 Meta 发现即使在模型接受了两个数量级以上的数据训练之后,模型性能仍在继续提高。

  在对多达 15T token 进行训练后,8B 和 70B 参数的模型都继续以对数线性的方式提升性能。较大的模型可以用较少的训练计算来匹配较小模型的性能,但较小的模型通常是首选,因为它们在推理过程中效率更高。

  Meta 透露,它们使用自定义训练库、Meta 的超级集群和生产集群预训练 Llama3。微调、注释和评估在第三方云计算上进行。

  为了训练最大的 Llama 3 模型,Meta 结合了三种类型的并行化:数据并行化、模型并行化和管道并行化。

  当同时在 16K GPU 上进行训练时,Meta 最高可实现每个 GPU 超过 400 TFLOPS 的计算利用率。Llama3 是在两个定制的 24K GPU 集群上进行了训练。为了最大限度地延长 GPU 的正常运行时间,Meta 开发了一种先进的新训练堆栈,可以自动执行错误检测、处理和维护。Meta 还极大地改进了硬件可靠性和静默数据损坏检测机制,并且开发了新的可扩展存储系统,以减少检查点和回滚的开销。

  为了充分释放预训练模型在聊天场景中的潜力,Meta 还对指令微调方法进行了创新。Llama 3 后训练方法用的是有监督微调(SFT)、拒绝采样、近端策略优化(PPO)和直接策略优化(DPO)的组合。SFT 中使用的 prompt 质量以及 PPO 和 DPO 中使用的偏好排序对模型对齐有着巨大的影响。

  通过 PPO 和 DPO 从偏好排序中学习,也极大地提高了 Llama 3 在推理和编码任务上的性能。Meta 发现,如果你向模型提出一个它难以回答的推理问题,该模型有时会产生正确的推理轨迹:模型知道如何产生正确的答案,但不知道如何选择它。对偏好排序的训练使模型能够学习如何选择正确答案。

  在此版本中,Meta 提供了新的信任与安全工具,包括 Llama Guard 2 和 Cybersec Eval 2 的更新组件,并引入了 Code Shield—— 一种过滤大模型生成的不安全代码的防护栏。

  从快速工程到将 Llama 3 与 LangChain 结合使用,Meta 提供了全面的入门指南,指导开发者进行大规模部署。

  Meta 采用了一种新的、系统级的方法来负责任地开发和部署 Llama,将 Llama 模型视为更广泛系统的一部分,让开发者掌握主导权。Llama 模型将作为系统的基础部分,由开发人员根据其独特的最终目标进行设计。

  指令微调在确保模型安全性方面也发挥了重要作用。经过内部和外部的共同努力,Meta 对经过指令微调的模型进行了安全红队(测试)。

  「红队」方法利用人类专家和自动化方法生成对抗性提示,试图诱发有问题的反应。例如,采用综合测试来评估与化学、生物、网络安全和其他风险领域有关的滥用风险。所有这些工作都是反复进行的,并用于对发布的模型进行安全微调。

  Llama Guard 模型旨在为及时响应安全奠定基础,并可根据应用需求轻松微调以创建新的分类标准。作为起点,新版 Llama Guard 2 采用了最近公布的 MLCommons 分类标准。此外,CyberSecEval 2 在其前身的基础上进行了扩展,增加了对 LLM 允许滥用其代码解释器的倾向、攻击性网络安全能力以及对提示注入攻击的易感性的测量。最后,Meta 将推出代码盾(Code Shield),它增加了对 LLM 生成的不安全代码进行推理时过滤的支持。这可以降低不安全代码建议、代码解释器滥用预防和安全命令执行方面的风险。

  随着生成式人工智能领域的快速发展,开源将是将生态系统整合在一起并减少这些潜在危害的重要途径。

  为此,Meta 持续更新《负责任使用指南》(RUG),该指南为负责任地使用 LLM 进行开发提供了全面指导。比如像指南中所概述的那样,所有输入和输出都应根据适合应用的内容指南进行检查和过滤。此外,许多云服务提供商都提供了用于负责任部署的内容审核 API 和其他工具,开发人员也被建议考虑使用这些选项。

  在 Llama Recipes()中,介绍了有关如何利用所有这些功能的示例,其中包含所有的开放源代码,可用于从微调、部署到模型评估的所有工作。

  Meta 表示, 「最大的 Llama 3」参数超过 400B,虽然这些机型仍在训练中,但在接下来的几个月中也将陆续发布,新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。

  Llama 3 还未到来的 400B+ 版本会有多强?它一旦发布是不是意味着开源社区就将迎来 GPT-4 级大模型?