清华ChatGLM2-6B模型发布，推理能力提升42%
清华大学知识工程与数据挖掘实验室（KEG）和数据挖掘小组（THUDM）最新发布了中英双语对话模型ChatGLM2-6B。该模型基于初代版本的开发经验，全面升级了基座模型，并增加许多新特性。
值得一提的是，在中文C-Eval榜单中，ChatGLM2以71.1分位居榜首，碾压GPT-4。而最新版本ChatGLM2-6B以51.7分位列第六。
ChatGLM2-6B升级亮点
更强大的性能
基于FlashAttention技术，研究人员将基座模型的上下文长度由原来的2K扩展到32K，并在对话阶段使用8K的上下文长度训练，允许更多轮次的对话。此外，在混合目标函数、预训练等方面也作出了改进。
评测结果显示，在同尺寸开源模型中具有较强竞争力：相比初代版本，在CEval、BBH等数据集上取得33%~60%不等的性能提升；在GSM8K数据集上甚至达到571%！
更高效的推理
基于Multi-Query Attention技术，ChatGLM2-6B有更高效的推理速度和更低的显存占用。在官方的模型实现下，推理速度相比初代提升了42%，INT4量化下，6G显存支持的对话长度由1K提升到了8K。
更开放的协议
ChatGLM2-6B权重对学术研究完全开放，在获得官方书面许可后也允许商业使用。
仓库地址：https://github.com/THUDM/ChatGLM2-6B
https://www.51cto.com/article/758770.html
京东将推出千亿级别的言犀大规模预训练语言模型，面向多个产业场景
京东云城市大会上海站上，京东集团技术委员会主席、京东云事业部总裁曹鹏介绍了即将推出的言犀大规模预训练语言模型。这是一个新一代模型，其参数达到千亿级别。据称，京东大模型将面向多个场景，包括零售、物流和工业。言犀是“京东版”ChatGPT，其预训练参数达到千亿级、品类覆盖 3000+、人工审核通过率 95%+、生成文字 30 亿 +。
曹鹏还指出，在产业智能时代，需要新一代数字基础设施来支持各种芯片架构，并兼容各种异构基础设施。据了解，京东在2017-2018年开始布局人工智能。早在2020年，京东就发布了言犀平台，正式迈出人工智能商业化的第一步。从技术方面来看，言犀最初从与电商结合紧密的语音、语言类技术出发，到2020年左右在人机对话技术、数字人生成技术上有所积累，并积极布局AIGC和大模型技术。
大模型地址：https://yanxi.jd.com/
https://www.ithome.com/0/702/210.htm
百度推出增强大语言模型“文心一言”3.5版本，新增插件机制
百度在今年3月推出了基于文心大模型3.0打造的百度新一代知识增强大语言模型“文心一言”，并公开邀测。时隔三个多月，该模型的3.5版本取得了效果、功能和性能上的全面提升。据悉，与之前版本相比，3.5版不仅在创作、问答、推理和代码能力上全面升级，安全性也显著提升，并且训练和推理速度都有着大幅提高。
新增插件机制是其中最重要的变化之一。通过插件方式扩增了大模型的能力边界，默认内置插件“百度搜索”使得文心一言具备生成实时准确信息的能力；长文本摘要和问答插件“ChatFile”支持超长文本输入等等。
该团队还采用飞桨最先进的自适应混合并行训练技术及混合精度计算策略，在基础模型训练上进行持续技术创新，并优化数据源及数据分布以加快迭代速度，同时使用多种技术优化场景适配能力，提升模型效果及安全性。
在推理方面，研发团队还通过大规模逻辑数据构建、逻辑知识建模、粗粒度与细粒度语义知识组合以及符号神经网络技术等手段，显著提升了文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。
目前已经有很多应用场景正在积极使用文心一言的能力。例如，在智能编程方面，百度智能编码助手Comate已可根据自然语言的描述，生成对应的代码片段；而当前百度“如流”也已基于文心一言的能力上线了“智能总结”、“智能洞察”、“超级助理”等多个新功能。此外，王海峰表示下一阶段将发布更多优质插件，并开放插件生态给第三方开发者，帮助他们基于文心大模型打造自己的应用。
该团队认为，“凡是要跟语言文字或程序代码打交道的应用场景都可能有文心一言的用武之地”，并且时刻准备着落地千行百业。
https://tech.ifeng.com/c/8QxIiM3HmR9
Databricks以13亿美元收购MosaicML，拓展生成式AI服务
Databricks宣布以约13亿美元收购刚成立一年的生成式人工智能初创公司MosaicML。此举将有助于为企业构建类ChatGPT工具的服务，并与Databricks现有的多云产品相结合，为用户提供生成式AI工具、存储、数据处理和分析等全方位AI相关服务。
Databricks是大数据领域中最火热的公司之一，其主要产品Spark是基于Apache Spark开源大数据框架的统一数据分析平台，在云计算时代引领了数据处理标准。而MosiacML则是一个年轻硅谷公司，旗下主要产品为用于训练、部署大语言模型的生成式AI工具平台。
两者都在推进自己在AIGC领域内所拥有的技术优势，并且均秉持着All in Cloud策略。交易预计将在今年7月31日前完成。
https://36kr.com/p/2319444767261313
AI大模型监管需求不断提高，欧盟AI法案引发全球关注
斯坦福大学AI研究实验室发布的一项研究显示，在22项监管要求中，十个顶尖的AI模型均没有达标。这些模型主要存在版权责任不明确、能源使用报告不均衡、风险缓解方面披露不充分等问题。为此，欧洲议会在6月14日通过了人工智能草案，并计划于2024年生效。该法规旨在确保人工智能技术对用户具有透明性、公平性和安全性。
研究团队建议政策制定者应优先考虑模型的透明度，对基础模型进行开发、使用和性能相关信息的披露来提高整个人工智能生态系统的透明度；而对于模型提供商，则需要改善文档并更好地遵守监管规定。目前Hugging Face是综合得分最高的AI大模型开源社区。
随着越来越多国家开始出台类似法律或政策来约束AI领域内公司行为, 相信未来将会有更加严格及完备化的监管措施被采取，以确保AI技术的透明、公平和安全性。
根据法规的草案规定，高风险的AI在投入使用之前需要承担严格的义务。这些义务包括：- 进行合格评定以验证系统是否符合法律要求
- 在欧盟数据库中注册系统
- 向用户提供有关系统功能、限制和用途的清晰准确的信息
- 确保人为监督和干预系统运行
- 实施技术和组织措施以确保数据质量、安全和隐私
- 建立风险管理体系和上市后监控体系
- 向当局报告所有严重事件或系统故障
http://www.gamelook.com.cn/2023/06/521120
https://36kr.com/p/2319605423899008
谷歌DeepMind CEO Hassabis公布全新的Gemini模型
谷歌DeepMind CEO Hassabis最近宣布，他们正在开发一种名为Gemini的新模型，该模型将结合AlphaGo和大语言模型。开发成本预计达到数千万美元甚至数亿美元。
这个新的AI系统将包含强化学习和树搜索方法，并且具有多模态功能。与之前的人工智能技术相比，其规划和解决问题能力会更加出色。
Gemini是一个处理文本的大语言模型，类似于GPT-4。但是，在集成了AlphaGo中使用过的技术后，它可以提供崭新功能。
谷歌DeepMind在强化学习方面拥有很丰富经验，因此这些经验也将被运用到Gemini中去。除了AlphaGo之外，其他领域技术（如机器人和神经科学）也会整合进来以增强其性能。
虽然目前尚未确定发布时间，但据称Gemini可能在几个月内问世，并给下一代语言模型带来指引。
https://tech.ifeng.com/c/8QxM4PGVeyJ
英伟达与Snowflake合作，为客户提供生成式人工智能技术
英伟达和Snowflake近日宣布将展开合作，在云计算的数据仓库方面进行探索。据悉，这次合作将使得Snowflake的客户可以自行构建、训练和微调适用于自身需求的大型语言模型，并存储在Snowflake的数据云上。
此次合作中，英伟达将为该服务提供动力，并整合其人工智能软件和芯片。相比之前与ServiceNow的标准化服务，每个终端客户都可以创建一个适合自己的模型。这意味着每个客户单独构建、训练和微调模型，并且保证了专有数据安全性。
虽然没有具体说明新功能何时发布，但是该项技术已经引起了业界广泛关注。对于拥有超过8000多个客户的领先供应商来说，这一切无疑会给公司带来更好地发展机遇。
https://finance.sina.com.cn/stock/usstock/c/2023-06-27/doc-imyyssyz0492353.shtml
OpenAI计划推出「超级智能个人工作助理」 ChatGPT
OpenAI最近宣布了将其ChatGPT聊天机器人升级为一款与微软竞争的产品的计划。据悉，这个新的「超级智能个人工作助理」可以凭借内置知识执行各种任务，例如起草电子邮件或文档以及提供业务相关信息。该功能可能会让OpenAI与微软等合作伙伴产生冲突，因为这些公司也希望使用OpenAI的软件来构建人工智能辅助工具。
尽管在今年1月微软已经投资100亿美元参与OpenAI的融资，并持有该公司49%股份，但是根据协议，在收回投资之后，微软只能获得75％利润直到收回投资额。此外，在商业化方面进行更多尝试是OpenAI未来发展战略中重要组成部分。
总体而言，随着ChatGPT被打造成一个全球知名品牌并拓展至更广泛领域，如今看来OpenAI正在寻求进一步扩张和增强其影响力。
若有收获，就点个赞吧
0 人点赞
