- 百川智能发布130亿参数的大语言模型,完全开源免费可用 ">百川智能发布130亿参数的大语言模型,完全开源免费可用
- 李飞飞团队发布具身智能最新成果:VoxPoser大模型实现自然语言指令转化
- 微软和北卡罗来纳大学开发出跨多个领域无缝生成高质量内容的生成模型CoDi">微软和北卡罗来纳大学开发出跨多个领域无缝生成高质量内容的生成模型CoDi
- 姜广智:国内80余个大模型北京约占一半 将推出首期不低于4000万元算力券补贴">姜广智:国内80余个大模型北京约占一半 将推出首期不低于4000万元算力券补贴
- 腾讯AI绝艺在日本麻将天凤平台创造新纪录,刷新AI在麻将领域的最佳成绩">腾讯AI绝艺在日本麻将天凤平台创造新纪录,刷新AI在麻将领域的最佳成绩
- 1000万张照片训练AI模型,发现水下导航新方法">1000万张照片训练AI模型,发现水下导航新方法
- OpenAI核心员工组团叛逃谷歌 抱怨Altman不懂行">OpenAI核心员工组团叛逃谷歌 抱怨Altman不懂行
- 欧洲电力市场的不稳定性和复杂性:自动化交易的崛起">欧洲电力市场的不稳定性和复杂性:自动化交易的崛起
- 电商平台Dukaan引入AI后解雇90%员工">电商平台Dukaan引入AI后解雇90%员工
- GPT-4模型架构等关键信息遭泄露
百川智能发布130亿参数的大语言模型,完全开源免费可用
百川智能发布了参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。这是百川智能发布的第二款通用大语言模型。据介绍,Baichuan-13B中英文大模型集高性能、完全开源、免费可商用等诸多优势于一身,是目前所有33B以下尺寸开源模型中效果最好的可商用大语言模型。百川智能表示,未来大模型生态闭源与开源并存已是行业共识。中国急需优质开源可商用大模型补齐相关领域的空白,与开发者和企业共同推动中国人工智能应用的创新生态发展。 开源地址: Hugging Face: 预训练模型:https://huggingface.co/baichuan-inc/Baichuan-13B-Base 对话模型:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat Github: https://github.com/baichuan-inc/Baichuan-13B Model Scope: 预训练模型:https://modelscope.cn/models/baichuan-inc/Baichuan-13B-Base/ 对话模型:https://modelscope.cn/models/baichuan-inc/Baichuan-13B-Chat/李飞飞团队发布具身智能最新成果:VoxPoser大模型实现自然语言指令转化
李飞飞领导的团队最近发布了最新的具身智能成果:他们成功将大型模型应用于机器人,使其能够将复杂指令转化为具体的行动计划。人们可以用自然语言随意地给机器人下达指令,而机器人无需额外的数据和训练。这一系统被命名为VoxPoser,与传统方法相比,它不需要进行额外的预训练,而是通过大型模型指导机器人与环境进行交互,从而解决了机器人训练数据稀缺的问题。
https://finance.sina.com.cn/stock/hkstock/marketalerts/2023-07-11/doc-imzahnsy1011849.shtml
微软和北卡罗来纳大学开发出跨多个领域无缝生成高质量内容的生成模型CoDi
微软和北卡罗来纳大学的研究人员开发了一种名为CoDi的生成模型,能够跨多个领域无缝生成高质量内容。CoDi是微软i-Code项目的一部分,该项目旨在推进多模态人工智能能力的发展。CoDi可以为残障人士提供更沉浸、更易访问的计算体验,并为定制化学习工具提供全面互动的学习环境。它还可以改变内容生成和环境计算领域,简化内容创作流程并减轻创作者的负担。研究人员的工作展示了打造更加身临其境、互联的人类人工智能未来的潜力。https://www.chinaz.com/2023/0711/1542156.shtml
微软 CoDi 模型包含演示和代码的项目页面位于:codi-gen.github.io。姜广智:国内80余个大模型北京约占一半 将推出首期不低于4000万元算力券补贴
北京市经信局党组书记、局长姜广智接受《科创板日报》记者专访时表示,北京市经信局将按季度迭代推出大模型应用成果,形成一批人工智能与经济社会发展深度融合的典型案例,并正在筹划通过算力券等形式支持模型伙伴和模型观察员,首期预计支持不低于4000万元算力券,补贴到模型伙伴企业。北京市经信局将加速标杆工程落地产业,推进高级别自动驾驶示范区3.0、互联网3.0示范区建设,支持北京国际大数据交易所提升能级;推动数字医疗、数字社区工程创新,推动人工智能大模型技术研发和应用落地。北京市经信局将持续优化数字营商环境,加强数字经济产业园区统筹规划,完善标杆企业遴选服务机制,向国家争取形成一批“绿灯”投资案例。https://finance.sina.com.cn/jjxw/2023-07-11/doc-imzahnsv1145608.shtml
腾讯AI绝艺在日本麻将天凤平台创造新纪录,刷新AI在麻将领域的最佳成绩
腾讯AI绝艺在日本麻将天凤平台特上房达到稳定段位10.68段,刷新了AI在麻将领域取得的最好成绩。这个成绩是通过采用新型策略优化算法ACH和高效的非完美搜索方法实现的。训练麻将AI的目的是让AI更好地理解人类的世界,以解决真实世界的复杂问题,如金融交易、自动驾驶、交通物流和拍卖系统等。http://stock.10jqka.com.cn/hks/20230711/c648754753.shtml
1000万张照片训练AI模型,发现水下导航新方法
科学家们近日发现了一种在没有定位系统的情况下,在水下导航的方法。虽然北斗、GPS 等卫星系统可以精准定位地表位置,但在水下却无能为力。这是因为无线电信号在水下非常微弱和不稳定。因此,伊利诺伊大学厄巴纳-香槟分校的科学家们使用具有特殊光学元件的水下相机在多个地点拍摄了大约 1000 万张照片,并开发了人工智能算法,可以在最深 300 米以上进行水下定位,识别精度在 40-50 公里。这种方法可以应用于潜艇或者水下探险活动。
https://tech.ifeng.com/c/8RKjezxVZz4
OpenAI核心员工组团叛逃谷歌 抱怨Altman不懂行
据德国巴伐利亚广播公司(BR24)的报道,OpenAI的一些主要员工已经辞职或计划在未来几天内辞职,转投谷歌。这些员工中的一些人是OpenAI的核心成员,他们对公司的未来发展计划不满意。他们认为公司发展过于迅猛,而且公司老板Sam Altman对许多话题知之甚少。此外,他们还指责Altman有关人工智能技术危险的言论只是为了安抚政客。OpenAI最近获得了超过100亿美元的投资资金,其中很大一部分来自微软。OpenAI表示,即使在Microsoft数十亿美元的投资之后,它仍然是一家利润上限的公司,使该公司能够筹集更多资金。ChatGPT目前拥有超过1亿用户,每月约有10亿次访问量,并且在与谷歌的Bard的比较测试中通常表现得更好。
https://tech.ifeng.com/c/8RKiMy9oik3
欧洲电力市场的不稳定性和复杂性:自动化交易的崛起
欧洲电力市场逐步向可再生能源靠拢,带来了更多的稳定性考验。随着欧洲继续加大对可再生能源的依赖,电力市场的交易量还将进一步扩大,不稳定意味着交易员们需要更加警惕。然而,庞大的观测因素和数据量让人类交易员很难胜任市场变化,仅靠知识和经验可能已经无法在如今的欧洲电力市场获胜,交易员们需要更多地使用人工智能工具。据Epex称,去年自动化交易占到总交易量的60%,2021年则达到55%。丹麦能源交易商MFT就是采用人工智能交易的一家贸易公司,其每天处理约3000万个数据点,以预测西班牙的云层覆盖和德国的气温,从而分析电力市场各地区电价如何波动。与此同时,MFT的数据模型每天创建超过1300个交易信号。据该公司算法交易副总裁Jacob Guldberg称,交易比任何时候都更需要理解数据和其对市场的影响,但这也让人类交易员仍有用武之地。算法交易将成为公司保持竞争优势的必要条件。这很难,但潜力巨大。电力市场的独特之处在于处理供应、需求和基础设施方面的数据,由于欧洲各国电网之间互联装置存在瓶颈,计算机加入电力分配的计算过程反而会节省更多的时间和精力。不过随着时间的推移,自动化注定成为欧洲电力交易员不可缺少的伙伴,毕竟在可再生能源极不稳定的供应下,人类需要一个稳定的助手来预判这些不稳定因素。https://tech.ifeng.com/c/8RKpMzywgM1
电商平台Dukaan引入AI后解雇90%员工
Dukaan是一家印度电商平台,该公司的创始人兼首席执行官本周一在推特上表示,在引入AI聊天机器人来回答客户问题后,公司已经解雇了90%的员工。他解释说,引入AI助手后,解决问题的时间从之前的2小时13分钟缩短到了3分12秒。他认为,鉴于当前的经济形势,初创公司应该优先考虑盈利能力。
https://twitter.com/suumitshah/status/1678460567000850450
GPT-4模型架构等关键信息遭泄露
OpenAI旗下的GPT-4的大量模型架构、训练成本和数据集等信息被泄露。有爆料者称,GPT-4架构的封闭性是因为他们构建的东西是可复制的,Google、Meta、Anthropic、Inflection、Character、腾讯、字节跳动、百度等公司在短期内也将拥有与GPT-4一样强大的模型。
据透露,GPT-4的规模是GPT-3的10倍以上,拥有120层,包含了1.8万亿个参数,而GPT-3只有大约1750亿个参数。OpenAI通过使用混合专家(MoE)模型来保持成本合理。GPT-4拥有16个专家模型,每个专家的MLP参数约为1110亿。其中,有两个专家模型被用于前向传播。此外,大约550亿个参数用于注意力机制的共享。每次的前向传播推理(生成一个token)仅利用了约2800亿个参数和560TFLOP的计算。
在数据集构成方面,GPT-4的训练花费了13万亿个token数据集。这个数据集因为没有高质量的token,还包含了许多epoch。
在并行策略方面,OpenAI采用了8路张量并行,因为NVLink最高只支持这么多。但除此之外,爆料作者听说OpenAI采用15路并行管线。
在训练成本方面,OpenAI训练GPT-4的FLOPS约为2.15e25,在大约25000个A100上训练了90到100天,利用率在32%到36%之间。
https://www.semianalysis.com/p/gpt-4-architecture-infrastructure