多模态大模型LLaVA-1.5开源

DeepMind等发布具身机器人数据集和RT-X模型

Meta向创作者支付数百万美元打造AI聊天机器人

Anthropic发布大模型神经元可解释特征报告

Meta发布Llama 2 Long,支持3.2万Tokens

Meta因开源AI模型遭举牌抗议

微软宣布Bing Chat等免费提供DALL-E 3服务

Stability AI发布面向移动端的Stable LM 3B模型

日本首相制定AIGC监管准则 旨在打击虚假信息

小冰成立上海新公司

嗯嗯,[赞]这个单词来历如下(刚学):

单词 “prompt” 源自拉丁语 “promptus”,是”promere” 的过去分词,意味着 “推动”、”促使” 或 “鼓励”。这个词通常用于表示鼓励或激励某人采取行动或完成某项任务。通常用作动词,表示迅速或即时地鼓励或促使某人做某事。

在计算机领域,使用 “prompt” 作为提示词的起源可以追溯到早期的计算机系统和编程语言。这个用词的选择可能有以下原因:

  1. 语言起源: 计算机科学和编程语言的发展受到英语等自然语言的影响,因此许多计算机术语和命名都采用了英语单词。在英语中,”prompt” 表示迅速或即时地鼓励或提示某人采取行动,这与计算机系统和编程中的提示功能相符。
  2. 简洁性: “Prompt” 是一个简洁而直观的词汇,容易理解和记忆。它传达了一种启发或促使用户或程序采取下一步行动的含义,与计算机交互中的用户提示和命令交互紧密相关。
  3. 历史因素: 早期的计算机系统和编程环境在设计时可能就采用了 “prompt” 这个词,后来的系统和工具也延续了这个传统,以保持一致性和兼容性。

“prompt” 成为计算机领域中的提示词,部分是因为它在自然语言中的含义与计算机提示的功能相匹配,并且它的简洁性和历史传统使其成为了一种常见的术语。

多模态大模型LLaVA-1.5开源

今日AI资讯-10.09 - 图1

研究人员来自威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学,他们发布了端到端多模态大模型LLaVA-1.5的开源版本。该模型在11个基准测试中实现了SOTA,并且可以直接对打GPT-4V。在今年4月,该团队发布了LLaVA大模型。此次升级,研究人员通过使用带有MLP映射的CLIP-ViT-L-336px,添加具有简单响应格式提示的、面向学术任务的VQA数据,大幅提升了LLaVA-1.5的性能。实验结果表明,架构更加简单的LLaVA-1.5只需要120万公开数据,即可超越用了14.5亿训练数据的Qwen-VL和1.3亿数据的HuggingFace IDEFICS。其中,13B模型的训练只需要8个A100芯片就可以在1天内完成。

论文地址: https://arxiv.org/abs/2310.03744 GitHub开源地址: https://llava-vl.github.io/

DeepMind等发布具身机器人数据集和RT-X模型

今日AI资讯-10.09 - 图2

谷歌DeepMind与来自33个学术实验室的学者合作,创建并发布了Open X-Embodiment数据集和RT-X模型,用于支持具身机器人训练。该数据集收集了来自22种不同机器人类型的数据。研究团队在五个不同的研究实验室测试了RT-1-X模型,结果表明,该模型在五个不同的常用机器人上的成功率平均提高了50%。此外,研究团队还在来自多个实例的数据上训练了视觉语言动作模型RT-2,其在真实世界机器人技能上的表现提高了三倍。 论文地址: https://robotics-transformer-x.github.io/paper.pdf 数据和模型地址: https://robotics-transformer-x.github.io/

https://www.deepmind.com/blog/scaling-up-learning-across-many-different-robot-types

Meta向创作者支付数百万美元打造AI聊天机器人

今日AI资讯-10.09 - 图3

Meta最近正在向名人付费,包括美国饶舌歌手Snoop Dogg、美式橄榄球运动员Tom Brady、YouTuber MrBeast和TikTok红人Charli D’Amelio等,使用他们的肖像来构造虚拟的AI角色。知情人士透露,Meta与一位顶级创作者以500万美元的价格签下为期两年的非独占性协议,包括六小时工作时间。目前,这些角色主要是Instagram、WhatsApp和Messenger上基于文本的聊天机器人,但Meta首席执行官马克·扎克伯格称,AI角色的语音功能将于明年初推出。

https://www.theinformation.com/articles/meta-is-paying-creators-millions-for-ai-chatbots

Anthropic发布大模型神经元可解释特征报告

今日AI资讯-10.09 - 图4

AIGC的独角兽公司Anthropic的研究团队发布了一份报告,其中使用了稀疏自动编码器的弱字典学习算法,从512个神经元中提取了4000多个可解释的特征。这些特征可以表示DNA序列、法律语言、HTTP请求、希伯来文本、营养成分说明等内容。Anthropic认为,想要将该研究报告中小模型的成功复制到更大的模型上,研究人员今后面临的挑战将不再是科学问题,而是工程问题。

报告地址: https://transformer-circuits.pub/2023/monosemantic-features/index.html

Meta发布Llama 2 Long,支持3.2万Tokens

今日AI资讯-10.09 - 图5

Meta发布了Llama 2 Long,其上下文长度达到3.2万个Tokens,与GPT-4相当。在性能方面,Llama 2 Long全面超越了Llama 2,在指令微调MMLU(5-shot)等测试集上表现优于ChatGPT,并在人类评估中优于10万个Tokens的Claude 2。据介绍,与Llama 2相比,Llama 2 Long主要有两个方面的变化。首先,在训练参数上,它使用了高达4000亿个Tokens的数据源,而Llama 2的最大版本只有700亿个。其次,在架构上,Llama 2 Long与Llama 2保持一致,但对位置编码进行了微小但必要的修改,以支持高达3.2亿个Tokens的上下文窗口。 论文地址: https://arxiv.org/pdf/2309.16039.pdf

Meta因开源AI模型遭举牌抗议

今日AI资讯-10.09 - 图6

IEEE Spectrum报道称,上周有一群抗议者在Meta旧金山办公室外集会,抗议其发布人工智能模型的政策。他们声称,这些发布代表了潜在不安全技术的“不可逆转的扩散”,甚至有人将Meta发布的大型模型比作“大规模杀伤性武器”。这些抗议者自称为“Concerned Citizens”(关心此事的公民),由Holly Elmore领导。根据领英信息,她是AI Pause(中止AI)运动的独立倡导者。

https://spectrum.ieee.org/meta-ai

微软宣布Bing Chat等免费提供DALL-E 3服务

今日AI资讯-10.09 - 图7

微软宣布OpenAI最新的DALL-E 3图像生成器现在可供所有Bing Chat和Bing Image Creator用户免费使用。据微软介绍,DALL-E 3是文本到图像生成的突破,由深度神经网络提供支持,可以从自然语言提示生成逼真且多样化的图像。

https://blogs.bing.com/search/october-2023/DALL-E-3-now-available-in-Bing-Chat-and-Bing-com-create-for-free

Stability AI发布面向移动端的Stable LM 3B模型

今日AI资讯-10.09 - 图8

AIGC独角兽Stability AI宣布推出Stable LM 3B实验版本,这是一款专为便携移动设备设计的紧凑型语言模型,包含30亿个参数,使用256个英伟达A100 40GB GPU训练而成,主打文本生成。据介绍,与上一次发布的Stable LM相似,Stable LM 3B的主要优势之一是体积更小、效率更高。此外,它的性能超过了目前最先进的3B参数语言模型,甚至超过了一些7B参数规模的最佳开源语言模型。

https://stability.ai/blog/stable-lm-3b-sustainable-high-performance-language-models-smart-devices

日本首相制定AIGC监管准则 旨在打击虚假信息

今日AI资讯-10.09 - 图9

日本首相岸田文雄将于明天在联合国主办的会议上发表演讲,主题为生成式AI的使用和监管。据演讲稿透露,岸田将在今年秋天的G7首脑会议上制定面向开发者的国际指导方针和行为准则。演讲中将强调生成式AI产生的虚假图像和信息造成的社会风险,并强调政府需要在“推广”和“监管”之间取得平衡。

https://www.yomiuri.co.jp/politics/20231007-OYT1T50226/

小冰成立上海新公司

今日AI资讯-10.09 - 图10

最近,上海红棉小冰人工智能科技有限公司成立了。该公司的注册资本为1000万人民币,经营范围包括技术服务、软件开发、数字内容制作服务等。小冰科技是该公司的全资股东,而“小冰之父”李笛则担任法定代表人和执行董事。小冰科技最初是微软(亚洲)互联网工程院的人工智能小冰团队,成立于2020年5月。微软于同年7月宣布将小冰分拆为独立实体。今年5月,小冰公司宣布启动了“GPT克隆人计划”。

https://www.donews.com/news/detail/8/3717608.html