预训练模型在多语言、多模态任务的进展

预训练模型

image.png
image.png
预训练模型的进展：
image.png

预训练在多语言

image.png
image.png
为了评价这个预训练模型，发布了一个数据集:
image.png
应用：多语言QA，多语言新闻标题生成
image.png

预训练在多模态

根据文本搜索图片，根据图片搜索文本

文档（图片形式）的理解

视频-语言预训练模型

总结

image.png
展望：
预训练对于few shotlearning 和zero-shotlearning的启示
预训练与领域适应问题
预训练和reasoning的结合

语言与理解

认知科学的关键是解决语言机制的问题
计算智能->感知智能->认知智能
image.png

自然语言处理的过去、现在和未来

人工智能的内涵：脑认知基础，知识工程，感知能力，认知能力
人工智能的外延：机器人和智能系统
语言的种类：动物语言、人类语言、自然语言

AI的三个基本问题：表示-> 推理 -> 学习
image.png
image.png
image.png
image.png
image.png
image.png