预训练模型的前世今生与未来(车万翔——哈工大)

image.png

GPT

大规模预训练模型
image.png
image.png

  • 自然语言处理的大规模预训练模型

image.png

BERT

微软
image.png

GPT-3

image.png

image.png

image.png

模型完全“同质化”

image.png

预训练模型的研究内容

image.png

跨模态BERT

image.png

模型汇总

image.png

LayoutLMv2模型

image.png

以文字为中心的媒体内容理解研究进展

南京大学 路通

image.png

image.png

image.png

近三年的主要研究进展

image.png

文字信息的获取是媒体理解的中心环节

image.png

抽象度高
概括力强
语义特征明显

image.png

image.png