模型 发布时间 参数量 预训练数据量
    GPT 2018 年 6 月 1.17 亿 约 5GB
    GPT-2 2019 年 2 月 15 亿 40GB
    GPT-3 2020 年 5 月 1,750 亿 45TB