Bert初试
暂时没弄明白tensorflow的环境配置。
先用pytorch先试一试
上网抄了代码和数据
链接
使用预训练模型完成三分类问题
一开始结果就不错
10 epoch后74.7%（不太好？毕竟随便初始化都有33%)
loss震荡严重，即使调小学习率也没有啥效果
不过令人惊喜的是竟然在笔记本上运行不卡。（代码debug和初步调参比较方便。。）
bert对显存的占用比较明显（batch_size已经比较小了）
若有收获，就点个赞吧
0 人点赞
