会议纪要

1.针对使用SA loss 在接近1的时候,gradient 会很大,这样会导致优化到后面不稳定,因为一般的是优化到最后,gradient是减小的。所以可以加一个L1 来稳定,或者通过调整episilon的大小。
2.对于CNN的过拟合现象,可以通过在prosit数据集上pretrain来缓解
3.model ensemble 应该是使用各自的网络,他们的weight不该共享,并且ensemble的一般操作是针对预测的结果的average。
4.对于并联三个model,因为FC层是随机初始化的,所以跟另外三个网络初始化的方法不一样,所以对于FC应该使用一个比较大的learning rate,相较于前面的三个网络。
5.对于使用先对有或者无进行二分类,然后继而进行intensity的预测。这种需要分开去看,看下二分类和intensity的预测情况。

ToDo

1.CNN和transformer的预训练
2.添加额外的合适的feature,这种feature应该是和ion intensity的产生过程有关,来帮助ion intensity的预测
3.分开看使用two-stage前后,预测情况的变化。