会议纪要

1. conv+transformer 在RT和Ion intensity任务上都出现较为严重的过拟合现象，目前需要做的是在

a.减小model capacity
b.增多dropout
c.weight decay
以上这三个方面去减小过拟合现象。

1. 整体的思路应该是一支是固定住的，是目前的LSTM+Transformer，所有的东西都固定住，相应的代码也finalize。另外一支是模型结构的探索，两条支线是不能交叉的。
2. DeepRT在RT任务上，通过model ensemble把效果提升了上去，我们也应该通过设置不同层的LSTM或者transformer，来实现model ensemble。
3. 针对two-stage 的不同处理方式，应该探索完，这样得出一个最终且完整的结论，即使是一个negative的结果。
4. 应该对实验有一个较为明确的目的，一方面实施实验和进行实验需要耗费较多时间，另外一方面防止到后面发现因为前期缺乏对于实验的思考，而前面的实验都做错了。

ToDo

1.在model capacity，dropout，weight decay三个方面去减小conv+transformer 的过拟合问题。
2.首先在RT任务上通过设置不同层的LSTM或者transformer，来实现model ensemble。