Seminar

Task description

1.阅读总结下微信链接的数据增强方法，我的方法是不是可以往上靠。总结下次进行汇报。
2.1万条数据epoch扩大到200进行训练，2万条数据epoch扩大到200进行训练。看下增大数据集结果是否会有改变。
3.通过看微信链接思考创新点。

Task progress

1.
原始竞赛官网给的训练数据：(Functional：500左右 Non-Funtional：225左右)
添加hsa数据集后的训练数据:(Functional：7000左右 Non-Funtional：300左右)
怎么描述这部分。
关于增加负样本有些疑问。

2.2万条数据结果确实效果好一些。AUC分数能到0.9. 相对于使用1万条数据增加了0.4左右。但是训练成本变高。训练数据增加导致训练时间过长，增加batch_size以减少训练时间。但batch_size的大小与loss的下降幅度成反比。 增加batch_size大小意味着要增加epoch次数。
3.
一、Informer模型：
是一个基于Transformer改进的模型。
创新点：
2. 提出ProbSparse自相关机制，使时间复杂度和内存使用率达到 O（NlogN）
3. 提出自相关蒸馏操作，在J个堆叠层上突出关注分高的特征，并极大减少空间复杂度到 ，这帮助模型接收长序列输入；
4. 提出生成式decoder，直接一次性多步预测，避免了单步预测产生的误差累积。

二、PolyLoss：一种将分类损失函数加入泰勒展开式的损失函数
该篇论文发现，其实仅增加一个多项式系数就相比于原始的Cross-Entropy Loss和Focal Loss在多种图像任务上有所提高

三、通过随机掩码学习来理解生物序列神经网络模型

当前我的模型：

7.6

上次的任务安排：

1.考虑loss部分作一阶差分二阶差分
2.找创新点，考虑尝试加入图神经网络
3.先写大论文中的算法设计和实验部分，然后从大论文里摘出一部分作为小论文。
4.把大论文的算法设计和实验部分写完（不包含创新点），并把创新点想法跟老师讨论。

进度：

1.完成
2.创新点没找到合适的，单纯字符串序列不存在空间结构，图神经网络不大好用上，还得画时间再看看。
（看到一篇加快attention运算的FastAttention微信推文，没看明白，感觉用大不上）
3.算法设计部分的文字基本完成，图表画的还不是很够（部分viso图用了师姐的）实验部分需要跟老师讨论下已有结果还有下面要做的调参实验。
3.在数据增强方面，需要对增强前的数据训练200个epoch吗，然后和增强后的1万和2万条数据做对比（数据增强前的数据样本极不均衡，暂时不知道训练过程中会有怎样的结果）

4.批尺寸大小和改变网络结构的实验跟预想不一样
5.实验部分dropout和学习率的改变还需要训练200轮画评价指标的变化曲线嘛，是不是可以少训练几轮只出数值做个对比就行。
6.大论文数据增强部分摘抄的微信链接

小问题：
1.模型图用ppt模板画还是用viso画。
2.实验环境方面：写自己电脑配置还是服务器的配置，写服务器的配置的话需要提一下用的什么服务器平台

调参实验备选:
1分别采用不同的dropout训练60轮
2采用不同的学习率训练100轮
3调整一维卷积的kenel_size大小
服务器。

当前模型图：

内容：

1.明确下实验（一阶差分等）的目的
2.查阅NLP中的图神经网络的应用，有没有RNA和DNA空间结构上的数据集以及DNA和RNA在GNN上的应用。
3.尝试性做一下原始的未进行数据增强前的数据的实验（是否加入论文视情况而定）
4.在论文的数据增强部分需要引用Self-Training的论文证明数据增强方法的合理性
5.数据增强章节放在模型章节后面
6.列一下实验部分的架构
7.实验环境写服务器，把服务器网址环境都详细写一下
8.明确下loss的计算方法
9.明确对每次调参的评价指标，说明其合理性
10.加入将图神经网络加入论文，就可以用师姐的创新点。
11.全文中的基因换成DNA，每一种基因是否是一种特殊的DNA

下一步安排：
1.查阅NLP中的图神经网络的应用，有没有RNA和DNA空间结构上的数据集以及DNA和RNA在GNN上的应用。
2.寻找论文中需要作为引证的Self-Training的论文
3.实验章节具体说明白哪部分是训练哪部分是验证
4.构思一下实验部分