一些个人还没展开具体研究的高频词:
- knowledge distillation
- Transformer & ViT
- Spiking Neural Network
- few-shot learning & meta learning
- active learning
- federated learning
- long tail
- continual learning
- Causality & counterfactual
- anomaly detection
- OOD detection
- curriculum learning
- Retrosynthesis Prediction
- Bilevel Optimization
- diffusion models
- Equivariant
一些或许有用的工作:
- ProGCL: Rethinking Hard Negative Mining in Graph Contrastive Learning
目前没有原文。作者考虑到对比学习中hard negative(就是难以与正样本区分的负样本),工作具体到GCL领域,会对负样本估算为真的概率(为假时实则与正样本为同类,没有必要push away)。
- Counterfactual Analysis from Stochastic Observations with Hidden Confounders
Clinical outcome prediction under hypothetical interventions – a representation learning framework for counterfactual reasoning
目前没有原文。利用到因果关系。数据集是EHR,想要进行一些counterfactual(反事实)分析,改善现有治疗方法。另一篇也用了反事实进行医疗方面的预测。
- Interpretable Multi-hop Reasoning for Forecasting Future Links on Temporal Knowledge Graphs
有ICLR的under review版本。具体任务是针对temporal知识图谱,根据历史状态预测未来的链接。
- Beyond Truncated-Receptive Field for Scalable Graph Learning
目前没有原文。关于GNN的工作,挺有意思的想法。作者让图神经网络的聚合步骤有选择有范围地聚合邻居信息,避免过平滑,设计了分类器,在学习到的接受域上进行聚合,利用到了transformer结构。
- GraphR: Differentiable Learning of Graph-like Rules on Knowledge Graphs
有ICLR的under review版本。因为和知识图谱相关就记录一下,是学习KG中的规则的模型。
- Information Directed Sampling for Two-Stage Contextual Multi-Arm Bandit Problem
目前没有原文。 这个摘要提到癌症治疗可以分两个stage,需要进行权衡,或许可以处理类似医疗任务。
- Causal Latent Domain Model with Mutual Intervention for Domain Generalization
目前没有原文。完成医疗任务的,用到了因果和隐变量,旨在学习来自不同domain的医疗数据中包含的域不变数据。
- De novo design of protein target specific scaffold-based Inhibitors via Reinforcement Learning
有ICLR的under review版本。强化学习做分子生成的,大致看了一下感觉并不是de novo的,是从一个已有架构开始的。模型用了分子的3D结构,如果要做分子生成也可以在3D表示上下功夫,因为现在的大部分都是基于SMILES和graph的。另:看到一个任务叫molecular editing,或许更符合这个形容。
- DAG Learning for Heteroscedastic Variables under Varing Residual Variance
目前没有原文。有向无环图的学习,可以解决贝叶斯网络,是对重构损失的目标的改进。
- Let Your Heart Speak in its Mother Tongue: Multilingual Captioning of Cardiac Signals
有ICLR的under review版本。心电图任务,生成多语言报告。
- SoQal: Selective Oracle Questioning for Consistency Based Active Learning of Cardiac Signals
有ICLR的under review版本。利用主动学习(active learning)来解决解决医疗领域标签信息不足的问题,具体到数据集是心脏相关的数据。
- Molformer: Motif-based Roto-Translation Invariant Transformer on 3D Heterogeneous Molecular Graphs
ComENet: Towards Complete and Efficient Message Passing for 3D Molecular Graphs
目前没有原文。都是对分子的3D结构进行表示的工作,还读到几篇就不放了,大致就是从分子或者蛋白质3维结构提取特征进行表示。
- Graph Self-supervised Learning with Accurate Discrepancy Learning
原文。图的自监督学习,在学习时会考虑原始图和扰动图之间的差异并进行量化。
- RetroComposer: Discovering Novel Reactions by Composing Templates for Retrosynthesis Prediction
原文。一个药物方面的任务,Retrosynthesis Prediction,似乎是根据生产产物来预测反应物的任务。“take the target product as input and predict possible reactants ”。还有其他文章也干这个,这里就不多放了。
- Graph Contrastive Learning With No Augmentations
目前没有原文。不采用图增强的对比学习,只利用负样本。
- Graph Adversarial Model for Reaction Predictions
目前没有原文。根据反应物预测生成物。模型除了利用对抗结构还有RL。感觉有点类似分子生成。
- Classify Your Mind: Temporal Clusters of Multivariate Time-Series EEG Data for Classification of Cognitive Abilities and Personality Trait
目前没有原文。利用时间序列模型处理脑电图,对人格进行分类和预测任务。除此之外还有类似工作就不放了,用时间序列模型处理处理脑电图和心电图的任务,推断脑功能障碍和心脏活动。
- Coarformer: Transformer for large graph via graph coarsening
有ICRL的under review版本。摘要说Transformer仅在推广到小的graph比如分子图体现优势,这个工作是GNN和Transformer的有效结合。
- Deep Spectral Q-learning in Infinite Horizon with Applications in Mobile Health
目前没有原文。利用强化学习,与主成分分析相结合,对混合频率(因为对患者信息的收集频率不同)的数据进行处理并给出治疗方案。
- Patient Graph Profiler: Graph Neural Networks based Disease Severity Risk Prediction
目前没有原文。将病人的数据用图进行表示,任务是判断患者疾病的严重程度。
- Learning from Counterfactual Links for Link Prediction
目前没有原文。用反事实做链接预测。基于数据增强的链接预测,具体是创造新的链接,使用因果模型,将节点对的信息(即学习后的表示)作为上下文。
- Self Playing RNA Inverse Folding
目前没有原文。强化的一个应用,进行RNA反折叠的任务。
- Cluster-based Feature Importance Learning for Electronic Health Record Time-series
有ICLR的under review版本。在处理EHR的时候进行了聚类,可以识别相似的群体,改善预测。
- Learning Substructure-Aware Molecule Representation against Distribution Shift
目前没有原文。将分子拆分成多个substructure并进行表示学习,达到更好的分子性质预测效果。
- Exploring and Distilling Prior Knowledge for Generating Patient Instructions
目前没有原文。文章提出输出患者指导(PI,patient instructions)的模型,主要依据医学知识和历史PI学习,再针对从未见过的患者进行检查,生成PI。
- Generative Coarse-Graining of Molecular Conformations
原文。Coarse-Graining是一个对分子粗粒度化的过程,为了加速模拟而设计,但恢复成细粒度fine-graining成为挑战。模型主要还是利用生成方法进行CG到FG的恢复。
- Extracting Clinician’s Goals by What-if Interpretable Modeling
原文。强化与医疗的结合,算法的设计重点在治疗患者获得的回报,并使用广义加性模型GAM来恢复奖励。
- Graph in Graph (GiG): Learning interpretable latent graphs in non-Euclidean domain for molecule prediction and healthcare applications
目前没有原文。图中图的意思就是将图作为隐变量,假设输入的图数据之间有潜在的图结构。可以进行蛋白质分类和脑成像应用。
- Molecular Graph Representation Learning via Heterogeneous Motif Graph Construction
原文。在对分子图进行嵌入表示时考虑了分子之间的基序关系。
- An Exploration of The Latent Hierarchical Relationship between Medical Tasks
目前没有原文。数据集是EHR,作者考虑到可以用EHR完成很多任务,比如诊断预测,住院时间预测,死亡率预测等。这个工作将不同的任务定为层级关系,用低级任务改进高级任务的预测。
- Supervised Archetypal Analysis
目前没有原文。作者给一种叫archetypal analysis(AA)的方法加入了监督信息,提出了有监督地寻找原型(prototype)的方法,或许可以在用到prototype相关时作为参考。
- Temporal Dynamic Embedding for Irregularly Sampled Time Series
目前没有原文。对患者的数据进行时序动态嵌入。
- Molecular Generation by Principal Subgraph Mining and Assembling
目前没有原文。一种挺别致的分子生成方法, 强调子图的作用,先生成比较频繁的子图再进行组装,用到GVAE。
- Risk Prediction in Heterogeneous Electronic Health Records with Semi-supervised Meta-learning
目前没有原文。之前的模型缺乏对异质性的考虑(个人不懂具体指什么),这篇文章建立适应性模型,使用半监督的元学习对EHR数据集进行风险预测。
- Revisiting Virtual Nodes in Graph Neural Networks for Link Prediction
有ICLR的under review版本。因为之前没有了解过virtual node的概念这里想记录一下。简单来说虚拟节点可以理解为给节点的连接提供捷径。作者说之前只有工作把虚拟节点用在图分类,这篇用在链接预测。
- Molecular Representation Learning with Cascade Transformers
目前没有原文。用Transformer来对分子进行表示。
- 3DLinker: An E(3) Equivariant Variational Autoencoder for Molecular Linker Design
目前没有原文。作者设计了一个新任务,就是连接两个具有不同功能的独立分子产生新的药物,连接的时候也是基于3D结构的,用到了等变网络,也对3D坐标有研究。
- Optimally Controlled Protein Folding using a Stochastic Pontryagin Maximum Principle
目前没有原文。看到是强化与医疗的结合就记录一下,是做蛋白质结构预测任务的。
- AlphaDrug: Protein Target Specific De Novo Molecular Generation
目前没有原文。之前看到的分子生成都是无条件生成,这个的生成是target-oriented的。用到transformer。