背景
视网膜水肿是一种眼疾,可导致视力模糊,影响正常生活。
OCT(光学相干断层扫描)可用于帮助医生判断视网膜水肿。
早期发现水肿症状可以在疾病的治疗中发挥关键作用。
我们的任务是设计算法,以自动检测视网膜水肿的类型,并根据OCT图像划分视网膜水肿区域。
数据统计信息
数据可视化
视网膜边缘弯曲
病变之间的包含关系
数据处理
堆叠上部和下部切片以形成三通道输入
正则化
数据增强(仅随机水平翻转)
问题和挑战
这两项任务(分割和检测)如何相互促进? •多任务学习框架
多尺度的视网膜水肿病变
•UNet和UNet ++
三种视网膜水肿样本不平衡
•指数对数损失
如何扩大感受野以检测边缘弯曲?
•扩张模块
基线
分段 - UNet
•下采样16×
•频道:[16,32,64,128,256]•输入:原始图像
检测 - ResNet18
•调整大小224 * 224
多任务框架
共同学习分割和检测
减少时间和计算成本
改善两项任务的效果
UNet ++和DeepSupervision
密集的未来联系
深度监督
更有效地融合低级和高级功能
Exponential Logarithmic Loss
x : pixel position d il : Kronecker delta
i : label e : pseudocount for
l : ground truth label at x
p i ( x ) : Softmax probability which acts as the portion of pixel
x owned by label i
小物件怎么样?
细分?(2,3级)
扩张模块
感受野计算公式
UNet编码器的接收域
大对象怎么样?
细分?(第1类)
实验摘要
Memory : 7.3 G(batch=8), Inference time : 9.5 s/patient
可视化
未来工作
检测框架(Mask R-CNN)
3D语义分割模型
在骨干中使用Res-block或Dense-block
考虑病变的关系
结论
构建端到端的多任务框架,可以同时检测和分割视网膜水肿病变。
•使用最新的UNet ++模型更好地集成高级和低级功能。
使用新的指数对数损失函数来增强两种类型的小病变的分割。
•引入扩张卷积模块,显着增加模型的感受野。
只有随机水平翻转数据增强,没有后期处理。
•测试装置上单个模型的骰子为0.736。 测试集上的融合模型的骰子为0.744,检测AUC为0.986。 另外,当我们设置批次为8时,推理阶段的记忆为7.3G,每个患者的推理时间为9.5s。