基于注意力机制多特征融合的视网膜病变分级算法

一、简介

本文提出一种基于注意力机制多特征融合的算法来对DR进行诊断分级。首先对输入的图像采用高斯滤波等形态学预处理来提升眼底图像特征对比度；然后用ResNeSt50 残差网络作为模型的骨干，引入多尺度特征增强模块对视网膜病变图像病变区域进行特征增强，提高分级准确率；再后利用图形特征融合模块对主干输出的特征增强后的局部特征进行信息融合；最后采用中心损失和焦点损失组合的加权损失函数进一步提升分类效果。在印度糖尿病视网膜病变 (IDRID) 数据集中灵敏度和特异性分别为95.65%和 91.17%，二次加权一致性检验系数为 90.38%。在 Kaggle 比赛数据集中准确率为 84.41%，受试者工作特征曲线下的面积为 90.36%。

二、文章的复现前置知识

ResNet50 + ResNest50卷积神经网络模型
中心损失结合交叉损失的加权损失函数
Attention

三、文章的结构

summary

introduction

介绍 diabetic retinopthy: DR病情背景
介绍一下当下在diabetic retinopthy 训练上面存在的问题，方便提出自己的模型
简略的提出自己的模型ResNest50 + 直接提出了自己的优化方法

method：
- 通过多尺度特征增强模块 (multi-scale features
  boosting module, MSFB) 来获取更大的感受野，解决
  训练过程中下采样引起的图像分辨率降低和特征提取
  不充分的问题，并且模块中空间和通道注意力机制可
  以加强对病变区域的关注，优化模型性能；
- 再通过图形特征融合模块 (graphic feature
  fusion module，GFFM) 进行信息融合，不同阶段的局
  部特征图两两融合加强病变区域的权重，提高模型对
  病变区域识别准确率；
- 最后利用中心损失和焦点损失的加权组合缓解
  数据集类间差异小难以区分和数据集样本分布不平衡
  等问题，进一步提升DR分级效果。