宁波材料所赵一天在医学图像质量增强领域取得进展

tianjiao

医学影像通常能为临床医生提供大量与生物或解剖组织相关的信息，在诊疗中起着至关重要的作用。然而，无论是由相同还是不同的设备获取，医学图像往往表现出成像质量或成像风格上的差异，如灰度不均匀性、低对比度、明显的模糊或噪声等。图1分别展示了由共聚焦显微镜、彩色眼底相机和内窥镜获取的低质量和高质量例子。对于高质量图像（图1的第二行），几乎所有的细节都可以被临床医生轻松识别。然而，对于低质量图像（图1的第一行），很难清楚地观察到角膜神经纤维、眼底血管、消化道或其他组织的完整结构。与其他图像相比，大多数医学图像来自于具有特定退化因素的成像过程，这可能导致各种低质量的外观伪影，并给临床应用带来额外的挑战。此外，这些低质量因素还会降低许多后续图像分析任务的性能，如特定结构分割、病变检测或其他计算机辅助诊断任务等。因此，通过全自动和可靠的医学图像增强技术来获得具有足够细节和合适对比度的高质量医学图像，对于实现精准医疗的目标至关重要。

图1 不同医学图像高低质量示例

图2 StillGAN整体框架图：（a）正向循环一致性；（b）反向循环一致性

图3 三种模态的医学图像增强结果

　　中国科学院宁波材料技术与工程研究所智能医学影像团队提出了一种新的基于生成对抗网络的医学图像增强方法，称为结构和光照约束生成对抗网络（StillGAN），整体框架如图2所示。该方法的主体是一个类似于CycleGAN的双向生成对抗网络，该网络将图像增强任务视为从低质量图像域到高质量图像域的图像翻译任务，无需严格对齐的高低质量图像对，便可学习将高质量图像的典型特征迁移到低质量图像上来改善其质量。在双向生成对抗网络的基础上，研究人员提出了两个新的约束项——光照正则化项和结构损失项，并将它们引入双向生成对抗网络的目标函数中，旨在克服双向生成对抗网络在捕获局部细节方面的不足，以便获得具有更佳光照分布和结构细节的图像，用于临床判读和后续分析。
　　该方法在角膜共聚焦显微镜图像、眼底彩照和消化道内窥镜图像上均进行了验证，图3分别展示了这三种模态的医学图像增强结果，表明StillGAN能够有效兼顾增强图像的光照均匀性和结构完整性，显著提高了医学图像的视觉质量。研究人员还根据其各自的成像特点和临床关注点采用不同的图像质量定量评估方法，来验证提出的增强方法在临床上的有效性。其中包括邀请临床专家对增强图像的质量重新分类，还通过角膜神经分割和弯曲度分级、黄斑中心凹定位和糖尿病视网膜病变诊断任务间接评估了增强方法在临床应用中的作用，从而进一步阐述了StillGAN的潜在临床价值。
　　相关成果近期以“Structure and Illumination Constrained GAN for Medical Image Enhancement”为题发表在国际期刊IEEE Transactions on Medical Imaging，博士研究生马煜辉为第一作者，赵一天研究员为本文通讯作者。
　　该研究得到了浙江省重点研发计划（2020C03036）、浙江省自然科学基金重点项目（LZ19F010001）、宁波科技创新2025重大专项（2019B10033、2019B1006）以及中科院青促会项目（2021298）等的支持。


      文章来源：宁波材料所
      赵一天，硕士生导师，慈溪医工所 ‘春蕾人才’副研究员，先后入选中国科协青年人才托举工程、宁波3315创新个人、宁波市领军和拔尖人才培养工程等。2013年在英国艾伯瑞斯特维斯大学计算机科学专业获得博士学位。博士毕业后先后在英国利物浦大学眼科视觉专业和北京理工大学光电学院担任博士后和讲师。现兼任英国利物浦大学生命学院荣誉讲师，北京理工大学光电学院兼职副研究员，Scientific Reports副主编, MICCAI-OMIA， MIUA学术会议程序委员会委员，以及多个国际知名期刊的审稿人（如IEEE-TMI, TBME, TIP等）。主要研究方向是虚拟现实与增强现实，计算机视觉，模式识别，三维建模与可视化，人工智能，以及多学科交叉研究。近几年围绕精准医疗研究，开展了眼科疾病以及脑血管疾病的计算机辅助诊断研究。在国内外学术刊物和国际学术会议上发表论文60余篇，其中第一作者SCI/EI论文30篇。其中一篇会议论文获得第七届国际图像与信号处理会议的最佳论文奖，另外一篇论文入选医疗图像顶级期刊《IEEE Transactions on Medical Imaging》2015年度Top 2 Most Frequently Downloaded Paper，此外还有多篇论文入选ESI高被引用论文。