共聚焦内窥镜（CLE）通过柔性光纤传输激光和荧光图像，可以实现在体的实时诊断性显微级别成像，能够观察到组织细胞结构，已被广泛应用于包括胃肠道、支气管、乳腺、脑部以及胆管等多种部位疾病的诊断工作中，尤其在早期癌症的检测方面展现了高度的特异性和灵敏性。由于CLE图像形态与电子白光内窥镜图像存在较大差异，并且内容具有高度的不确定性，导致医生需要针对CLE图像疾病诊断和分级标准进行学习，增加了学习成本。同时，也发现具有不同经验的医生的诊断结果差异较大，需要实现不因诊断环境和人员而变化的一致性诊断，从而提高患者的医疗质量和安全性，减少不必要的诊断差异。通过人工智能技术增强图像质量和辅助医生精确诊断，可以解决创新医疗器械快速临床应用的痛点。
海南大学生物医学工程学院刘谦教授团队，在国家十三五重点研发计划项目的支持下，研制了国产首台医用共聚焦内窥镜创新医疗器械并转化。从2020年开始，在国家自然科学基金面上项目的支持下，该团队以消化道图像为研究对象，围绕以辅助医生提高诊断准确率为中心点，从共聚焦内窥镜成像方法、病理状态与医学图像特征关系的基本原理出发，研究图像质量评价、去噪、识别和分割等关键技术。近日，由博士生周经俊为第一作者，刘谦教授作为通讯作者，在IEEE Journal of Biomedical and Health Informatics，Computers in Biology and Medicine，Biomedical Optics Express，Physics in Medicine & Biology国际权威期刊发表系列文章，涉及图像去噪、图像识别以及高精度图像分割，旨在解决共聚焦内窥镜技术在临床应用中存在的主要挑战，提高医学图像的质量和诊断的准确性。
首先，面对共聚焦内窥镜成像中由光纤束物理结构限制导致的噪声问题，团队设计了一种新型的自监督去噪模型（Context-aware dynamic filtering network for confocal laser endomicroscopy image denoising，Phys. Med. Biol., 2023,中科院2022年大类2区top期刊，IF=3.5）。通过上下文感知的核估计和多尺度动态融合，该模型能在没有清晰参考图像的情况下，有效地解决了共聚焦内窥镜图像中噪声的非均匀分布问题，显著提高了消化道肿瘤图像质量和后续图像处理的精确性，减少了图像噪声导致的误诊。接着，针对共聚焦内窥镜领域数据集稀缺和缺乏完善注释的挑战，提出了两种自监督学习方法（Boosting few-shot confocal endomicroscopy image recognition with feature-level MixSiam，Biomed. Opt. Express，2023，中科院2022年大类2区期刊，IF=3.4；Clustering-guided Twin Contrastive Learning for Endomicroscopy Image Classification，IEEE J. Biomed. Health. Inf.，2024，中科院2023年小类1区Top期刊，IF=7.7），有效提升了图像的判别性特征学习。这些方法通过增强样本的类内紧凑性和类间分离性，为识别和分类提供了更为丰富和精确的信息量。这不仅改进了判定可疑病变帧的速度，更在整体上显著提升了医学图像分析的效率和准确性，为医生提供了更为可靠和高效的诊断依据。针对精确定位可疑病变区域的难题，开发了一种双分支非对称编解码器网络（A novel Dual-Branch Asymmetric Encoder–Decoder Segmentation Network for accurate colonic crypt segmentation，Comput. Biol. Med.，2024，中科院2023年小类1区Top期刊，IF=7.7）），通过创新的特征提取和融合技术，为像素级定位结肠隐窝区域设定了新标准。此外，针对共聚焦内窥镜成像限制所导致的图像失真问题，团队成员还开发了一种创新的非参考共聚焦内窥镜图像质量评价算法（No reference image quality assessment for confocal endoscopy images with perceptual local descriptor，J. Biomed. Opt.，2022，中科院2022年大类3区期刊，IF=3.5）。该方法具备自动对共聚焦内窥镜图像质量进行精准评级的能力，能够在检查过程中迅速识别并剔除低质量无诊断价值图像，提高了共聚焦内窥镜的效率，降低了医疗工作者的劳动强度。
这一系列研究进展标志着共聚焦内窥镜成像技术在临床应用上的一大飞跃。研究团队不仅推进了技术层面的创新，还确保了这些先进技术能够转化为临床实践中的实用工具，为医生提供了更准确和高效的诊断支持。目前，通过整合这些研究成果，团队计划与医疗机构合作开发部署一套全面的共聚焦内窥镜辅助诊断系统的医学大模型，来解决该技术在临床应用中遇到的各种挑战。这些努力将加速基础研究成果的实际应用转化，为患者带来更优质的治疗方案和结果，展现了科研工作在提高医疗服务质量方面的巨大价值和潜力。
[1]国家重点研发项目(2017YFC0110000)、国家自然科学基金面上项目(81971692)
[2]Zhou J, Dong X, Liu Q. Context-aware dynamic filtering network for confocal laser endomicroscopy image denoising. Physics in Medicine & Biology, 2023, 68(19): 195014.https://doi.org/10.1088/1361-6560/acf558
[3] Zhou J, Dong X, Liu Q. Boosting few-shot confocal endomicroscopy image recognition with feature-level MixSiam. Biomedical Optics Express, 2023, 14(3): 1054-1070.https://doi.org/10.1364/boe.478832
[4] Zhou J, Dong X, Liu Q. Clustering-Guided Twin Contrastive Learning for Endomicroscopy Image Classification. IEEE Journal of Biomedical and Health Informatics, 2024.https://doi.org/10.1109/jbhi.2024.3366223
[5]. Zhou J, Xiong H, Liu Q. A novel Dual-Branch Asymmetric Encoder-Decoder Segmentation Network for accurate colonic crypt segmentation. Computers in Biology and Medicine, 2024: 108354.https://doi.org/10.1016/j.compbiomed.2024.108354
[6]Dong X, Fu L, Liu Q. No-reference image quality assessment for confocal endoscopy images with perceptual local descriptor. Journal of Biomedical Optics, 2022, 27(5): 056503-056503.https://doi.org/10.1117/1.jbo.27.5.056503
海大BME