我校计算机团队在医学图像跨模态哈希检索研究方面取得新进展

近日，我校计算机学院徐黎明博士、郑伯川教授与重庆邮电大学曾宪华教授、李伟生教授合作，在深度跨模态哈希检索方面取得最新进展，相关研究成果“Multi-manifold Deep Discriminative Cross-modal Hashing for Medical Image Retrieval”在线发表于美国电气与电子工程师协会(IEEE)所属期刊《IEEE Transactions on Image Processing》(简称TIP)上，该期刊为中国计算机学会推荐的计算机图形学和多媒体类别的A类Top期刊，该类别A类期刊只推荐了3种，TIP位列第二。TIP的2022年影响因子为10.856，JCR分区为Q1，属于中科院1区期刊。

快速、精准的跨模态医学图像检索算法能够提供过往类似的医学病例，以及对应的临床诊断报告，这能够极大提高诊断效率，在医学图像分析中具有巨大的研究潜力。一般情况下，深度哈希算法通过深度神经网络对多模态数据进行特征提取，并保留具有代表性的语义视觉特征进行哈希编码，但现阶段的深度跨模态哈希方法无法保持多模态数据之间的多流形结构，并且哈希码的判别能力较弱。本论文针对这两个问题，提出一种基于多流形相似度与强判别性的医学图像跨模态哈希检索方法。

该方法在哈希编码过程中，利用深度网络将原始数据编码为连续性特征，然后通过高斯受限玻尔兹曼机将连续性特征直接输出为二进制哈希码，避免松弛操作造成的“亚优化”问题。同时，提出多流形相似度矩阵，在减少相似样本之间流形距离的同时增加非相似样本之间的流形距离，并保持较好的用户可接受度。通过定义矩阵非负性，图对称与非对称性，相似度的对称与非对称性，证明多流形相似度的对称性，并进一步证明其对图像相似度的保持和检索性能的保持。此外，提出哈希码判别正则化项，确保任意两组哈希码都不相同，进一步保证海明空间中哈希码的唯一性，从而提高检索精度。仿真实验表明，所提算法在公开数据集和临床数据集上，均取得良好的检索效果。

研究成果第一作者和通讯作者为我校计算机学院徐黎明博士，西华师范大学为第一完成单位，本论文获国家自然科学基金(61276127)，重庆市重点项目(cstc2019jcyj-zdxmX0011)和西华师范大学博士科研启动基金(21E025)等项目的联合资助。

全文链接：https://ieeexplore.ieee.org/document/9768330

【免责申明】本专题图片均来源于学校官网或互联网，若有侵权请联系400-0815-589删除。