发明 基于胎儿先心病超声图像—诊断报告的跨模态检索方法
超声诊断 医学影像 智慧医疗 （超声诊断 智慧医疗） 1人
G06F16/583 G06F16/532 G06F40/289 G06N3/04 G06N3/08
摘要：本发明公开了基于胎儿先心病超声图像—诊断报告的跨模态检索方法，包括：对跨模态胎儿先天性心脏病的超声图像文本数据集进行预处理；训练时利用特征提取网络，提取图像特征、文本特征和语义特征；将各模态的特征输入参数共享的跨模态注意力层，得到具有语义关联信息的各模态的特征；将图像特征和文本特征分别同语义特征计算对比中心损失；将特征向量输入参数共享的标签预测层，生成预测标签后，计算标签预测损失；检索时利用训练好的最优模型将数据库中的多模态数据生成低维特征；对于查询数据，首先生成低维特征，然后计算它与其它模态特征的相似度；按相似度进行排序，返回满足条件的跨模态实例。本发明有效的提升了跨模态多标签超声图像检索的精度。
