发明 基于多模态的冷链配载用户画像标签抽取方法及装置
用户画像/大数据挖掘 【用户画像/大数据挖掘】 3人
G06F16/35 G06V10/762 G06K9/62 G06V10/764 G06V10/80 G06V10/774 G06V10/82 G06N3/04
摘要：本发明公开了一种基于多模态的冷链配载用户画像标签抽取方法及装置，将带标签的文本集作为BERT模型的输入，并利用长短期记忆网络进一步提取特征；使用YOLO提取图片特征，将提取的双模态特征使用激活函数tanh与其他模态嵌入的关联表示进行补充，并将补充过后的双模态特征向量进行拼接，将其与双模态条件向量进行矩阵相乘，结果作为Softmax函数输入得到双模态交互注意力矩阵；将双模态交互注意力矩阵与被补充过的双模态特征拼接，将其作为全连接层的输入得到模态间交互特征和模态内部特征，最后输入至Softmax进行分类。本发明利用多模态特征融合算法对不同模态的用户特征合并融合，建立起不同模态间的交互关系，减少了抽取的噪声。
