发明 图像描述模型的训练方法及装置 【特价】 【无优惠】
图像 1人
G06V40/20 G06V10/25 G06V10/764 G06V10/82 G06N3/0455 G06N3/0464 G06N3/048 G06N3/08
摘要：本发明公开了一种图像描述模型的训练方法，包括以下步骤：接收若干训练图像，抽取每个训练图像对应的感兴趣区域特征向量、类别特征词向量和图像实体特征向量；创建图像描述模型，图像描述模型包括：包含有若干层编码模块的编码装置、包含有若干层解码模块的解码装置、自注意力机制特征融合层和多维度卷积核特征抽取器；编码模块包括多维度卷积核特征抽取器、两个Self Attention特征抽取器和简单前馈网络；解码模块包括多维度卷积核特征抽取器、带掩码的multi‑head attention特征抽取器、两个multi‑head attention特征抽取器和简单前馈网络组成；编码装置和编码装置之间由自注意力机制特征融合层衔接；基于若干训练图像对图像描述模型进行交叉熵损失和强化学习的训练；从而提供一种训练方法。
