发明 基于注意力模型的级联多模式融合的视频目标跟踪方法
1人
G06K9/00 G06K9/62 G06N3/04
摘要：本发明公开了一种基于注意力模型的级联多模式融合的视频目标跟踪方法，在VGG‑16网络的基础上构建基于注意力模型的级联多模式融合全卷积神经网络；对构建的网络进行联合训练；提供图像库，图像库包括RGB图像和深度图像，深度图像包括深度通道，对深度图像信息进行HHA编码，将深度通道编码为物体的深度、高度和角度三个通道；将待跟踪的RGB‑D视频输入训练好的网络，在ECO跟踪器中采取更新策略对每一帧图像选择是否更新。本发明首次将全卷积神经网络应用到RGB‑D视频目标跟踪方法中，通过深度学习的方法提取两种模式下级联的深度特征，通过注意力模型分配权重，克服了人工设计特征不够全面的缺点，使追踪结果更加准确。
