单目标追踪方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110956131A(43)申请公布日2020.04.03(21)申请号201911196504.4(22)申请日2019.11.27(71)申请人北京迈格威科技有限公司地址100000北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人吴晶晶邱熙(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人何少岩(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图3页(54)发明名称单目标追踪方法、装置及系统(57)摘要本发明提供了一种单目标追踪方法、装置及系统，涉及计算机视觉技术领域，该方法应用于配置有追踪网络的设备；追踪网络包括主干网络、STN和相似性度量层；该方法包括：获取待追踪的帧图像和包含有目标对象的模板图像；通过主干网络提取模板图像的模板特征图和帧图像的第一特征图；通过STN对第一特征图进行特征偏移，得到第二特征图；通过相似性度量层计算模板特征图和第二特征图之间的第一相似性得分图，并基于第一相似性得分图在帧图像中确定目标对象的回归框。本发明能够有效提升目标对象的回归框的准确性和目标追踪的准确性。CN110956131ACN110956131A权利要求书1/2页1.一种单目标追踪方法，其特征在于，所述方法应用于配置有追踪网络的设备；其中，所述追踪网络包括主干网络、空间变换网络STN和相似性度量层；所述方法包括：获取待追踪的帧图像和包含有目标对象的模板图像；其中，所述模板图像和所述帧图像属于同一视频流；将所述模板图像、所述帧图像输入所述主干网络，通过所述主干网络提取所述模板图像的模板特征图和所述帧图像的第一特征图；通过所述STN对所述第一特征图进行特征偏移，得到第二特征图；通过所述相似性度量层计算所述模板特征图和所述第二特征图之间的第一相似性得分图，并基于所述第一相似性得分图在所述帧图像中确定所述目标对象的回归框。2.根据权利要求1所述的方法，其特征在于，所述追踪网络的训练过程包括：向当前训练的追踪网络输入具有目标对象标注信息的训练样本对；其中，所述训练样本对包括模板训练图像和待追踪训练图像；通过当前训练的追踪网络提取所述模板训练图像的特征图和所述待追踪训练图像的初始特征图；对所述初始特征图进行特征偏移，得到所述待追踪训练图像的目标特征图；计算所述模板训练图像的特征图和所述待追踪训练图像的目标特征图之间的第二相似性得分图；基于交叉二进制损失函数计算所述第二相似性得分图的损失函数值；根据所述损失函数值，通过反向传播算法对所述当前训练的追踪网络的参数进行调整，直至所述损失函数值收敛至预设值时结束训练。3.根据权利要求2所述的方法，其特征在于，所述基于交叉二进制损失函数计算所述第二相似性得分图的损失函数值的步骤，包括：其中，S1表示所述第二相似性得分图，S1[u]表示所述第二相似性得分图中位置u的响应值，Y[u]表示预设的标签，当所述待追踪训练图像中目标对象的回归框与所述模板训练图像中目标对象的回归框相距在预设距离值之内时，Y[u]＝1，当所述待追踪训练图像中目标对象的回归框与所述模板训练图像中目标对象的回归框相距在预设距离值之外时，Y[u]＝-1。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：从具有所述目标对象标注信息的视频数据集中获取初始模板训练图像和初始待追踪训练图像；其中，所述初始模板训练图像和初始待追踪训练图像在所述视频数据集中的相隔帧数小于预设帧数值；采用背景填充的方式对所述初始模板训练图像和所述初始待追踪训练图像进行归一化；将归一化后的模板训练图像和待追踪训练图像确定为所述训练样本对。5.根据权利要求1所述的方法，其特征在于，所述通过所述STN对所述第一特征图进行特征偏移，得到第二特征图的步骤，包括：2CN110956131A权利要求书2/2页通过所述STN对所述第一特征图进行卷积操作，得到第一特征图中各个位置对应的偏移量；根据各个所述位置对应的偏移量确定偏移后的各个新位置；基于插值算法、所述第一特征图和各个所述新位置生成第二特征图。6.根据权利要求5所述的方法，其特征在于，所述插值算法包括双线性插值算法；所述基于插值算法、所述第一特征图和各个所述新位置生成第二特征图的步骤，包括：根据以下表达式生成第二特征图：FTX(pn2)＝∑qG(q,p′n)×TX(q)其中，n表示得到第二特征图的所述帧图像的编号，pn2表示第二特征图中的位置，FTX(pn2)表示第二特征图中pn2处的特征，q表示所述第一特征图中的位置，p′n表示偏移后的新位置，TX(q)表示所述