一种基于孪生神经网络的单目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113838099A(43)申请公布日2021.12.24(21)申请号202111222926.1(22)申请日2021.10.20(71)申请人浙江大立科技股份有限公司地址310051浙江省杭州市滨江区滨康路639号(72)发明人杨兆龙庞惠民夏永清(74)专利代理机构中国航天科技专利中心11009代理人徐晓艳(51)Int.Cl.G06T7/246(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于孪生神经网络的单目标跟踪方法(57)摘要本发明涉及一种基于孪生神经网络的单目标跟踪方法，该方法包括如下步骤：S1、获取模板图像和当前帧搜索图像；S2、将模板图像和当前帧搜索图像分别送入训练好的siamfc++网络中，得到预测分类响应图、预测质量响应图和回归响应图；S3、将预测分类响应图和预测质量评估响应图进行点乘得到预测概率图；S4、获取预测概率图最大响应点所对应的回归响应图上坐标值，作为预测目标的坐标值，将预测目标的坐标值映射到搜索图像对应的坐标系下，得到目标的位置。CN113838099ACN113838099A权利要求书1/2页1.一种基于孪生神经网络的单目标跟踪方法，其特征在于包括如下步骤：S1、获取模板图像和当前帧搜索图像。S2、将模板图像和当前帧搜索图像分别送入训练好的siamfc++网络中，得到预测分类响应图、预测质量响应图和回归响应图；S3、将预测分类响应图和预测质量评估响应图进行点乘得到预测概率图；S4、获取预测概率图最大响应点所对应的回归响应图上坐标值，作为预测目标的坐标值，将预测目标的坐标值映射到搜索图像对应的坐标系下，得到目标的位置。2.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述siamfc++网络为孪生神经网络，所述孪生神经网络包括类别预测分支、预测质量评估分支，边框回归分支；模板图像和搜索图像输入至类别预测分支后，得到模板图像和搜索图像的分类特征图，模板图像和搜索图像的分类特征图进行卷积操作，得到分类响应图；模板图像和搜索图像输入至预测质量评估分支后，得到模板图像和搜索图像的预测质量评估特征图，模板图像和搜索图像的预测质量评估特征图进行卷积操作，得到质量评估响应图；模板图像和搜索图像输入至边框回归分支后，得到模板图像和搜索图像的回归特征图，模板图像和搜索图像的回归特征图进行卷积操作，得到回归响应图。3.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述siamfc++网络的训练方法如下：S1.1、从LaSOT数据集中获取裁剪后的模板图像和搜索图像；S1.2、将裁剪后的模板图像和搜索图像输入至siamfc++网络，得到预测分类响应图、预测质量响应图和回归响应图；S1.3、预测分类响应图、预测质量响应图和回归响应图，分别计算类别预测分支、预测质量评估分支，边框回归分支的损失函数；S4、将三支路损失函数的总和作为siamfc++网络总的损失函数，使用随机梯度下降算法进行损失优化，得到使得siamfc++网络总的损失函数达到最小值，从而确定siamfc++网络的参数。4.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述边框回归分支采用GIOU函数作为损失函数。5.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述类别预测分支采用梯度模长作为损失函数，该损失函数公式如下：式中，N为分类响应图中的特征点数；i为分类响应图中的特征点序号，即类别预测分支模型样本的序号；GD(gi)为类别预测分支模型第i个样本的梯度密度。6.根据权利要求5所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述梯度密度GD(gi)的计算公式为：2CN113838099A权利要求书2/2页式中，δε(gk,gi)为1或者0，当第k个样本的梯度模长gk分布在范围内时，δε(gk,gi)为1，否则δε(gk,gi)为0；lε(gi)代表了区间的长度，即ε。7.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述梯度模长gi的计算公式如下：其中，是类别预测模型的预测概率，的取值为0或1，是训练集样本的标签。8.根据权利要求1所述的一种基于孪生神经网络的单目标跟踪方法，其特征在于所述质量评估分支采用BCE‑loss作为损失函数。3CN113838099A说明书1/6页一种基于孪生神经网络的单目标跟踪方法技术领域[0001]本发明涉及是深度学习技术的单目标跟踪方法，特别是深度学习网络结构中的孪生网络和无需事先设置先验框的目标检测技