一种基于多尺度注意力约束的目标定位方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114202649A(43)申请公布日2022.03.18(21)申请号202111536372.2(22)申请日2021.12.15(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号南京理工大学(72)发明人冯迅宫辰(74)专利代理机构北京高沃律师事务所11569代理人刘芳(51)Int.Cl.G06V10/24(2022.01)G06V10/764(2022.01)G06K9/62(2022.01)G06N3/08(2006.01)权利要求书2页说明书9页附图4页(54)发明名称一种基于多尺度注意力约束的目标定位方法及系统(57)摘要本发明涉及一种基于多尺度注意力约束的目标定位方法及系统，方法包括：对训练图片进行数据增广和缩放，得到多张不同尺度的输入图片；根据输入图片利用神经网络进行预测分类，得到分类类别；根据分类类别确定交叉熵损失函数；对多张不同尺度的输入图片进行融合，确定多张不同尺度的类激活图；根据多张不同尺度的类激活图确定注意力的散度损失函数和定位结果；以多张不同尺度的输入图片为输入，以分类类别为输出，以交叉熵损失函数和散度损失函数为损失函数，利用随机梯度下降法对神经网络的参数进行训练，得到训练好的神经网络；将测试图片输入训练好的神经网络，得到定位信息，本发明通过对图片尺度进行处理从而提高目标定位的精度。CN114202649ACN114202649A权利要求书1/2页1.一种基于多尺度注意力约束的目标定位方法，其特征在于，包括：对训练图片进行数据增广和缩放，得到多张不同尺度的输入图片；根据所述输入图片利用神经网络进行预测分类，得到分类类别；根据所述分类类别确定交叉熵损失函数；对多张所述不同尺度的输入图片利用神经网络进行融合，确定多张不同尺度的类激活图；根据多张所述不同尺度的类激活图确定注意力的散度损失函数和定位结果；以多张所述不同尺度的输入图片为输入，以分类类别为输出，以所述交叉熵损失函数和所述散度损失函数为损失函数，利用随机梯度下降法对所述神经网络的参数进行训练，得到训练好的神经网络；将测试图片输入所述训练好的神经网络，得到定位信息；所述定位信息包括分类类别和定位结果。2.根据权利要求1所述的基于多尺度注意力约束的目标定位方法，其特征在于，所述交叉熵损失函数的表达式为：其中，Lce表示交叉熵损失，pc表示预测分类，yc表示标注类别，C表示类别数量，c表示预测分类。3.根据权利要求1所述的基于多尺度注意力约束的目标定位方法，其特征在于，所述对多张所述不同尺度的输入图片利用神经网络进行融合，确定多张不同尺度的类激活图，具体包括：根据多张所述不同尺度的输入图片利用神经网络生成不同尺度的第一类激活图；将所述不同尺度的第一类激活图进行融合，得到融合类激活图；将所述融合类激活图利用全连接条件随机场进行优化，得到多张不同尺度的类激活图。4.根据权利要求3所述的基于多尺度注意力约束的目标定位方法，其特征在于，所述融合类激活图的表达式为：CAMfusion＝(CAM’0.5+CAM1+CAM’1.5+CAM’2)/4其中，CAMfusion表示融合类激活图，CAM’0.5表示缩放比例为0.5的第一类激活图，CAM1表示缩放比例为1的第一类激活图，CAM’1.5表示缩放比例为1.5的第一类激活图，CAM’2表示缩放比例为2的第一类激活图。5.根据权利要求3所述的基于多尺度注意力约束的目标定位方法，其特征在于，所述类激活图的表达式为：CAMcrf＝Q(X；CAMfusion)其中，CAMcrf表示类激活图，CAMfusion表示融合类激活图，Q表示全连接条件随机场，X表示训练图片。6.根据权利要求1所述的基于多尺度注意力约束的目标定位方法，其特征在于，所述注意力的散度损失函数的表达式为：2CN114202649A权利要求书2/2页其中，LKL表示散度损失，n表示输入图片数量，u表示类激活图中的每个空间位置，c表示预测分类，X表示缩放比例为1的输入图片，fu,c(X)表示从网络中提取的类激活图CAM1，CAMcrf表示类激活图。7.一种基于多尺度注意力约束的目标定位系统，其特征在于，包括：数据增广和缩放模块，用于对训练图片进行数据增广和缩放，得到多张不同尺度的输入图片；预测分类模块，用于根据所述输入图片利用神经网络进行预测分类，得到分类类别；交叉熵损失确定模块，用于根据所述分类类别确定交叉熵损失函数；融合模块，用于对多张所述不同尺度的输入图片利用神经网络进行融合，确定多张不同尺度的类激活图；散度损失确定模块，用于根据多张所述不同尺度的类激活图确定注意力的散度损失函数和定位结果；训练模块，用于以多张所述不同尺度的输入图片为输入，以分类类别