一种基于车辆特征匹配的无人机视频车辆检索方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114220053A(43)申请公布日2022.03.22(21)申请号202111534212.4G06V10/764(2022.01)(22)申请日2021.12.15G06V10/75(2022.01)(71)申请人北京建筑大学地址100044北京市西城区展览路1号(72)发明人吕京国白颖奇曹逸飞王琛贺柳良(74)专利代理机构北京市盛峰律师事务所11337代理人席小东(51)Int.Cl.G06V20/40(2022.01)G06V20/10(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书5页说明书14页附图3页(54)发明名称一种基于车辆特征匹配的无人机视频车辆检索方法(57)摘要本发明提供一种基于车辆特征匹配的无人机视频车辆检索方法，包括以下步骤：将图像帧输入到训练完成的抑光模型、特征增强的多尺度车辆检测模块中，获取多个车辆检测结果框:在图像帧中分别截取每个车辆检测结果框中的图像，得到z个检测车辆图；将每个检测车辆图与目标车辆图S输入到多特征联合车辆搜索网络进行特征匹配，得到目标车辆所在的检测车辆图；从而完成对目标车辆的检索定位。本发明适用于无人机在不同复杂场景下拍摄的视频，最大限度去除光照导致车辆细节信息不足和无人机不同高度下目标大小变化的影响，解决待查询车辆在众多目标中难以发现的问题，可以更加准确的检索到待查询车辆。CN114220053ACN114220053A权利要求书1/5页1.一种基于车辆特征匹配的无人机视频车辆检索方法，其特征在于，包括以下步骤：步骤1，确定需要检索的目标车辆图S；步骤2，无人机对地面进行拍摄，获得无人机视频数据；步骤3，对所述无人机视频数据的每一帧图像均执行步骤4‑步骤8，判断每一帧图像中是否包含需要检索的目标车辆图S：其中，将当前图像帧记为Frm(t)，t为当前图像帧的帧数，采用以下步骤4‑步骤8，判断图像帧Frm(t)中是否包含需要检索的目标车辆图S：步骤4，将所述图像帧Frm(t)输入到训练完成的抑光模型中，进行特征提取和抑光处理，得到包含n个图层的光照抑制特征图，记为FRestrainMap；步骤5，将光照抑制特征图FRestrainMap输入到特征增强的多尺度车辆检测模块中，获取图像帧Frm(t)中的z个车辆检测结果框：步骤5.1，光照抑制特征图FRestrainMap具有n个图层，对于每一图层，表示为：图层layeri，i＝1，...n，均执行步骤5.1.1‑步骤5.1.3，得到图层layeri的依赖权重值w″i：步骤5.1.1，计算图层layeri的所有像素点的平均值，作为图层layeri的初始权重wi；步骤5.1.2，将图层layeri的初始权重wi输入到全连接层，通过sigmoid激活函数，将初始权重wi映射到(0，1)特征空间，从而输出图层layeri的归一化权重值w′i；步骤5.1.3，建立分段函数，对图层layeri的归一化权重值w′i进行分段抑制或增强，得到图层layeri的依赖权重值w″i：其中：ε代表系统常数，用于调节依赖权重值对图层的影响程度；步骤5.2，由于得到光照抑制特征图FRestrainMap的n个图层的依赖权重值，分别为：w″1...w″n；将w″1...w″n合并，得到光照抑制特征图FRestrainMap的1*1*n的依赖权重向量W″；将依赖权重向量W″作为卷积核对光照抑制特征图FRestrainMap进行卷积，得到图层增强特征图FEhcMap；步骤5.3，将图层增强特征图FEhcMap输入到小目标响应层，得到小目标显著特征图FSmallMap；其中，小目标显著特征图FSmallMap中包含更多的车辆细节信息，在无人机飞行高度较高时，可提高小目标车辆检测的成功率；步骤5.4，将小目标显著特征图FSmallMap输入到大目标响应层，得到大目标显著特征图FLargeMap；其中：大目标显著特征图FLargeMap包含更多的语义信息，在无人机飞行高度较低时，可提高大目标车辆检测的精确率；步骤5.5，将小目标显著特征图FSmallMap输入到结果框生成层，从而在图像帧Frm(t)中，得到p个小目标车辆检测结果框BoxSmall(1)...BoxSmall(p)；将大目标显著特征图FLargeMap输入到结果框生成层，从而在图像帧Frm(t)中，得到q个2CN114220053A权利要求书2/5页大目标车辆检测结果框BoxLarge(1)...BoxLarge(q)；具体方法为：步骤5.5.1，将小目标显著特征图FSmallMap中的每个像素点作为锚点，以每个锚点为中心，生成多个大小不同的候选