行人检测模型训练方法、装置以及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937905A(43)申请公布日2023.04.07(21)申请号202310109704.1G06N3/084(2023.01)(22)申请日2023.02.02G06N3/0455(2023.01)(71)申请人煤炭科学研究总院有限公司地址100013北京市朝阳区和平里青年沟东路5号(72)发明人马永壮程健李昊孙大智杨国奇许鹏远(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师孟洋(51)Int.Cl.G06V40/10(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06V10/40(2022.01)权利要求书2页说明书10页附图6页(54)发明名称行人检测模型训练方法、装置以及存储介质(57)摘要本公开提出一种行人检测模型训练方法、装置以及存储介质，包括：获取训练样本图像，并利用特征金字塔网络对训练样本图像进行处理，以得到特征金字塔，并将特征金字塔转化为图像块线性嵌入序列，并将图像块线性嵌入序列输入至预先构建的Transformer网络，以输出多个预测框的位置及置信度，并基于训练样本图像中实际框的位置及置信度，和预测框的位置及置信度，计算目标损失值，以及根据目标损失值进行反向传播，以更新网络权重，能够将特征金字塔网络与Transformer网络进行由粗到精的级联，使网络学习到行人图像中各个维度的特征，使之能够适应各种场景、环境下的检测和定位任务，提高行人检测和定位的准确性。CN115937905ACN115937905A权利要求书1/2页1.一种行人检测模型训练方法，其特征在于，包括：获取训练样本图像，其中，所述训练样本图像中存在至少一个行人；利用特征金字塔网络对所述训练样本图像进行处理，以得到特征金字塔；将所述特征金字塔转化为图像块线性嵌入序列；将所述图像块线性嵌入序列输入至预先构建的Transformer网络，以输出多个预测框的位置及置信度；基于所述训练样本图像中实际框的位置及置信度，和所述预测框的位置及置信度，计算目标损失值；以及根据所述目标损失值进行反向传播，以更新网络权重。2.如权利要求1所述的方法，其特征在于，所述基于所述训练样本图像中实际框的位置及置信度，和所述预测框的位置及置信度，计算目标损失值，包括：根据所述实际框的位置及置信度和所述预测框的位置及置信度，构建匹配关系矩阵；基于所述匹配关系矩阵，计算所述目标损失值。3.如权利要求2所述的方法，其特征在于，所述基于所述匹配关系矩阵，计算所述目标损失值，包括：基于所述匹配关系矩阵，迭代计算所述多个预测框中的目标预测框与所述实际框的候选损失值，其中，所述目标预测框的数量与所述实际框的数量相同；确定最小的所述候选损失值作为所述目标损失值。4.如权利要求3所述的方法，其特征在于，所述迭代计算所述多个预测框中的目标预测框与所述实际框的候选损失值，包括：采用Sinkhorn算法，迭代计算所述候选损失值。5.如权利要求3所述的方法，其特征在于，所述迭代计算所述多个预测框中的目标预测框与所述实际框的候选损失值，包括：根据所述目标预测框和所述实际框分别对应的置信度，计算行人分类损失值；根据所述目标预测框和所述实际框分别对应的位置，计算行人回归损失值；对所述行人分类损失值和所述行人回归损失值进行加权计算，确定所述候选损失值。6.如权利要求5所述的方法，其特征在于，其中，根据以下公式计算所述行人分类损失值，其中，表示所述实际框的置信度，表示所述目标预测框的置信度，表示所述行人分类损失值。7.如权利要求5所述的方法，其特征在于，其中，根据以下公式计算所述行人回归损失值，其中，表示所述实际框的位置，表示所述目标预测框的位置，表示所述行人回归损失值。8.如权利要求1所述的方法，其特征在于，其中，所述Transformer网络包括依次连接的2CN115937905A权利要求书2/2页多头自我注意层、归一化层、多层感知机。9.一种行人检测方法，其特征在于，包括：获取待预测的目标图像；将所述目标图像输入至如上述权利要求1‑8任一项所述的行人检测模型训练方法训练得到的行人检测模型之中，以得到第一行人框信息；对所述目标图像进行高斯背景建模，以得到第二行人框信息；以及根据所述第一行人框信息和所述第二行人框信息，确定所述目标图像中的行人。10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1‑8中任一项所述的行人检测模型训练方法，或者执行根据权利要求9所述的行人检测方法。3CN115937905A说明书1/10页行人检测模型训练方法、装置以及存储介质技术领域[0001]本公开涉及图像处理技术领域，尤其