基于多任务深度学习的骑行人员未佩戴头盔行为检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887343A(43)申请公布日2022.01.04(21)申请号202111086458.X(22)申请日2021.09.16(71)申请人浙江工商大学地址310018浙江省杭州市下沙高教园区学正街18号(72)发明人陈卫刚余泽(74)专利代理机构杭州求是专利事务所有限公司33200代理人傅朝栋张法高(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)H04N7/18(2006.01)权利要求书3页说明书8页附图2页(54)发明名称基于多任务深度学习的骑行人员未佩戴头盔行为检测方法(57)摘要本发明公开了一种基于多任务深度学习的电动车骑行人员未佩戴头盔检测方法，涉及计算机视觉领域。该方法采用两个子网络，分别用于检测图像中的非机动车等占据较大区域的对象和骑行人头部区域，两个子网络共享同一个特征提取模块以及特征金字塔网络的部分层次，除此之外，两个子网络还拥有各自的输入模块和检测模块，从而可有效地避免目标大小相差悬殊对检测系统产生的影响。相对于现有技术中使用一个网络同一组权值参数检测大小差异显著的目标时所采用的方法，本发明能够大大提高对于骑行人员未佩戴头盔行为检测的准确性。CN113887343ACN113887343A权利要求书1/3页1.一种基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，该方法包括：构建两个子网络B‑Net和H‑Net，两个子网络之间共享特征提取模块以及用于融合特征提取模块提取的各个层次特征的特征金字塔网络，同时两个子网络还各自具有输入模块和检测模块；待检测图像分别输入B‑Net和H‑Net的输入模块中，由共享的特征提取模块提取不同层级的特征图，并使用特征金字塔网络融合不同层级的特征图，再将融合特征图分别输入到B‑Net和H‑Net的检测模块，由B‑Net的检测模块检测图像中非机动车包围框，由H‑Net的检测模块检测图像中包含佩戴或未佩戴头盔两种分类类别的骑行人头部区域包围框；若非机动车包围框和被检测为未佩戴头盔的骑行人头部区域包围框之间满足预设的位置关系，则判定为该骑行人员未佩戴头盔。2.如权利要求1所述的基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，所述B‑Net和H‑Net的输入模块具有相同的结构，按数据前向传播时的数据流向，输入数据首先经过一个包含64个7×7卷积核且卷积步长为2的卷积层，卷积层后接批规范化操作和ReLU激活操作，然后再经过一个采样核大小为3×3、进行最大池化操作且步长为2的池化层，池化层之后再经过ResNet101的第1级卷积层组。3.如权利要求1所述的基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，所述B‑Net和H‑Net共享的特征提取模块包含ResNet101的第2、3和4级卷积层组，并且使用特征金字塔网络融合各个卷积层组输出的特征图；其中ResNet101的第4级卷积层组的输出特征图C4作为特征金字塔网络最顶层的输入，首先经过一个包含256个1×1卷积核且卷积步长为1的卷积层，产生特征图然后经过一个包含256个3×3卷积核且卷积步长为1的卷积层，形成特征图P4；ResNet101的第3级卷积层组的输出特征图C3在特征金字塔网络中首先经过一个包含256个1×1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3×3卷积核且卷积步长为1的卷积层，形成特征图P3；ResNet101的第2级卷积层组的输出特征图C2在特征金字塔网络中首先经过一个包含256个1×1卷积核且卷积步长为1的卷积层，产生的特征图与经上采样操作后形成的特征图进行逐元素的求和运算，产生特征图然后经过一个包含256个3×3卷积核且卷积步长为1的卷积层，形成特征图P2。4.如权利要求1所述的基于多任务深度学习的骑行人员未佩戴头盔行为检测方法，其特征在于，所述B‑Net和H‑Net的检测模块具有相同的结构，该结构包括一个分类子网络和一个回归子网络；所述分类子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3×3大小的卷积核，卷积步长为1，且每个卷积层后接ReLU激活操作，第5个卷积层包含K×A个3×3大小的卷积核，卷积步长为1，其中K为分类类别数目，A为预设的每个点的检测框数目，最后以Sigmoid函数为每个检测框输出预测的分类类别；2CN113887343A权利要求书2/3页所述回归子网络包括5个卷积层，前4个卷积层具有相同的结构，均包含256个3×3大小的卷积核，卷积步长为1，且每个卷积层后