一种基于神经网络多尺度特征图的行人检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108133235A(43)申请公布日2018.06.08(21)申请号201711396890.2(22)申请日2017.12.21(71)申请人中通服公众信息产业股份有限公司地址830000新疆维吾尔自治区乌鲁木齐市黄河路191号(72)发明人舒泓新蔡晓东陈昀王秀英贺光明(74)专利代理机构济南智圆行方专利代理事务所(普通合伙企业)37231代理人张玉琳(51)Int.Cl.G06K9/62(2006.01)G06K9/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书4页附图1页(54)发明名称一种基于神经网络多尺度特征图的行人检测方法(57)摘要本发明公开了一种基于神经网络多尺度特征图的行人检测方法，检测方法为：收集行人检测样本；对选取的视频进行截帧处理，仅保留含有行人的图片；制作样本标签；搭建轻量化残差特征提取网络；搭建多尺度特征图行人检测网络；对搭建的特征提取网络在样本数据集进行网络预训练；将训练好的特征提取网络与搭建的检测网络进行拼接，使用准备好的行人训练数据集进行最终的网络训练。本发明的有益效果是：本发明的检测方法是将残差网络作为特征提取网络，并与多尺度特征图行人检测网络进行拼接，能够在场景复杂、行人尺度变化大情况下进行检测，且准确率高、检测效率高等优势。CN108133235ACN108133235A权利要求书1/2页1.一种基于神经网络多尺度特征图的行人检测方法，其特征在于，所述检测方法为：步骤S1：收集行人检测样本；对选取的视频进行截帧处理，对含有行人的图片保留并构成行人检测数据集，不含行人的图片丢弃；步骤S2：制作样本标签，对行人检测数据集中一张图片中的每一个行人目标的坐标保存到xml格式的标签文件；步骤S3：搭建轻量化残差特征提取网络；步骤S4：搭建多尺度特征图行人检测网络；步骤S5：对步骤S3搭建的特征提取网络在imagenet数据集进行网络预训练；步骤S6：将步骤S5训练好的特征提取网络与步骤S4搭建的检测网络进行拼接，使用准备好的行人训练数据集进行最终的网络训练。2.根据权利要求1所述的基于神经网络多尺度特征图的行人检测方法，其特征在于，步骤S1中所述的截帧处理，具体为：对每个视频3秒截取一帧并保存为jpg图片格式。3.根据权利要求1或2所述的基于神经网络多尺度特征图的行人检测方法，其特征在于，所述步骤S2中所述的制作样本标签，具体为：将一张图片中每个行人目标左上角、右下角的坐标写入xml文件进行保存，保存xml文件名与图片名一致。4.根据权利要求1-3任一项所述的基于神经网络多尺度特征图的行人检测方法，其特征在于，所述步骤S3中的轻量化残差特征提取网络具体为：将残差网络使用的普通3*3卷积层替换为先使用1*1的卷积层，然后对卷积输出的每一个通道进行3*3的独立卷积，最后将所有3*3的独立卷积层的输出拼接。5.根据权利要求1-4任一项所述的基于神经网络多尺度特征图的行人检测方法，其特征在于，所述步骤S4中，所述多尺度特征行人检测网络，由3个卷积核为3*3卷积层组成，每个卷积层再接两个卷积层；两个卷基层中，其中一个后接smothL1loss进行坐标回归用于预测行人位置，另一个后接softmaxloss进行分类用于判断默认框是否含有行人。6.根据权利要求1-5任一项所述的基于神经网络多尺度特征图的行人检测方法，其特征在于，所述步骤S4的所述行人检测网络，用于对每一尺度的每一张特征图，按照不同默认框的大小和长宽比生成k个默认框，对默认框和标签文件中的行人坐标进行jaccard计算，结果大于0.7的作为正样本，小于等于0.7的样本作为负样本。7.根据权利要求6所述的基于神经网络多尺度特征图的行人检测方法，其特征在于，所述默认框以滑动形式遍历整张特征图，使用5个不同层的特征图来做预测，遍历最底层的特征图的默认框缩放系数为Smax，遍历最高层的特征图的默认框缩放系数为Smin，其他中间层的特征图的默认框缩放系数通过下面公式计算得到：每个默认框有着不同的长宽比，用c来表示：所以每个默认框的长宽为：其中，Smax为最底层的特征图的默认框缩放系数，Smin为最高层的特征图的默认框缩放2CN108133235A权利要求书2/2页系数，m为用来进行预测的不同层特征图的层数。8.根据权利要求1-6任一项所述的基于神经网络多尺度特征图的行人检测方法，其特征在于，所述步骤S5中，所述特征提取网络在imagenet数据集进行网络预训练时，使用一种多分类的逻辑回归进行分类训练：xi＝xi-max(x1,...,xn)Loss＝-logpk并对其加入一个约束项，相当于把每一个输入样本都自动配了一个类中心其中，公式中，n为类别数