物体检测方法和装置、神经网络训练方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108875482A(43)申请公布日2018.11.23(21)申请号201710827779.8(22)申请日2017.09.14(71)申请人北京旷视科技有限公司地址100190北京市海淀区科学院南路2号A座313室申请人北京迈格威科技有限公司(72)发明人何蔚然周舒畅冯迭乔(74)专利代理机构北京市柳沈律师事务所11105代理人张晓明(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/08(2006.01)权利要求书4页说明书11页附图8页(54)发明名称物体检测方法和装置、神经网络训练方法和装置(57)摘要本公开提供了一种基于神经网络的物体检测方法和装置、用于物体检测的神经网络的训练方法和装置、以及计算机可读存储介质。该神经网络包括输入层、中间层和输出层。物体检测方法包括：获取待检测的图像；经由输入层输入图像；经由中间层中级联的多个计算节点中的每个计算节点的卷积层对输入的数据执行卷积计算以获得中间表示，并对获得的中间表示执行二值化处理；经由所述输出层输出图像的热力图和热力图中每个像素对应的包围框的X通道值，热力图表示图像中的每个像素是否属于检测目标，每个像素对应的包围框用于在图像上标记所述每个像素对应的检测目标；以及根据热力图和热力图中每个像素对应的包围框的X通道值，确定至少一个目标包围框。CN108875482ACN108875482A权利要求书1/4页1.一种基于神经网络的物体检测方法，其中，所述神经网络包括输入层、中间层和输出层，所述物体检测方法包括：获取待检测的图像；经由所述输入层输入所述图像；经由所述中间层中级联的多个计算节点中的每个计算节点的卷积层对输入的数据执行卷积计算以获得中间表示，并对获得的所述中间表示执行二值化处理；经由所述输出层输出所述图像的热力图和所述热力图中每个像素对应的包围框的X通道值，其中，X的取值为大于或等于2的整数，所述热力图表示所述图像中的每个像素是否属于检测目标，所述每个像素对应的包围框用于在所述图像上标记所述每个像素对应的检测目标；以及根据所述热力图和所述热力图中每个像素对应的包围框的X通道值，确定至少一个目标包围框。2.如权利要求1所述的物体检测方法，其中，所述根据所述热力图和所述热力图中每个像素对应的包围框的X通道值，确定至少一个包围框，包括：根据所述热力图中属于检测目标的多个像素的位置和所述多个像素各自对应的包围框的X通道值，确定多个包围框；对所述多个包围框中用于标记同一检测目标的包围框执行去重处理，得到所述至少一个目标包围框。3.如权利要求1或2所述的物体检测方法，其中，所述至少一个目标包围框为多个目标包围框，所述多个目标包围框中任意两个目标包围框标记的检测目标互不重合。4.如权利要求1或2所述的物体检测方法，其中，所述对获得的所述中间表示执行二值化处理，包括：对所述热力图所在的通道的所述中间表示执行二值化处理。5.如权利要求1所述的物体检测方法，还包括：预先训练所述神经网络，其中，所述预先训练所述神经网络包括：经由所述输入层输入训练图像；经由所述中间层中级联的多个计算节点中的每个计算节点的卷积层对输入的数据执行卷积计算以获得中间表示，并对所述多个计算节点中的至少一个计算节点的中间表示执行二值化处理；经由所述输出层输出训练结果，所述训练结果包括所述训练图像的热力图和所述训练图像的热力图中每个像素对应的包围框的X通道值；以及在所述神经网络的损失函数满足预定条件时，获得训练好的所述神经网络，在所述神经网络的损失函数不满足预定条件时，继续输入训练图像以重复执行上述训练过程，其中所述损失函数是根据所述训练结果确定的。6.如权利要求5所述的物体检测方法，其中，所述预先训练所述神经网络还包括：对所述多个计算节点中的多个卷积层中的至少一个卷积层的权重执行二值化处理。7.如权利要求1或2所述的物体检测方法，其中，所述经由所述中间层中级联的多个计算节点中的每个计算节点的卷积层对输入的数据执行卷积计算包括：2CN108875482A权利要求书2/4页在所述中间层中的每个计算节点的卷积层中，将所述卷积层的二值化的权重矩阵与所述输入的数据执行按位异或处理，将按位异或处理后的二值化串中1的个数作为所述卷积层的中间表示。8.一种用于物体检测的神经网络的训练方法，其中，所述神经网络包括输入层、中间层和输出层，所述训练方法包括：经由所述输入层输入训练图像；经由所述中间层中级联的多个计算节点中的每个计算节点的卷积层对输入的数据执行卷积计算以获得中间表示，并对所述多个计算节点中的至少一个计算节点的中间表示执行二值化处理；经由所述输出层输出训练结果，所述训练结果包括所述训练图像的热