用于行人检测和姿态估计的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107808111A(43)申请公布日2018.03.16(21)申请号201610811709.9(22)申请日2016.09.08(71)申请人北京旷视科技有限公司地址100190北京市海淀区科学院南路2号A座313申请人北京迈格威科技有限公司(72)发明人俞刚彭雨翔印奇(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06K9/00(2006.01)G06N3/08(2006.01)权利要求书4页说明书20页附图6页(54)发明名称用于行人检测和姿态估计的方法和装置(57)摘要本发明的实施例提供了一种用于行人检测和姿态估计的方法和装置。该方法包括：获取待处理图像；将待处理图像输入第一全卷积网络，以获得分别与第一预定数目种类的行人关节点中的每种行人关节点相关的关节点特征图和分别与待处理图像中的至少部分行人中的每个行人相关的行人特征图；将所获得的所有行人特征图和所有关节点特征图结合在一起形成经结合的特征图；以及将经结合的特征图输入第二全卷积网络，以获得至少部分行人中的每个行人的行人位置和关节点位置。根据本发明实施例的方法和装置使得行人检测的中间结果可以辅助行人姿态的估计并且行人姿态估计的中间结果也可以用于行人检测，因此可以提高行人检测和行人姿态估计的准确度。CN107808111ACN107808111A权利要求书1/4页1.一种用于行人检测和姿态估计的方法，包括：获取待处理图像；将所述待处理图像输入第一全卷积网络，以获得分别与第一预定数目种类的行人关节点中的每种行人关节点相关的关节点特征图和分别与所述待处理图像中的至少部分行人中的每个行人相关的行人特征图；将所获得的所有行人特征图和所有关节点特征图结合在一起形成经结合的特征图；以及将所述经结合的特征图输入第二全卷积网络，以获得所述至少部分行人中的每个行人的行人位置和关节点位置。2.如权利要求1所述的方法，其中，所述将所述经结合的特征图输入第二全卷积网络，以获得所述至少部分行人中的每个行人的行人位置和关节点位置包括：将所述经结合的特征图输入所述第二全卷积网络中的预定卷积层，以获得与所述至少部分行人一一相关的整体特征图；以及将所述与所述至少部分行人一一相关的整体特征图输入所述第二全卷积网络中的剩余卷积层，以获得所述至少部分行人中的每个行人的行人位置和关节点位置。3.如权利要求2所述的方法，其中，所述方法进一步包括：获取训练图像，其中，所述训练图像中的每个行人的特征点的位置是已标注好的；至少根据所述训练图像中的特征点生成标注数据；以及利用所述标注数据训练所述第一全卷积网络和所述第二全卷积网络。4.如权利要求3所述的方法，其中，所述标注数据包括与所述训练图像中的行人一一相关的目标整体特征图，所述利用所述标注数据训练所述第一全卷积网络和所述第二全卷积网络包括：以所述与所述训练图像中的行人一一相关的目标整体特征图作为所述第二全卷积网络针对所述训练图像获得的整体特征图的目标值构建损失函数；以及利用所构建的损失函数对所述第一全卷积网络和所述第二全卷积网络中的参数进行训练。5.如权利要求3所述的方法，其中，所述标注数据包括与所述训练图像中的行人一一相关的目标整体特征图、分别与所述训练图像中的每个行人相关的目标行人特征图和分别与所述第一预定数目种类的行人关节点中的每种行人关节点相关的目标关节点特征图，所述利用所述标注数据训练所述第一全卷积网络和所述第二全卷积网络包括：以所述分别与所述训练图像中的每个行人相关的目标行人特征图作为所述第一全卷积网络针对所述训练图像输出的行人特征图的目标值构建第一损失函数，以所述分别与所述第一预定数目种类的行人关节点中的每种行人关节点相关的目标关节点特征图作为所述第一全卷积网络针对所述训练图像输出的关节点特征图的目标值构建第二损失函数，并以所述与所述训练图像中的行人一一相关的目标整体特征图作为所述第二全卷积网络针对所述训练图像获得的整体特征图的目标值构建第三损失函数；以及利用所述第一损失函数、所述第二损失函数和所述第三损失函数对所述第一全卷积网络和所述第二全卷积网络中的参数进行训练。6.如权利要求5所述的方法，其中，所述至少根据所述训练图像中的特征点生成标注数2CN107808111A权利要求书2/4页据包括：对于所述第一预定数目种类的行人关节点中的每种行人关节点，生成与该种行人关节点相关的初始关节点特征图；以及对与该种行人关节点相关的初始关节点特征图进行高斯模糊，以获得与该种行人关节点相关的目标关节点特征图。7.如权利要求2所述的方法，其中，所述待处理图像是待处理视频中的当前视频帧，所述方法进一步包括：将针对所述当前视频帧获得的