一种室内复杂场景的物体姿态估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241051A(43)申请公布日2022.03.25(21)申请号202111571623.0(51)Int.Cl.(22)申请日2021.12.21G06T7/73(2017.01)G06N3/04(2006.01)(71)申请人盈嘉互联（北京）科技有限公司G06N3/08(2006.01)地址100000北京市石景山区晋元庄路6号首钢体育大厦十三层1308申请人盈嘉互联（上海）建筑科技有限公司深圳市盈嘉互联科技有限公司盈嘉互联（北京）智慧科技有限公司嘉兴乌镇盈嘉千镇科技有限公司深圳前海盈嘉数据服务有限公司佛山市盈嘉智慧空间科技有限公司(72)发明人周小平王佳冯驰原李杨志(74)专利代理机构北京东方盛凡知识产权代理事务所(普通合伙)11562代理人许佳权利要求书2页说明书5页附图2页(54)发明名称一种室内复杂场景的物体姿态估计方法(57)摘要本发明公开一种室内复杂场景的物体姿态估计方法，包括先利用关键点的检测网络对物体关键点进行检测，然后使用联合嵌入的方式对候选对象进行提取，最后利用决策判断网络对目标物体进行推理输出；本发明提出的物体姿态估计方法在性能和精度上均优于现有方法，其只依赖于一个RGB图像，即能够对复杂场景下，被中度到重度遮挡的目标物体进行更加精确的推理与预估，且不受单个视觉算法的限制，相比传统物体姿态估计方法更具鲁棒性，能够对目标物体被遮挡的部分进行有效推理，对计算机视觉领域和图像处理领域均作出重要贡献，可以广泛应用于室内设计、内容重建、场景理解等方面。CN114241051ACN114241051A权利要求书1/2页1.一种室内复杂场景的物体姿态估计方法，其特征在于，包括以下步骤：步骤一：先采集室内复杂场景的高分辨率特征图作为输入特征图，接着采用卷积策略将高分辨率特征图下采样至低分辨率特征图，再从低分辨率特征图恢复至高分辨率特征图，作为输出特征图，并进行特征图多尺度特征提取，从输入特征图中生成单个物体姿态估计的关键点；步骤二：先训练联合嵌入网络来检测单个物体姿态估计的关键点，再使用堆叠沙漏模型来预测每个关键点在每个像素位置的检测得分，其中网络对每个关键点的每个像素位置产生一个标签，接着使用非极大值抑制来取得每个关键点热力图峰值，然后检索关键点热力图峰值对应位置的标签，之后比较所有物体位置的标签，找到接近的标签分为一组，最后将关键点匹配在单个物体上，提取出候选对象；步骤三：先用概率模型捕获从场景中获得候选对象的统计数据，再使用概率模型对候选对象进行学习与优化，然后考虑关键点的标签与当前物体的匹配，并确认关键点的标签与当前物体之间的最佳匹配，在此过程中，循环迭代遍历当前物体的每一个关键点，直到每次检测都能够被分配到一个物体实例，实现目标物体姿态的推理输出。2.根据权利要求1所述的一种室内复杂场景的物体姿态估计方法，其特征在于：所述步骤一中，输出特征图与输入特征图具有相同的分辨率且并行连接高分辨率与低分辨率网络，还包括一个估计热力图的回归器，回归器生成的热力图用于关键点位置的选择并且转换至全分辨率。3.根据权利要求2所述的一种室内复杂场景的物体姿态估计方法，其特征在于：在并行连接的网络中引入交换单元，使网络中每个子网重复接收从其他并行子网接收的信息，重复融合多分辨率的模块，跨分辨率交换信息。4.根据权利要求3所述的一种室内复杂场景的物体姿态估计方法，其特征在于：自最后一个交换单元输出的高分辨率表征中回归热力图，将均方误差作为损失函数，用于比较预测热力图与真值热力图，其中真值热力图通过计算以每个关键点的组真实位置为中心的二维高斯标准差得到。5.根据权利要求1所述的一种室内复杂场景的物体姿态估计方法，其特征在于：所述步骤二中，若一张特征图中待检测的关键点有m个，则网络理想状态下输出2m个通道，其中m个通道用于定位，m个通道用于分组。6.根据权利要求1所述的一种室内复杂场景的物体姿态估计方法，其特征在于：所述步W×H骤二中，形式上，将hk∈R作为第k关键点的预测标记热力图，其中h(x)像素位置x处的标记值，若存在N个目标物体，使得真值关键点位置为T＝{xnk}，n＝1,...,N，k＝1,...,K，其中xnk是第个n物体的第k个关键点的真值像素位置，假设所有的关键点k都有标注，则第n个物体的标准嵌入为：因此分组损失函数hg定义为：2CN114241051A权利要求书2/2页为了提取候选对象，先确定关键点迭代顺序，再逐个迭代每个关键点。7.根据权利要求1所述的一种室内复杂场景的物体姿态估计方法，其特征在于：所述步骤三中，只有当两个标签位于特定阈值内，关键点的标签与当前物体才能匹配。8.根据权利要求1所述的一种室内复杂场景的物体姿态估计方法