一种变电站场景下的实时3D人体姿态估计的方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114445815A(43)申请公布日2022.05.06(21)申请号202111505787.3(51)Int.Cl.(22)申请日2021.12.10G06V20/64(2022.01)G06V40/20(2022.01)(71)申请人国网甘肃省电力公司电力科学研究G06K9/62(2022.01)院G06N3/04(2006.01)地址730000甘肃省兰州市安宁区万新北G06N3/08(2006.01)路249号G06V10/26(2022.01)申请人国网甘肃省电力公司G06V10/44(2022.01)全球能源互联网研究院有限公司G06V10/80(2022.01)(72)发明人张祥全赵金雄王利平张驯G06V10/82(2022.01)李洪斌马志程聂江龙狄磊刘超张国梁贺洲强卢卫疆陈钊杜泽旭王锋夏天陈维赵连斌朱海涛(74)专利代理机构北京盛凡佳华专利代理事务所(普通合伙)11947专利代理师陈文丽权利要求书2页说明书5页附图4页(54)发明名称一种变电站场景下的实时3D人体姿态估计的方法(57)摘要本发明涉及一种变电站场景下的实时3D人体姿态估计的方法，基于自顶向下和自底向上方法融合以及多层Transformer网络架构的3D姿态估计网络，实现了变电站作业场景下的人体3D关节点提取，提出基于自顶向下和自底向上方法融合的策略，分别计算自顶向下和自底向上两种方法生成的2D关节点结果相似度，并与人工设定阈值比较，实现自顶向下和自底向上两种方法的融合并提升了3D人体姿态估计的鲁棒性。本发明使用Transformer代替卷积神经网络，利用其自监督能力获取输入图像的时序信息与空间信息，改善对于遮挡目标的估计能力，进一步提升人体3D关节点估计的准确性。CN114445815ACN114445815A权利要求书1/2页1.一种变电站场景下的实时3D人体姿态估计的方法，其特征在于，包括如下操作步骤：S1、将摄像机水平放置在作业现场中，使变电站现场运维人员均在相机视野中，得到1920×1080分辨率的RGB图像，摄像机高H，单位为米，距离作业人员为L，单位为米，并将所有图像样本按设定尺寸归一化大小为224×224；S2、将S1中得到的图像作为输入，输入至行人检测网络中，得到带有行人候选框的RGB图像，将图像以候选框为边界进行分割，得到一系列仅包含1个作业人员的子图像；S3、直接把S2中得到的图像输入至Resnet‑50中进行特征提取，得到2048×7×7大小的特征图；将特征图进行展平分块，使其成为2048个1×7×7大小的特征图，在经过空间维度的降解，网络将2048个1×49大小的特征映射融合其位置信息一同输入至多层Transformer网络，再将结果输入至上采样网络进行恢复，最终通过2D关节坐标回归网络中得到关节点像素坐标；为了使预测结果向真值回归，利用最优二分匹配损失优化结果，代价损失函数Loss如下所示：其中Q为关节点个数，yi为真值，为预测值，M为匹配函数；为了使预测关节点和真值关节点的代价损失更小，在训练过程中引入了新的损失函数F，F的表达式如下：其中p为关节点类概率，ci为第i个关节点的类标号，di为关节点真值坐标，为关节点预测坐标，最终回归得到更为准确的2D关节点像素坐标。S4、在S2和S3的基础上并联基于Transformer的自底向上人体姿态估计网络，将S1得到的图像作为输入，输入至Resnet‑50中进行特征提取，得到2048×7×7大小的特征图。将特征图进行展平切分，使其降维成2048个1×7×7大小的特征图，在经过空间维度的降解，将2048个1×49大小的特征映射融合其位置信息一同输入至多层Transformer网络中，通过2D坐标回归网络输出2D关节点的像素坐标；S5、为了提升2D关节点的鲁棒性，将S3和S4所生成的2D关节点进行融合，度量S3和S4生成关节点的相似度，相似度公式如下：其中Q为总关节点个数，为S4输出第i个人第q个关节点的置信度，为S3输出第j个人第q个关节点置信度，为S3和S4输出关节点的欧氏距离的平方，σ为常数，设定为0.5；S6、该步骤将S5得到的2D关节点提升至3D关节点，将每个关节点2D坐标与位置信息输入至Transformer网络中进行编码，最终输出编码后的特征；S7、将S5中得到的连续27帧结果输入经过展平降维后的各个关节点及关节点位置信息2CN114445815A权利要求书2/2页输入至空间Transformer中，将其编码输出与位置信息相结合输入至多层Transformer中，利用损失函数L来回归关节点3D坐标，损失函数L公式如下：其中Q为关节点个数，Gi为第i个关节点的深度真值，Gi为第i个关节点的预测深度值，