一种基于单目摄像机的面向小目标手部隔空交互方法与装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115083016A(43)申请公布日2022.09.20(21)申请号202210653593.6G06N3/08(2006.01)(22)申请日2022.06.09(71)申请人广州紫为云科技有限公司地址510700广东省广州市黄埔区香雪八路98号F栋20层2001-1房(仅限办公)(72)发明人顾友良李观喜赵乾苏鹏(74)专利代理机构广州名扬高玥专利代理事务所(普通合伙)44738专利代理师赵丽(51)Int.Cl.G06V40/20(2022.01)G06V10/82(2022.01)G06V10/22(2022.01)G06T3/40(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图3页(54)发明名称一种基于单目摄像机的面向小目标手部隔空交互方法与装置(57)摘要本发明公开了一种基于单目摄像机的面向小目标手部隔空交互方法，所述信息采集模块检测到人体目标时，确定采集图像中的目标手部位置，通过超分辨率算法对采集图像中的目标手部进行处理；对经过超分辨率算法处理后的目标手部图像执行手部检测算法，将图像中的手部的信息裁剪出来，并将裁剪出的手部信息发送至手部关键点识别模块执行手部关键点检测；所述手部关键点识别模块对处理后的手部图像执行手部关键点识别算法，通过所述手部关键点识别算法对手部骨架进行分析，并基于分析结果生成基于手部骨骼的关键点；基于手部关键点判断当前的手势姿势状态，根据所述手势姿势状态对应的交互关系实现小目标的手部隔空交互操作。CN115083016ACN115083016A权利要求书1/2页1.一种基于单目摄像机的面向小目标手部隔空交互方法，所述方法应用于小目标手部隔空交互装置中，所述装置包括信息采集模块、算力提供模块、前端展示模块，其中，所述信息采集模块用于采集隔空交互的图像信息；所述算力提供模块从图像中判断当前操作者的手部状态，为隔空交互应用提供指令；所述前端展示模块用于展示出最终应用的结果，其特征在于，所述隔空交互方法包括：步骤1，所述信息采集模块检测到人体目标时，基于使用者的请求接收输入的图像信息，确定采集图像中的目标手部位置，通过超分辨率算法对采集图像中的目标手部进行处理；步骤2，对经过超分辨率算法处理后的目标手部图像执行手部检测算法，将图像中的手部的信息裁剪出来，并将裁剪出的手部信息发送至手部关键点识别模块执行手部关键点检测；步骤3，所述手部关键点识别模块对所述步骤2处理后的手部图像执行手部关键点识别算法，通过所述手部关键点识别算法对手部骨架进行分析，并基于分析结果生成基于手部骨骼的关键点；步骤4，基于手部关键点判断当前的手势姿势状态，根据所述手势姿势状态对应的交互关系实现小目标的手部隔空交互操作。2.如权利要求1所述的一种基于单目摄像机的面向小目标手部隔空交互方法，其特征在于，所述步骤2进一步包括：所述超分辨率算法的神经网络结构为9层卷积网络组成，每层卷积网络连接到其对应数字层的残差结构(residualblock)。3.如权利要求2所述的一种基于单目摄像机的面向小目标手部隔空交互方法，其特征在于，所述超分辨率算法的神经网络结构第一层为输入层，所述输入层连接到6,8,9数字层的残差块，然后输入模块1、模块2和模块3进行处理，其中，所述模块1由4个卷积层(convlayer)组成，每一层包括64个卷积核，每个卷积核的大小是3x3，所述模块2由1个卷积层组成，每一层包括48个卷积核，每个卷积核大小是1x1；所述模块3由4个卷积层组成，每一层包括64个卷积核，每个卷积核的大小是3x3。4.如权利要求3所述的一种基于单目摄像机的面向小目标手部隔空交互方法，其特征在于，所述超分辨率算法的神经网络的训练过程中采用Adam优化器，其中所述Adam优化器的参数选择为β1＝0.9,β2＝0.999，并采用L1作为损失，该损失函数如下列公式表示：其中，yi‑f(xi)表示预测值和真实数据的差。5.如权利要求1所述的一种基于单目摄像机的面向小目标手部隔空交互方法，其特征在于，所述步骤2中进一步包括：采用目标检测框架yolov5模块进行手部检测，在对手部进行检测过程中，对检测的手部图像进行翻转、裁剪预处理操作以增加对应的鲁棒性，当所述目标检测框架yolov5模块输出在原始图像中手部的boundbox后，进入手部关键点识别模块。6.如权利要求1所述的一种基于单目摄像机的面向小目标手部隔空交互方法，其特征在于，所述步骤3中进一步包括：所述手部关键点识别模块的网络结构，构的骨干网络采用2CN115083016A权利要求书2/2页轻量的shuffleNetv2结构提取特征，在轻量的shuffleNetv2结构之后，抽取Stage2，Stag