一种手势采集方法、装置、电子设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114120362A(43)申请公布日2022.03.01(21)申请号202111392956.7G06F3/01(2006.01)(22)申请日2021.11.23(71)申请人京东方科技集团股份有限公司地址100015北京市朝阳区酒仙桥路10号(72)发明人吕耀宇孙建康陈丽莉薛亚冲李鑫恺闫桂新张浩(74)专利代理机构北京银龙知识产权代理有限公司11243代理人顾春天(51)Int.Cl.G06V40/10(2022.01)G06V40/20(2022.01)G06V10/145(2022.01)G06V10/20(2022.01)G06V10/50(2022.01)权利要求书2页说明书9页附图3页(54)发明名称一种手势采集方法、装置、电子设备和可读存储介质(57)摘要本发明提供一种手势采集方法、装置、电子设备和可读存储介质。手势采集方法，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述方法包括以下步骤：获取针对目标对象的多个手势图像，其中，各所述手势图像是通过不同的所述ToF图像传感器采集的，且至少部分所述ToF图像传感器的光源相位不同；生成与每一所述手势图像对应的灰度图；根据多个所述灰度图生成所述目标对象的深度图像。本发明实施例通过设置多个ToF图像传感器，然后利用多个ToF图像传感器基于不同的光源相位采集灰度图，能够提高采样效率，这样，在单位时间内能够采集更多的数据，能够提高采样效率，有助于提高手势识别效果。CN114120362ACN114120362A权利要求书1/2页1.一种手势采集方法，其特征在于，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述方法包括以下步骤：获取针对目标对象的多个手势图像，其中，各所述手势图像是通过不同的所述ToF图像传感器采集的，且至少部分所述ToF图像传感器的光源相位不同；生成与每一所述手势图像对应的灰度图；根据多个所述灰度图生成所述目标对象的深度图像。2.根据权利要求1所述的方法，其特征在于，每一所述ToF图像传感器包括光源和光传感器，所述获取针对目标对象的多个手势图像，包括：控制各所述ToF图像传感器的光源按照预设时间间隔依次发射调制光线；控制各所述ToF图像传感器的光传感器按照调制光线的发射间隔采集图像数据；根据所述ToF图像传感器的数量以高倍时钟读取所采集的图像数据生成所述目标对象的手势图像。3.根据权利要求1所述的方法，其特征在于，所述生成与每一所述手势图像对应的灰度图之后，所述方法还包括：检测所述手势图像对应的手势类型，其中，所述手势类型包括控制手势和内容手势；若所述手势图像对应控制手势，则输出所述手势图像的灰度图；若所述手势图像对应内容手势，则执行所述根据多个所述灰度图生成所述目标对象的深度图像的步骤。4.根据权利要求3所述的方法，其特征在于，所述获取针对目标对象的多个手势图像之后，所述方法还包括：检测所述手势图像中是否包含深度信息；若所述手势图像中不包含深度信息，则根据至少一个所述灰度图提取所述手势图像对应的二维手势；若所述手势图像中包含深度信息，则根据所述灰度图和所述深度图像提取所述手势图像对应的三维手势。5.根据权利要求4所述的方法，其特征在于，所述检测所述手势图像中是否包含深度信息，包括：以所述手势图像中的手势作为位置基准，建立深度信息直方图；若所述深度信息直方图中手势的深度信息量大于预设阈值，则确认所述灰度图中包含深度信息；若所述深度信息直方图中手势的深度信息量小于或等于所述预设阈值，则确认所述灰度图中不包含深度信息。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述生成与所述手势图像对应的灰度图，包括：对所述手势图像进行黑电平校正；对黑电平校正后的手势图像进行阴影校正；对阴影校正后的手势图像进行坏点校正和几何校正；对坏点校正和几何校正后的手势图像进行光学去畸变处理获得所述手势图像的灰度图。2CN114120362A权利要求书2/2页7.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据多个所述灰度图生成所述手势图像的深度图像，包括：对多个所述灰度图中包含的深度信息进行温度校正；对温度校正后的灰度图进行像素净化处理；对像素净化处理后的灰度图进行扭曲校正处理；对扭曲校正处理后的灰度图进行三维滤波处理获得所述灰度图的深度图像。8.一种手势采集装置，其特征在于，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述手势采集装置包括：手势图像获取模块，用于获取针对目标对象的多个手势图像，其中，各所述手势图像是通过不同的所述ToF图像传感器采集的，且至少部分所述ToF图像传感器的光源相位不同；灰度图生成模块，用于生成与每一所述手势图像对应的灰度图；深度