预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共12页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850135A(43)申请公布日2021.12.28(21)申请号202110973739.0(22)申请日2021.08.24(71)申请人中国船舶重工集团公司第七0九研究所地址430205湖北省武汉市东湖新技术开发区凤凰产业园藏龙北路1号(72)发明人吴心怡胡超李恒(74)专利代理机构武汉河山金堂专利事务所(普通合伙)42212代理人胡清堂(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于时间移位框架的动态手势识别方法及系统(57)摘要本发明公开了一种基于时间移位框架的动态手势识别方法及系统,其构建了一个动态手势识别网络模型,所述动态手势识别网络模型的基础网络为残差网络,所述残差网络中包含注意力模块和时间移位模块,所述注意力模块用于优化残差块提取得到的中间特征,所述时间移位模块用于对每层残差块之间的注意力特征进行时间维度建模融合;从而使用复杂度更低的二维卷积神经网络代替三维卷积神经网络,并能够在RGB图像模式下达到RGB‑D图像模式下的识别效果,采用动态手势识别网络模型对动态手势视频进行检测识别,能够解决目前三维动态手势识别方法中训练数据量大和算法复杂度高的问题。CN113850135ACN113850135A权利要求书1/2页1.一种基于时间移位框架的动态手势识别方法,其特征在于,包括如下步骤:采集动态手势视频样本,对动态手势视频样本进行标注并制作动态手势图像数据集;构建动态手势识别网络模型,所述动态手势识别网络模型的基础网络为残差网络,所述残差网络中包含注意力模块和时间移位模块,所述注意力模块用于优化残差块提取得到的中间特征,所述时间移位模块用于对每层残差块之间的注意力特征进行时间维度建模融合;利用动态手势图像数据集对动态手势识别网络模型进行训练;采用训练完成的动态手势识别网络模型对动态手势视频进行检测识别。2.根据权利要求1所述基于时间移位框架的动态手势识别方法,其特征在于,在对动态手势视频样本进行标注之后,需要对视频片段进行预处理,逐帧抽取形成图像序列,并对图像序列进行帧间差分处理。3.根据权利要求2所述基于时间移位框架的动态手势识别方法,其特征在于,对动态手势动作的图像样本集进行采样,得到动态手势识别网络模型的输入样本集。4.根据权利要求1所述基于时间移位框架的动态手势识别方法,其特征在于,所述注意力模块设置在每个残差块之间,所述时间移位模块设置在每层残差块的注意力特征输出块之间。5.根据权利要求1所述基于时间移位框架的动态手势识别方法,其特征在于,所述注意力模块包括通道注意力单元和空间注意力单元。6.根据权利要求1所述基于时间移位框架的动态手势识别方法,其特征在于,所述时间移位模块具体用于:在时间维度T上,分别用某一帧图像特征的前后两帧图像特征的部分通道来替换当前帧图像特征的部分通道。7.根据权利要求1所述基于时间移位框架的动态手势识别方法,其特征在于,利用动态手势图像数据集对动态手势识别网络模型进行训练,具体包括如下内容:将动态手势图像数据集按比例划分训练集和测试集;利用训练集对动态手势识别网络模型进行训练,并使用交叉熵损失函数计算动态手势识别网络模型的损失函数值;根据得到的损失函数值,利用反向传播算法对动态手势识别网络模型的所有权重参数进行更新和优化,以获得优化更新后的动态手势识别网络模型;对更新后的动态手势识别网络模型进行迭代训练,直到损失函数达到最小值,得到迭代训练或的动态手势识别网络模型;利用测试集对迭代训练后的动态手势识别网络模型进行识别准确率验证,直到识别准确率达到最优为止,获得训练好的动态手势识别网络模型。8.一种基于时间移位框架的动态手势识别系统,其特征在于,包括如下功能模块:数据采集模块,用于采集动态手势视频样本,对动态手势视频样本进行标注并制作动态手势图像数据集;网络构建模块,用于构建动态手势识别网络模型,所述动态手势识别网络模型的基础网络为残差网络,所述残差网络中包含注意力模块和时间移位模块,所述注意力模块用于优化残差块提取得到的中间特征,所述时间移位模块用于对每层残差块之间的注意力特征进行时间维度建模融合;2CN113850135A权利要求书2/2页网络训练模块,用于利用动态手势图像数据集对动态手势识别网络模型进行训练;检测识别模块,用于采用训练完成的动态手势识别网络模型对动态手势视频进行检测识别。9.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要