基于改进注意力机制的并行时空特征选择的手势识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761878A(43)申请公布日2023.03.07(21)申请号202211334240.6G06V10/764(2022.01)(22)申请日2022.10.28G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人中国人民解放军战略支援部队航天G06N3/045(2023.01)工程大学G06N3/0464(2023.01)地址101416北京市怀柔区八一路1号G06N3/08(2023.01)(72)发明人董正宏陈公政夏鲁瑞王珏李森陈雪旗卢妍(74)专利代理机构长沙市护航专利代理事务所(特殊普通合伙)43220专利代理师张洁(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V10/40(2022.01)G06V10/62(2022.01)权利要求书3页说明书13页附图5页(54)发明名称基于改进注意力机制的并行时空特征选择的手势识别方法(57)摘要本发明公开了基于改进注意力机制的并行时空特征选择的手势识别方法，包括获取输入手势视频，提取预设数量帧的视频片段作为输入数据集；搭建手势识别模型并对模型进行训练，手势识别模型的架构包括依次连接的第一3D卷积模块、三个RPCNet模块、第二3D卷积模块、3D池化模块以及分类模块；将输入数据集输入至第一3D卷积模块以降低输入数据集的维度，将降维后的特征依次输入至三个RPCNet模块中的第一个、第二个、第三个RPCNet模块并行学习手势的长短期时空特征，再通过第二3D卷积模块，得到最终的时空融合特征，通过3D池化模块以及分类模块全连接网络完成手势的识别以及分类，得到手势识别结果。手势识别准确度高。CN115761878ACN115761878A权利要求书1/3页1.基于改进注意力机制的并行时空特征选择的手势识别方法，其特征在于，所述方法包括以下步骤：S100：获取输入手势视频，从所述输入手势视频中提取预设数量帧的视频片段作为输入数据集；S200：搭建手势识别模型并对所述手势识别模型进行训练得到训练好的手势识别模型，所述手势识别模型的架构包括依次连接的第一3D卷积模块、三个RPCNet模块、第二3D卷积模块、3D池化模块以及分类模块；S300：将所述输入数据集输入至所述第一3D卷积模块以降低所述输入数据集的维度，将降维后的输入数据集输入至所述三个RPCNet模块中的第一个RPCNet模块，并依次通过第二个RPCNet模块、第三个RPCNet模块并行学手势的长短期时空特征，再通过所述第二3D卷积模块，得到最终的时空融合特征；S400：将所述最终的时空融合特征输入至所述3D池化模块以及所述分类模块全连接网络中完成手势的识别以及分类，得到手势识别结果。2.根据权利要求1所述的方法，其特征在于，所述RPCNet模块包括第一异构网络、第二异构网络、通道融合模块和空间融合模块，S300中将降维后的输入数据集输入至所述三个RPCNet模块中的第一个RPCNet模块学习手势长短期时空特征得到时空融合特征，包括：S310：将所述降维后的输入数据集分别输入至所述第一异构网络和所述第二异构网络，分别提取得到短期时空特征和长期时空特征，并将所述短期时空特征和所述长期时空特征逐一元素求和后得到求和后特征，并输入至所述通道融合模块；S320：所述通道融合模块用于根据接收的所述求和后特征沿着通道维度执行全局平均池化和全局最大池化操作，得到第一平均池化特征和第一最大池化特征，对所述第一平均池化特征和所述第一最大池化特征进行通道融合得到所述短期时空特征和所述长期时空特征在通道上的第一短期时空特征权重和第一长期时空特征权重，根据所述第一短期时空特征权重、第一长期时空特征权重、所述短期时空特征和所述长期时空特征得到通道融合特征，并输入至所述空间融合模块；S330：所述空间融合模块用于对接收的通道融合特征沿着空间维度执行全局平均池化和全局最大池化操作，得到第二平均池化特征和第二最大池化特征，对所述第二平均池化特征和所述第二最大池化特征进行空间融合得到所述短期时空特征和所述长期时空特征在空间轴上的第二短期时空特征权重和第二长期时空特征权重，根据所述第一短期时空特征权重、第一长期时空特征权重、所述短期时空特征、所述长期时空特征、所述第二短期时空特征权重和第二长期时空特征权重得到时空融合特征。3.根据权利要求2所述的方法，其特征在于，S310具体为：其中，I为降维后的输入数据集，其维度为T×H×W×C，T,H,W,C分别表示特征时间长度、高度、宽度和输入通道数，为短期时空特征，为长期时空特征，X为求和后特征，R2plus1D为第一异构网络，GateConvLSTM为第二异构网络。4