一种骨骼点动作识别方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963202A(43)申请公布日2022.01.21(21)申请号202111215393.4G06V40/20(2022.01)(22)申请日2021.10.19G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人郑州大学G06N3/08(2006.01)地址450001河南省郑州市高新区高新技术开发区科学大道100号申请人河南信通智能物联有限公司(72)发明人陈恩庆辛华磊高猛郭佳乐郭新吕小永丁英强马龙酒明远马双双张楠楠张爱菊刘晓娜(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人唐正瑜(51)Int.Cl.G06V10/764(2022.01)权利要求书2页说明书9页附图4页(54)发明名称一种骨骼点动作识别方法、装置、电子设备及存储介质(57)摘要本申请提供一种骨骼点动作识别方法、装置、电子设备及存储介质，用于改善对骨骼点动作进行识别的准确率较低的问题。该方法包括：获取目标生物的骨骼点数据；使用神经网络模型中的批量归一化层对骨骼点数据进行批量归一化运算，得到归一化后的数据；使用神经网络模型中的第一模块对归一化后的数据进行计算，得到第一特征图；使用神经网络模型中的多个第二模块对第一特征图进行计算，得到第二特征图，第一模块和第二模块均包括批感知注意BAM网络；使用神经网络模型中的全连接层对第二特征图进行分类，获得分类结果，分类结果表征从目标生物识别出的动作类别。CN113963202ACN113963202A权利要求书1/2页1.一种骨骼点动作识别方法，其特征在于，包括：获取目标生物的骨骼点数据；使用神经网络模型中的批量归一化层对所述骨骼点数据进行批量归一化运算，得到归一化后的数据；使用所述神经网络模型中的第一模块对所述归一化后的数据进行计算，得到第一特征图；使用所述神经网络模型中的多个第二模块对所述第一特征图进行计算，得到第二特征图，所述第一模块和所述第二模块均包括批感知注意BAM网络；使用所述神经网络模型中的全连接层对所述第二特征图进行分类，获得分类结果，所述分类结果表征从所述目标生物识别出的动作类别。2.根据权利要求1所述的方法，其特征在于，所述第一模块还包括：空间图卷积网络和时间卷积网络；所述使用所述神经网络模型中的第一模块对所述归一化后的数据进行计算，得到第一特征图，包括：使用所述第一模块中的空间图卷积网络对所述归一化后的数据进行卷积运算，获得第一特征数据；使用所述第一模块中的BAM网络对所述第一特征数据进行计算，获得第二特征数据；使用所述第一模块中的时间卷积网络对所述第二特征数据进行卷积运算，获得所述第一特征图。3.根据权利要求2所述的方法，其特征在于，所述BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；所述使用所述第一模块中的BAM网络对所述第一特征数据进行计算，获得第二特征数据，包括：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对所述第一特征数据进行卷积运算，获得第一卷积特征；使用所述softmax层对所述第一卷积特征进行相似性运算，获得所述第二特征数据。4.根据权利要求3所述的方法，其特征在于，所述使用所述softmax层对所述第一卷积特征进行相似性运算，获得所述第二特征数据，包括：使用所述softmax层对所述第一卷积特征进行相似性运算，获得相似性数据；对所述相似性数据和所述第一特征数据进行残差运算，得到所述第二特征数据。5.根据权利要求1‑4任一所述的方法，其特征在于，所述第二模块还包括：空间图卷积网络、时间卷积网络；所述使用所述神经网络模型中的多个第二模块对所述第一特征图进行计算，得到第二特征图，包括：使用所述第二模块中的空间图卷积网络对所述第一特征图进行卷积运算，获得第三特征数据；使用所述第二模块中的BAM网络对所述第三特征数据进行计算，获得第四特征数据；使用所述第二模块中的时间卷积网络对所述第四特征数据进行卷积运算，获得第五特征数据；将所述第一特征图和所述第五特征数据进行残差运算，获得第二特征图。6.根据权利要求5所述的方法，其特征在于，所述BAM网络包括：softmax层、通道维度卷积层、空间维度卷积层和时间维度卷积层；所述使用所述第二模块中的BAM网络对所述第三2CN113963202A权利要求书2/2页特征数据进行计算，获得第四特征数据，包括：使用通道维度卷积层、空间维度卷积层和时间维度卷积层对所述第三特征数据进行卷积运算，获得第二卷积特征；使用所述softmax层对所述第二卷积特征进行相似性运算，获得所述第四特征数据。7.根据权利要求2所述的方法，其特征在于，所述时间卷积网络包括：二维卷积层、批量归一化层和激活