一种基于深度学习的人体行为识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115497171A(43)申请公布日2022.12.20(21)申请号202211348196.4G06V10/82(2022.01)(22)申请日2022.10.31G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人华南农业大学地址510642广东省广州市天河区五山路483号(72)发明人尹选春丁朋旭(74)专利代理机构广州粤高专利商标代理有限公司44102专利代理师牛念(51)Int.Cl.G06V40/20(2022.01)G06V10/40(2022.01)G06V10/764(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于深度学习的人体行为识别方法及系统(57)摘要本发明涉及人体行为识别方法，更具体地，涉及一种基于深度学习的人体行为识别方法及系统，通过IMU传感器可十分便捷地获取人体行为数据，将人体行为数据传输至IMUT网络模型，通过IMUT网络模型识别人体行为，最终将对应的人体行为识别结果输出，本发明利用IMU传感器，降低了获取信息门槛，不需通过视觉信息进行人体识别，不易受到干扰，且能降低模型训练和推理所消耗的资源。CN115497171ACN115497171A权利要求书1/2页1.一种基于深度学习的人体行为识别方法，其特征在于，包括以下步骤：S1：使用IMU传感器采集人体行为数据；S2：将所述人体行为数据输入经过预先训练的IMUT网络模型中；S3：输出对应的人体行为识别结果。2.根据权利要求1所述的基于深度学习的人体行为识别方法，其特征在于，步骤S2中，IMUT网络模型对输入的人体行为数据进行预测的过程包括：S21：利用特征嵌入层让输入的人体行为数据进行相邻时空特征的融合；S22：利用特征抽取层抽取出特征中的特征；S23：利用分类层通过抽取后的特征进行人体行为的识别。3.根据权利要求2所述的基于深度学习的人体行为识别方法，其特征在于，步骤S22中，特征抽取层由一个卷积核为3，填充为1，步长为1的卷积层来实现特征抽取的，具体公式为：其中，Cin表示输入特征层数；表示输出特征层数；Ni表示每一个批次所输入的数据数量；k表示卷积核的大小；input(Ni，k)表示输入的张量；表示与输出特征大小一致的偏置；表示最终输出的张量。4.根据权利要求3所述的基于深度学习的人体行为识别方法，其特征在于，步骤S22中，特征抽取层由6个特征抽取block构成，每一个特征抽取block中有一个self‑attention和一个全连接层。5.根据权利要求4所述的基于深度学习的人体行为识别方法，其特征在于，每个特征抽取block中还包含有两个批标准化层，两个批标准化层分别位于self‑attention之后和全连接层之后。6.根据权利要求5所述的基于深度学习的人体行为识别方法，其特征在于，特征抽取层的构成方法具体为：Q＝WQXK＝WKXV＝WVXz＝Wa+bReLU＝max(0，V)其中，Q表示query矩阵；K表示key矩阵；V表示value矩阵；WQ表示query的权重矩阵；WK表V示key的权重矩阵；W表示value的权重矩阵；X表示输入值；dk表示key矩阵的维度；zi表示第i个节点的输出值；C表示输出节点的个数；c表示每一个节点；z表示全连接层的输出；W表示2CN115497171A权利要求书2/2页全连接层的权重；a表示全连接层的输入；b表示全连接层的偏置；ReLU表示激活函数；Attention(Q，K，V)表示对特征进行自注意力计算；softmax表示输出结果的概率。7.根据权利要求1所述的基于深度学习的人体行为识别方法，其特征在于，步骤S2中，IMUT网络模型的训练过程包括：S201：获取IMU数据集，将数据集分为训练集和测试集；S202：搭建IMUT网络架构；S203：将训练集输入IMUT网络中训练得到初始IMUT网络模型；S204：将测试集输入初始IMUT网络模型进行测试，得到最终的IMUT网络模型。8.根据权利要求7所述的基于深度学习的人体行为识别方法，其特征在于，步骤S201中，将数据集分为训练集和测试集前，对数据集进行标注。9.一种应用于权利要求1至8任一项所述的基于深度学习的人体行为识别方法的人体行为识别系统，其特征在于，包括：IMU传感器、数据传输模块和服务器端处理程序模块，所述IMU传感器与所述数据传输模块的输入端连接，所述服务器端处理程序模块与所述数据传输模块的输出端连接；所述IMU传感器用于采集人体行为数据；所述数据传输模块用于将从IMU传感器输入的人体行为数据转发至服务器端处理程序模块；所述服务器端处理程