一种动作行为识别方法、系统、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116071825A(43)申请公布日2023.05.05(21)申请号202310073328.5(22)申请日2023.01.31(71)申请人天翼爱音乐文化科技有限公司地址510060广东省广州市中山二路18号电信广场19楼(72)发明人肖冠正(74)专利代理机构广州嘉权专利商标事务所有限公司44205专利代理师黄英杰(51)Int.Cl.G06V40/20(2022.01)G06N3/08(2023.01)G06V10/82(2022.01)G06N3/0464(2023.01)权利要求书2页说明书9页附图3页(54)发明名称一种动作行为识别方法、系统、电子设备及存储介质(57)摘要本发明公开了一种动作行为识别方法、系统、电子设备及存储介质，其中动作行为识别方法包括对目标视频进行拆帧处理，得到视频帧集合；对所述视频帧集合中的每一帧图像进行转换处理，得到热力图像矩阵集合；从所述热力图像矩阵集合中获取动作起始矩阵和动作终止矩阵，对所述动作起始矩阵和所述动作终止矩阵进行差值计算处理，得到差值矩阵；将所述差值矩阵输入动作行为识别模型进行动作识别处理，得到动作行为识别结果。本发明实施例通过对热力图像组合进行识别提高了动作行为识别的准确性，可广泛应用于人工智能技术领域。CN116071825ACN116071825A权利要求书1/2页1.一种动作行为识别方法，其特征在于，所述方法包括：对目标视频进行拆帧处理，得到视频帧集合；对所述视频帧集合中的每一帧图像进行转换处理，得到热力图像矩阵集合；从所述热力图像矩阵集合中获取动作起始矩阵和动作终止矩阵，对所述动作起始矩阵和所述动作终止矩阵进行差值计算处理，得到差值矩阵；将所述差值矩阵输入动作行为识别模型进行动作识别处理，得到动作行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述对目标视频进行拆帧处理，得到视频帧集合，包括：获取录制视频或实时视频流作为目标视频；对所述目标视频中包含目标对象的视频帧进行提取处理，得到视频帧集合。3.根据权利要求1所述的方法，其特征在于，所述对所述视频帧集合中的每一帧图像进行转换处理，得到热力图像矩阵集合，包括对视频帧图像进行转换处理，得到热力图像矩阵的步骤，包括：根据热力图转换公式对所述视频帧图像进行计算，得到转换增量；根据所述转换增量对所述视频帧图像的像素值进行叠加处理，得到热力图像矩阵；所述热力图转换公式如下式所示：其中，Yxy表示转换增量，(x，y)表示待转换的视频帧图像的坐标值，x1、x2分别表示待转换的视频帧图像的前一帧视频图像与后一帧视频图像的关键点的横坐标，y1、y2分别表示待转换的视频帧图像的前一帧视频图像与后一帧视频图像的关键点的横坐标关键点的纵坐标，p(px，py)表示待转换的视频帧图像的前一帧视频图像与后一帧视频图像的关键点的插值坐标，σp表示与待转换的视频帧图像的宽度和高度相关的标准差。4.根据权利要求1所述的方法，其特征在于，所述将所述差值矩阵输入动作行为识别模型进行动作识别处理，得到动作行为识别结果，包括：对所述差值矩阵进行正负值区分处理，得到动作行为方向；通过所述动作行为识别模型对所述差值矩阵进行特征提取处理，得到动作变化特征；根据所述动作行为方向和所述动作变化特征进行识别判断处理，得到动作行为识别结果。5.根据权利要求1所述的方法，其特征在于，所述动作行为识别模型采用卷积神经网络搭建。6.根据权利要求1所述的方法，其特征在于，所述将所述差值矩阵输入动作行为识别模型进行动作识别处理，得到动作行为识别结果之前，还包括预先训练所述动作行为识别模型，具体包括：获取训练图像集；将所述训练图像集输入所述动作行为识别模型，得到模型预测结果；根据所述模型预测结果和所述训练图像集的类别计算得到训练误差；2CN116071825A权利要求书2/2页根据所述训练误差对所述动作行为识别模型的参数进行更新。7.根据权利要求6所述的方法，其特征在于，所述获取训练图像集，包括：收集不同类别动作的图像，得到分组图像集；对所述分组图像集进行热力图转换处理，得到热力图像集合；根据不同分组对所述热力图像集合进行差值计算，得到训练图像集。8.一种动作行为识别系统，其特征在于，所述系统包括：第一模块，用于对目标视频进行拆帧处理，得到视频帧集合；第二模块，用于对所述视频帧集合中的每一帧图像进行转换处理，得到热力图像矩阵集合；第三模块，用于从所述热力图像矩阵集合中获取动作起始矩阵和动作终止矩阵，对所述动作起始矩阵和所述动作终止矩阵进行差值计算处理，得到差值矩阵；第四模块，用于将所述差值矩阵输入动作行为识别模型进行动作识别处理，得到动作行为识别结果。9.一种电子设备，其特征在于，所述电子设备包括存储器和