一种猪只行为识别方法、系统、计算机设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115223198A(43)申请公布日2022.10.21(21)申请号202210785276.XG06N3/04(2006.01)(22)申请日2022.07.05G06N3/08(2006.01)G06V10/46(2022.01)(71)申请人深圳职业技术学院G06V10/764(2022.01)地址518000广东省深圳市南山区西丽街G06V10/82(2022.01)道西丽湖镇西丽湖畔申请人广州国家现代农业产业科技创新中心(72)发明人毛亮龚文超吴惠粦张兴龙陆连凤(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师郭浩辉(51)Int.Cl.G06V40/10(2022.01)G06V40/20(2022.01)权利要求书2页说明书9页附图5页(54)发明名称一种猪只行为识别方法、系统、计算机设备和存储介质(57)摘要本发明涉及行为识别技术领域，公开了一种猪只行为识别方法、系统、计算机设备和存储介质，所述方法包括：根据预设的猪只姿态关键点构建猪只姿态图；对猪只视频信息进行姿态估计，根据所述猪只姿态图提取关键点序列数据；将所述关键点序列数据输入训练好的改进时空图卷积网络对猪只行为进行识别，得到猪只行为分类预测结果，其中，所述改进时空图卷积网络包括第一时空图卷积网络和第二时空图卷积网络。本发明提升了网络对整体姿态的感知能力，缓解了网络识别过程中出现的梯度下降问题，提高了浅层网络的特征信息的利用率，提高了猪只行为识别的正确率。CN115223198ACN115223198A权利要求书1/2页1.一种猪只行为识别方法，其特征在于，包括：根据预设的猪只姿态关键点构建猪只姿态图；对猪只视频信息进行姿态估计，根据所述猪只姿态图提取关键点序列数据；将所述关键点序列数据输入训练好的改进时空图卷积网络对猪只行为进行识别，得到猪只行为分类预测结果，其中，所述改进时空图卷积网络包括第一时空图卷积网络和第二时空图卷积网络。2.根据权利要求1所述的猪只行为识别方法，其特征在于，所述对猪只视频信息进行姿态估计，根据所述猪只姿态图提取关键点序列数据的具体步骤包括：通过YOLO模型对猪只视频信息进行猪只目标检测，得到猪只目标区域；通过IOU‑Tracker模型对所述猪只目标区域进行猪只位置提取，得到单猪位置区域；将所述单猪位置区域转化为单猪位置图片，并对所述单猪位置图片进行预处理；通过OpenPose模型对预处理后的所述单猪位置图片进行姿态估计，根据所述猪只姿态图提取猪只的姿态序列，生成关键点序列数据。3.根据权利要求1所述的猪只行为识别方法，其特征在于，所述改进时空图卷积网络按照空间结构进行分区，关键点间的感知距离为3，并按照所述感知距离将所述关键点的邻域划分为7个子集。4.根据权利要求3所述的猪只行为识别方法，其特征在于，采用如下公式计算邻域的子集：式中，vti为关键点，rj为节点j到重心的距离，ri为根节点到重心的距离，D为关键点间的感知距离，lti(vti)为关键点vti的邻域子集。5.根据权利要求1所述的猪只行为识别方法，其特征在于，所述第一时空图卷积网络包含三层第一时空图卷积块，三层所述第一时空图卷积块的通道数依次为64、128和256；所述第二时空图卷积网络包含九层第二时空图卷积块，九层所述第二时空图卷积块的通道数依次为64、64、64、128、128、128、256、256和256。6.根据权利要求5所述的猪只行为识别方法，其特征在于，所述将所述关键点序列数据输入训练好的改进时空图卷积网络对猪只行为进行识别，得到猪只行为分类预测结果的具体步骤包括：将所述关键点序列数据输入第一时空图卷积网络进行三层卷积操作，经过每层卷积操作后分别生成第一卷积数据、第二卷积数据和第三卷积数据；将所述第一卷积数据作为第二时空图卷积网络的输入，进行三层卷积操作后，生成第四卷积数据；2CN115223198A权利要求书2/2页将所述第一卷积数据和所述第四卷积数据输入所述第二时空图卷积网络的第四层，进行三层卷积操作后，生成第五卷积数据；将所述第二卷积数据和所述第五卷积数据输入所述第二时空图卷积网络的第七层，经过三层卷积操作后，生成第六卷积数据；将所述第三卷积数据和所述第六卷积数据进行拼接后输入到分类器进行猪只行为分类预测。7.根据权利要求1所述的猪只行为识别方法，其特征在于，所述预设的猪只姿态关键点包括鼻子、右眼、右耳、左眼、左耳、右肩、右前膝、右前蹄、右臀、右后膝、右后蹄、左肩、左前膝、左前蹄、左臀、左后膝、左后蹄、背部、腹部和尾椎骨共20个猪只关键点，以及相连的28段猪只关键点连接对。8.一种猪只行为识别系统，其特征在于，包括：姿态图构建模块，用于根据预设的猪只姿态关键点构建猪