一种基于双注意力机制的牛只行为识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115410277A(43)申请公布日2022.11.29(21)申请号202211057261.8G06V10/762(2022.01)(22)申请日2022.08.31G06V10/764(2022.01)G06V10/774(2022.01)(71)申请人西北农林科技大学G06V10/82(2022.01)地址712100陕西省咸阳市杨凌示范区邰城路3号(72)发明人王美丽金博尚诚李梅毛锐王小龙张宏鸣(74)专利代理机构西安铭泽知识产权代理事务所(普通合伙)61223专利代理师韩晓娟(51)Int.Cl.G06V40/20(2022.01)G06V20/40(2022.01)G06V10/40(2022.01)G06V10/74(2022.01)权利要求书2页说明书4页附图1页(54)发明名称一种基于双注意力机制的牛只行为识别方法(57)摘要本发明公开了一种基于双注意力机制的牛只行为识别方法，包括：采集牛只的视频数据，在轻量级网络模型MobileNetV3的网络层并列设置注意力机制模块SE和CBAM，其中在注意力机制模块SE中增加全连接层，将注意力机制模块SE和CBAM的激活函数分别更改为softsign和hardsigmoid，采用联合损失函数优化轻量级网络模型MobileNetV3，构建改进的轻量级网络模型，在网络模型中输入牛只的视频数据，识别牛只多种行为，采用余弦距离和欧式距离的组合算法区分牛只多种行为中的站立或行走行为。该方法可以准确预测牛只行为，对于促进畜牧养殖业产业升级、普及畜牧养殖业数字化管理有着重要作用。CN115410277ACN115410277A权利要求书1/2页1.一种基于双注意力机制的牛只行为识别方法，其特征在于，包括：采集牛只的视频数据；基于轻量级网络模型MobileNetV3构建改进的轻量级网络模型MobileNetV3，所述改进的轻量级网络模型MobileNetV3，包括：在轻量级网络模型MobileNetV3的网络层并列设置注意力机制模块SE和CBAM；在注意力机制模块SE中增加全连接层，将注意力机制模块SE和CBAM的激活函数分别更改为softsign和hardsigmoid；将轻量级网络模型MobileNetV3中的损失函数替换为联合损失函数；在训练后改进的轻量级网络模型MobileNetV3中输入牛只的视频数据，识别牛只多种行为，其中，多种行为包括站立、行走、躺卧；采用余弦距离和欧式距离的组合算法区分牛只多种行为中的站立或行走行为。2.如权利要求1所述的一种基于双注意力机制的牛只行为识别方法，其特征在于，还包括对牛只视频帧中牛只目标检测与跟踪，其包括：对输入的牛只的视频帧采用标注框进行处理；采用K均值聚类的方法对标记框的宽度和高度进行聚类，得到不同种类的具有先验框的牛只视频帧；将不同种类的具有先验框的牛只视频帧，输入YOLOv4检测器，获取具有检测框的牛只视频帧；将具有检测框的牛只视频帧与基于DeepSORT的多目标跟踪模块中已有的跟踪目标匹配，完成视频帧中牛只目标检测与跟踪。3.如权利要求2所述的一种基于双注意力机制的牛只行为识别方法，其特征在于，还包括对视频帧中检测和跟踪的牛只进行行为分类，构建训练数据集，其包括：利用孪生网络处理检测与跟踪牛只的视频帧；筛选出具有站立、进食和躺卧这三种行为类别的牛只的视频帧；对同行为类别中相似的两张视频帧图片，人工分配为训练集或测试集。4.如权利要求1所述的一种基于双注意力机制的牛只行为识别方法，其特征在于，所述联合损失函数，计算公式包括：Lall＝Lfocal+Lcrossentropy其中，Lall表示本发明中的联合损失函数，Lfocal表示焦点损失函数，其表达式包括：Lfocalγ＝‑(1‑pprediction*pgroundtruth)log(pprediction)；Lcrossentropy表示交叉熵损失函数，其表达式包括：5.如权利要求1所述的一种基于双注意力机制的牛只行为识别方法，其特征在于，所述轻量级网络模型MobileNetV3的网络层中还包括单一的注意力机制，不同网络层设置不同的注意力机制。6.如权利要求1所述的一种基于双注意力机制的牛只行为识别方法，其特征在于，所述采用余弦距离和欧式距离的组合算法区分牛只多种行为中的站立或行走行为，包括：获取目标牛只运动的连续帧；2CN115410277A权利要求书2/2页设定牛只状态判断阈值；计算连续帧内牛只质心点的欧几里得距离与余弦距离；当质心点的欧几里得距离与余弦距离均大于牛只状态判断阈值时，采用深度学习模型获取聚合帧的方向相关值；根据聚合帧的方向相关值判断分牛只行走状态与站立状态。7.如权利要求6所述的一种基于双注