融合深度学习的牛脸识别方法、装置、电子设备和介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115909401A(43)申请公布日2023.04.04(21)申请号202211460737.2G06V10/80(2022.01)(22)申请日2022.11.17G06V10/82(2022.01)G06N3/045(2023.01)(71)申请人内蒙古工业大学G06N3/0464(2023.01)地址010000内蒙古自治区呼和浩特市内G06N3/08(2023.01)蒙古工业大学(72)发明人曹寅秦俊平任维赵志燕马千里任家琪(74)专利代理机构西安汇恩知识产权代理事务所(普通合伙)61244专利代理师张伟花(51)Int.Cl.G06V40/10(2022.01)G06V10/26(2022.01)G06V10/764(2022.01)G06V10/774(2022.01)权利要求书3页说明书10页附图4页(54)发明名称融合深度学习的牛脸识别方法、装置、电子设备和介质(57)摘要本发明提出了一种融合深度学习的牛脸识别方法，该方法为：获取样本牛脸部成对的RGB图与深度图，制成样本牛的图像数据集送到牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，然后构建样本牛脸数据集并打上用于分类两个样本牛对是否来自同一只牛的标签；再输入到深度信息和图像信息融合的牛脸识别网络中进行训练，直到所述牛脸识别网络将样本牛脸数据集中不同样本牛的图片相互区分，结束训练，得到训练好的牛脸识别网络；最后用训练好的牛脸识别网络识别牛脸，确定牛的身份信息。本发明采用深度信息和图像信息融合的方法改进牛脸识别技术，减小了牛姿态和光照发生变化对牛脸识别的影响，提高了牛脸识别在不同场景下的鲁棒性。CN115909401ACN115909401A权利要求书1/3页1.一种融合深度学习的牛脸识别方法，其特征在于，包括：获取样本牛脸部成对的RGB图与深度图，制成样本牛的图像数据集；将样本牛的图像数据集输入到RGB图与深度图结合的牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，得到RGB牛脸图像和深度牛脸图像，然后根据样本牛的RGB牛脸图像和深度牛脸图像形成牛脸图片对，由样本的牛脸图片对构建样本牛脸数据集，样本牛脸数据集包括多个样本对的牛脸RGB图与深度图，每个样本对的牛脸RGB图与深度图包括两个样本的牛脸RGB图与深度图，两个样本牛来自不同牛或者同一头牛，每个样本对的牛脸RGB图与深度图打上标签，所述标签用于分类两个样本牛对是否来自同一只牛；将样本牛脸数据集输入到深度信息和图像信息融合的牛脸识别网络中进行训练，直到所述牛脸识别网络将样本牛脸数据集中不同样本牛的图片相互区分，结束训练，得到训练好的牛脸识别网络；先将牛场中每一头牛的成对的RGB图和深度图进行身份注册，选择其中一头牛作为待识别牛，获取待识别牛的成对的RGB图和深度图，经RGB图与深度图结合的牛脸分割算法分割成待识别牛的RGB牛脸图像和深度牛脸图，再输入到训练好的牛脸识别网络，得到待识别牛的身份信息。2.根据权利要求1所述的一种融合深度学习的牛脸识别方法，其特征在于，S1中通过深度相机为双目相机，采集样本牛脸部同一副画面的深度图和RGB图，即样本牛脸部成对的RGB图与深度图。3.根据权利要求1所述的一种融合深度学习的牛脸识别方法，其特征在于，S2中将样本牛的图像数据集输入到RGB图与深度图结合的牛脸分割算法中，将牛脸从RGB图和深度图的画面背景中分割出来，得到RGB牛脸图像和深度牛脸图像；具体包括：S201、将所述样本牛的图像数据集中的深度图中由暗到亮的像素进行聚类显示，获得深度图的直方图；S202、采用基于连续小波变换的获取波谷算法分割出S201中所述深度图的直方图的波谷，根据最后一个波谷的阈值计算与所述深度图中牛脸矩形框坐标数组，最后根据所述深度图中牛脸矩形框坐标数组获得RGB图中牛脸矩形框；S203、对S202中所述RGB图中牛脸矩形框内的牛脸进行RGB图的GrabCut分割算法，获得初步分割出的牛脸图A；S204、基于S202中最后一个波谷所在深度图的明度作为阈值，对深度图进行分割，大于阈值的部分保留，小于阈值的部分去除并替换为黑色作为背景色；然后获取深度图前景像素点的坐标，依据坐标对RGB图进行分割，获得初步分割出的牛脸图B。4.根据权利要求1所述的一种融合深度学习的牛脸识别方法，其特征在于，S2中所述样本对为正样本对或者负样本对，当样本对为正样本对时，表示样本对的两个样本牛来自同一头牛，当样本对为负样本对时，表示样本对的两个样本牛来自不同牛；S2中所述标签的形式为数组，数组小标为样本对编号，数组值为0或1；具体地，假设X1和X2分别为两个样本牛的样本对，Y是样本对的标签，X1和X2组成的样本对来自同一头