一种基于卷积神经网络的人体粪便自动识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112102257A(43)申请公布日2020.12.18(21)申请号202010867522.7G06N3/04(2006.01)(22)申请日2020.08.26G06N3/08(2006.01)G06T7/155(2017.01)(71)申请人电子科技大学G06T7/187(2017.01)地址611731四川省成都市高新区（西区）G06T7/90(2017.01)西源大道2006号(72)发明人刘霖闻涛赵家喜秦驰李圳浩张静杜晓辉刘娟秀倪光明刘永(74)专利代理机构电子科技大学专利中心51203代理人陈一鑫(51)Int.Cl.G06T7/00(2017.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书5页附图4页(54)发明名称一种基于卷积神经网络的人体粪便自动识别方法(57)摘要本发明公开了一种基于卷积神经网络的人体粪便自动识别方法，属于数字图像处理领域和深度学习领域。该方法首先是对图像的HSV彩色空间中的S通道进行二值化后进行形态开操作，得到图像中粪便区域的准确位置，然后基于VGG19卷积神经网络搭建两个分支结构，一个分支用于粪便形状特征学习，另一个分支进行粪便颜色特征学习。独立的两个网络分支使得粪便形状和颜色可以同时预测，进行多输出分类；互不影响的联合MLP分类器结构使得粪便形状和颜色识别能够得到更准确的结果。本发明与需要专业检验师检测的人工检测方法相比，具有大众普适性强、时效性高、低成本且高度自动化的特点，与基于传统图像特征的分类方法相比，具有更好的鲁棒性。CN112102257ACN112102257A权利要求书1/2页1.一种基于卷积神经网络的人体粪便自动识别方法，该方法包括以下步骤：步骤1：为了适应一般人群的使用，因此首先对一定数量的人群采集其便后马桶中的粪便图像；步骤2：对步骤1采集到的样本图像，为每张图像创建形状和颜色标签；步骤3：对步骤2处理后的RGB彩色空间中的图像，转换为HSV彩色空间表示的图像，提取HSV彩色空间S通道图像后，再对S通道图像二值化得二值图像M1；步骤4：对步骤3得到的图像M1进行形态学开操作得图像M2；步骤5：对步骤4得到的图像M2计算最大连通域，该区域即为粪便区域，然后在步骤2中的原始图像中裁剪对应最大连通域的图像的外接矩形ROI图像；步骤6：基于VGG19卷积神经网络搭建两个分支结构，利用其在源域ImageNet数据集上的预训练模型，针对粪便形状识别分支将步骤5输出的RGB彩色图像转换为灰度图像作为网络的输入，针对粪便颜色识别分支将步骤5输出的RGB彩色图像转换为HSV彩色图像作为该分支的输入；步骤7：对步骤6搭建的两个神经网络分支进行迁移学习，并且将两个分支的第一个全连接层Fc6的输出分别作为粪便区域的形状特征和颜色特征；步骤8：对步骤7中输出的粪便区域的形状特征，训练多个MLP分类器进行形状分类；对步骤7中输出的粪便区域的颜色特征，训练多个MLP分类器进行颜色分类，对于每个分类器使用每个类70％的数据作为训练集，30％的数据作为测试集；步骤9：对于新采集的粪便样本图像，经过步骤2到步骤7的处理后，使用步骤8训练的MLP分类器，对其进行分类。2.如权利1所述的一种基于卷积神经网络的人体粪便自动识别方法，其特征在于所述步骤2中其具体为根据专业检验师的建议，将粪便的颜色分为黄色、金黄色、棕黄色(褐色)、黑色、鲜红色、暗红色、灰白色、绿色；并且按照布里斯托分类表中对大便形状进行分类标注分别为类型1、2、…、7。3.如权利1所述的一种基于卷积神经网络的人体粪便自动识别方法，其特征在于步骤5具体为：步骤5.1：对步骤4得到的图像M2计算8连通域图像；步骤5.2：返回像素个数最大的连通域；步骤5.3：对步骤5.2得到的最大连通域求外接矩形；步骤5.4：对步骤5.3得到的外接矩形位置；步骤5.5：以步骤5.4得到外接矩形的中心位置为中心，以外接矩形的较长边为边长，在步骤2原图中的对应位置裁剪正方形区域(如果超出原图范围，则以边界行列像素进行镜像填充)即为图像中的粪便区域。4.如权利1所述的一种基于卷积神经网络的人体粪便自动识别方法，其特征在于所述步骤6具体为：搭建VGG19网络结构，该网络结构具有4个卷积块，即4个block，每一个block之后接一个maxpooling，每个卷积层之后都接一个ReLu非线性变换操作，并且对最后一个卷积层进行maxpooling之后接一个fullyconnected，最终得到一个4096维的特征，对于粪便形状识别和粪便颜色识别两个分支，它们具有相同的网络结构；需要注意的是这两个分支具有不同的输入，对于粪便识别分支以三个通道的灰度