基于卷积神经网络的内窥镜评估方法及评估系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082739A(43)申请公布日2022.09.20(21)申请号202210776537.1(22)申请日2022.07.01(71)申请人苏州慧维智能医疗科技有限公司地址215000江苏省苏州市工业园区华池街88号晋合广场1幢1603B室(72)发明人曹鱼张晨曦陈齐磊刘本渊(74)专利代理机构南京利丰知识产权代理事务所(特殊普通合伙)32256专利代理师王锋(51)Int.Cl.G06V10/764(2022.01)G06V10/771(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图3页(54)发明名称基于卷积神经网络的内窥镜评估方法及评估系统(57)摘要本发明公开了一种基于卷积神经网络的内窥镜评估方法及评估系统。所述内窥镜评估方法包括：获取内窥镜的评估图像；获取所述评估图像中的特征目标及其位置信息；计算所述评估图像中不同种类的特征目标之间的距离，以及同一种类特征目标出现的比例，对所述特征目标进行特征过滤；对通过所述特征过滤的特征目标进行连续计时，获取评估结果，用于指示所述内窥镜是否正常。本发明所提供的内窥镜评估方法及评估系统能够准确的判断内窥镜术前准备是否完成喷气喷水检查准备工作，并准确给出是否通过术前准备工作的指示，避免术中因术前准备不足的原因而导致手术或检查中断的问题，极大地提高了医生进行术前准备的效率，节省了医生的精力。CN115082739ACN115082739A权利要求书1/3页1.一种基于卷积神经网络的内窥镜评估方法，所述内窥镜至少具有喷气和喷水两种功能，其特征在于，所述内窥镜评估方法包括：1)通过摄像模块获取内窥镜的评估图像；2)通过目标检测获取所述评估图像中的特征目标及其位置信息，所述特征目标至少包括含有液体以及气泡的透明容器、连续液滴以及所述内窥镜的前端；3)基于所述特征目标及其位置信息计算所述评估图像中不同种类的特征目标之间的距离，以及计算连续多个所述评估图像中同一种类的特征目标出现的比例，基于所述距离和比例对所述特征目标进行特征过滤；4)对通过所述特征过滤的特征目标进行连续计时，并基于计时结果获取所述内窥镜的评估结果，所述评估结果用于指示所述内窥镜的喷气和喷水功能是否正常。2.根据权利要求1所述的内窥镜评估方法，其特征在于，步骤1)中，所述摄像模块固设于术前准备台上，且拍摄方向朝向所述术前准备台的操作平台；优选的，所述摄像模块距离所述操作平台中心为Lcm，其中L∈[15，24]。3.根据权利要求1所述的内窥镜评估方法，其特征在于，步骤2)中，利用目标检测器执行所述目标检测；优选的，所述目标检测器包括依次串联的骨干神经网络、区域候选网络以及分类器；所述骨干神经网络用于基于所述评估图像转化生成特征图像；所述区域候选网络用于基于所述特征图像获取检测目标及其位置信息；所述分类器用于将所述检测目标分类为不同种类的所述特征目标。4.根据权利要求3所述的内窥镜评估方法，其特征在于，所述骨干神经网络包括ResnNet、SqueezeNet、ShuffleNNet、VGGNnet以及DenseNet中的任意一种；和/或，所述分类器包括softmax分类器。5.根据权利要求3所述的内窥镜评估方法，其特征在于，所述目标检测器通过标记训练得到；优选的，所述标记训练包括对所述骨干神经网络的预训练；优选的，所述预训练在ImageNet进行。6.根据权利要求5所述的内窥镜评估方法，其特征在于，所述标记训练具体包括：提供目标初始检测器、训练图像及其对应的标签；利用所述目标初始检测器对所述训练图像进行目标检测，获得训练检测结果；基于所述训练检测结果和标签，对所述目标初始检测器进行参数更新，获得所述目标检测器。7.根据权利要求1所述的内窥镜评估方法，其特征在于，步骤3)包括：当所述评估图像中未检测到所述内窥镜的前端时，使检测到的所述含有液体以及气泡的透明容器和/或连续液滴被去除；和/或，当所述透明容器与内窥镜的前端之间的第一目标距离在第一预设阈值以下时，使所述透明容器与内窥镜的前端通过所述特征过滤；当所述连续液滴与内窥镜的前端之间的第二目标距离在第二预设阈值以下时，使所述连续液滴与内窥镜的前端通过所述距离过滤器；优选的，所述第一预设阈值为7cm，所述第二预设阈值为7cm；2CN115082739A权利要求书2/3页优选的，具体包括：第一检测目标为内窥镜的前端，其中心坐标记为c1，第二检测目标为含有液体以及气泡的透明容器，其中心坐标记为c2，第三检测目标为连续液滴，其中心坐标记为c3，所述特征过滤的结果包括：当所述评估图像中检测到含有液体以及气泡的透明容器和/或连续