一种内窥镜荧光与可见光图像融合方法及其系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115018830A(43)申请公布日2022.09.06(21)申请号202210932127.1G06V10/77(2022.01)(22)申请日2022.08.04G06V10/774(2022.01)G06V10/82(2022.01)(71)申请人华伦医疗用品（深圳）有限公司G06N3/04(2006.01)地址518100广东省深圳市宝安区福永街G06N3/08(2006.01)道凤凰社区兴业一路163号厂房3栋3层、4层、办公大楼4层(72)发明人唐永安林文晶(74)专利代理机构北京酷爱智慧知识产权代理有限公司11514专利代理师阮建(51)Int.Cl.G06T7/00(2017.01)G06T7/11(2017.01)G06T5/50(2006.01)G06V10/762(2022.01)权利要求书2页说明书7页附图3页(54)发明名称一种内窥镜荧光与可见光图像融合方法及其系统(57)摘要本发明实施例公开了一种内窥镜荧光与可见光图像融合方法及系统，方法包括：获取可见光图像和荧光图像；对可见光图像进行图像增强及预处理，以得到第一图像；将荧光图像和第一图像输入预先训练的神经网络进行融合，得到目标融合图像。与现有技术相比，采用上述方法得到的目标融合图像可以更加清晰地显示病灶区域，从而使得医生对病变组织部位的判断更加准确且高效。CN115018830ACN115018830A权利要求书1/2页1.一种内窥镜荧光与可见光图像融合方法，适用于双相机医用内窥镜，其特征在于，包括：获取可见光图像和荧光图像；对所述可见光图像进行图像增强及预处理，得到第一图像；将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。2.如权利要求1所述的内窥镜荧光与可见光图像融合方法，其特征在于，对所述可见光图像进行图像增强及预处理，得到第一图像，具体为：对所述可见光图像进行剪裁处理，以得到剪裁图像；对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；采用黑色像素填充所述剪裁图像中随机一小块部分；随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。3.如权利要求1所述的内窥镜荧光与可见光图像融合方法，其特征在于，获取可见光图像之前，所述方法还包括：构建神经网络；所述神经网络包括输入层、隐含层以及输出层构成，所述输入层、隐含层以及输出层之间的节点通过连接权重矩阵相连接，所述隐含层采用logsig激活函数，所述输出层采用purelin激活函数；获取样本图像数据集，所述样本图像数据集中包括样本可见光图像和样本荧光图像；采用所述样本图像数据集对所述神经网络进行训练。4.如权利要求3所述的内窥镜荧光与可见光图像融合方法，其特征在于，采用所述样本图像数据集对所述神经网络进行训练，具体为：将所述样本图像数据集划分为训练集和测试集；采用所述训练集对所述神经网络进行训练；采样非线性降维算法对所述测试集进行降维处理，并采用K‑means算法对降维处理后的所述测试集进行聚类，得到聚类测试样本；采用所述聚类测试样本对训练好的神经网络进行测试。5.如权利要求1‑4任一项所述的内窥镜荧光与可见光图像融合方法，其特征在于，得到目标融合图像之后，所述方法还包括：输出RGB格式的所述目标融合图像。6.一种内窥镜荧光与可见光图像融合系统，包括相互通讯的双相机医用内窥镜和计算机设备，其特征在于，所述计算机设备包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求5所述的方法。7.一种内窥镜荧光与可见光图像融合系统，包括相互通讯的双相机医用内窥镜和图像融合装置，其特征在于，所述融合装置包括：获取单元，用于获取可见光图像和荧光图像；处理单元，用于对所述可见光图像进行图像增强及预处理，得到第一图像；2CN115018830A权利要求书2/2页融合单元，用于将所述荧光图像和第一图像输入预先训练的神经网络进行图像融合，得到目标融合图像。8.如权利要求7所述的内窥镜荧光与可见光图像融合系统，其特征在于，所述处理单元具体用于：对所述可见光图像进行剪裁处理，以得到剪裁图像；对所述剪裁图像进行水平镜像及旋转处理，其中残缺部分用黑色填充；采用黑色像素填充所述剪裁图像中随机一小块部分；随机将所述剪裁图像沿水平、垂直方向进行移动，其中残缺部分用黑色填充；随机对所述剪裁图像进行加噪及归一化处理，得到所述第一图像。9.如权利要求7或8所述的内窥镜荧光与可见光图像融合系统，其特征在于，所述图像融合