红外图像与深度图像融合方法、系统、装置及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115100493A(43)申请公布日2022.09.23(21)申请号202210684424.9G06V10/82(2022.01)(22)申请日2022.06.17G06V10/74(2022.01)G06N3/04(2006.01)(71)申请人国网浙江省电力有限公司电力科学G06N3/08(2006.01)研究院地址310014浙江省杭州市下城区朝晖八区华电弄1号申请人国网智能电网研究院有限公司(72)发明人朱金华邵先军姜凯华梁云张志峰王少华李特王振国张永周啸宇温典(74)专利代理机构浙江翔隆专利事务所(普通合伙)33206专利代理师徐锟(51)Int.Cl.G06V10/80(2022.01)权利要求书2页说明书5页附图2页(54)发明名称红外图像与深度图像融合方法、系统、装置及存储介质(57)摘要本发明属于电力设备状态监测技术领域，具体涉及一种基于注意力机制的红外图像与深度图像融合方法及系统。针对现有电力设备状态识别方法准确性较低的不足，本发明采用如下技术方案：一种基于注意力机制的红外图像与深度图像融合方法，应用于预先构建的生成对抗网络，所述生成对抗网络包括生成器、注意力特征提取模块及判别器，包括：获取红外图像和深度图像，分别进行编码；对编码后的度图像进行注意力特征提取，得到融合图像；对所述融合图像进行检测，得到红外图像细节及深度图像细节。本发明的有益效果是：采用深度图像可以适应图像焦距差异，抑制日照、环境等干扰因素，兼顾增强重点区域和保留设备细节信息的要求，提升设备状态监测的准确性。CN115100493ACN115100493A权利要求书1/2页1.一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：应用于预先构建的生成对抗网络，所述生成对抗网络包括生成器、注意力特征提取模块及判别器，所述方法包括：步骤S101、获取电力设备红外图像和深度图像，基于所述生成器，对电力设备红外图像和深度图像分别进行编码，得到编码后的电力设备红外图像和深度图像；步骤S102、基于所述注意力特征提取模块，对所述编码后的电力设备红外图像和深度图像进行注意力特征提取，得到电力红外特征和深度图像特征，将所述电力红外特征和所述深度图像特征融合，得到融合图像；步骤S103、采用所述判别器，对所述融合图像进行检测，得到所述融合图像的红外图像细节及深度图像细节。2.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S101中，所述生成器包括两个数据流，每个数据流包含3个卷积模块，每个卷积模块包括卷积层和ReLU激活函数。3.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S102中，将输入的特征定义为Featurei，经过全局平均池化操作获得每个特征的关键值Keyi，将需融合的图像细节定义为Layer，将图像细节Layer与关键值Keyi进行相似度计算得到权重系数，然后将权重与原始特征相乘，如下：基于注意力机制提升图像中典型特征区域的多尺度感知能力，然后将特征结合统一解码过程生成融合图像。4.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S103中，所述判别器是包含卷积的多层网络，所述判别器有两个，两个所述判别器具有相同的网络结构，所述判别器包含6个卷积模块，每个模块包含卷积层和LeakyReLU激活函数。5.根据权利要求1所述的一种基于注意力机制的红外图像与深度图像融合方法，其特征在于：步骤S103中，红外图像细节包括红外强度，深度图像细节包括距离、轮廓、纹理中的至少一种；电力设备包括变电设备和架空线路；采用红外热像仪或光学变焦红外成像设备获取红外图像，采用三维激光扫描仪获取深度图像。6.一种基于注意力机制的红外图像与深度图像融合系统，所述系统包括：编码模块，用于对电力设备红外图像和深度图像分别进行编码，得到编码后的电力设备红外图像和深度图像；注意力特征提取模块，用于对所述编码后的电力设备红外图像和深度图像进行注意力特征提取，得到电力红外特征和深度图像特征，将所述电力红外特征和所述深度图像特征融合，得到融合图像；判别模块，用于对所述融合图像进行检测，得到所述融合图像的红外图像细节及深度图像细节。7.根据权利要求6所述的一种基于注意力机制的红外图像与深度图像融合系统，其特征在于：所述编码模块包括两个数据流，每个数据流包含3个卷积模块，每个卷积模块包括2CN115100493A权利要求书2/2页卷积层和ReLU激活函数；所述判别模块包括双判别器，两个判别器具有相同的网络结构，判别器是包含卷积的多层网络，判别器包含6个卷积模块，每个模块包含卷积层和LeakyReLU激活函数