一种可见光图像与红外图像的融合方法、装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082365A(43)申请公布日2022.09.20(21)申请号202110259985.X(22)申请日2021.03.10(71)申请人杭州海康威视数字技术股份有限公司地址310051浙江省杭州市滨江区阡陌路555号(72)发明人傅斌(74)专利代理机构北京德琦知识产权代理有限公司11018专利代理师谢安昆宋志强(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2006.01)权利要求书3页说明书12页附图4页(54)发明名称一种可见光图像与红外图像的融合方法、装置(57)摘要本申请公开了可见光图像与红外图像的融合方法，基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息、非目标区域中第二像素点的坐标信息；将可见光亮度图像和红外亮度图像进行融合，得到亮度融合的第一图像；调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。本申请解决了视觉效果上的偏色问题，使得融合后的图像具有较强的保色能力。CN115082365ACN115082365A权利要求书1/3页1.一种可见光图像与红外图像的融合方法，其特征在于，该方法包括，基于可见光图像获取可见光亮度图像，基于红外图像获取红外亮度图像；利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息；将可见光亮度图像和红外亮度图像进行融合，得到亮度融合的第一图像；根据第一像素点的坐标信息确定第一图像中的目标区域，根据第二像素点的坐标信息确定第一图像中非目标区域；调整第一图像中像素点的亮度分量，使得第一图像中目标区域与非目标区域的第二亮度对比度与第一亮度对比度相同，得到第二图像；其中，第一亮度对比度根据可见光亮度图像的目标区域中第一像素点和非目标区域中第二像素点的亮度分量计算得到；第二亮度对比度根据第一图像的目标区域中第三像素点和非目标区域中第四像素点的亮度分量计算得到；对于第二图像中每个像素点，将该像素点的亮度分量与可见光图像中具有与该像素相同坐标的像素点的色度分量融合，得到融合后的图像。2.如权利要求1所述的融合方法，其特征在于，所述利用可见光亮度图像和红外亮度图像，确定可见光亮度图像目标区域中第一像素点的坐标信息，以及非目标区域中第二像素点的坐标信息，包括：计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，得到每个像素点的亮度残差；采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差进行加权，使得每个像素点的亮度残差被修正，基于每个像素点修正后的亮度残差，将亮度残差大于或等于预设亮度阈值的像素点的坐标信息作为可见光亮度图像目标区域中第一像素点的坐标信息，将亮度残差小于所述亮度阈值的像素点的坐标信息作为可见光亮度图像非目标区域中第二像素点的坐标信息。3.如权利要求2所述的融合方法，其特征在于，所述计算红外亮度图像中每个像素点的亮度分量与可见光亮度图像中对应像素点的亮度分量之间亮度残差，包括，对于可见光亮度图像和/或红外亮度图像中每个像素点：如果红外亮度图像中该像素点的第一亮度分量大于等于可见光亮度图像中该像素点的第二亮度分量，则计算第一亮度分量与第二亮度分量之间的差值，得到该像素点的亮度残差；如果红外亮度图像中该像素点的第一亮度分量小于可见光亮度图像中该像素点的第二亮度分量，则将该像素点的亮度残差设置为0。4.如权利要求2或3所述的融合方法，其特征在于，所述采用基于可见光图像中每个像素点的亮度分量所计算的第一权值、以及基于红外图像中该像素点的亮度分量所计算的第二权值，对每个像素点的亮度残差加权，包括，对于每个像素点的亮度残差：将该像素点的亮度残差采用滤波函数进行过滤，并用该像素点的第一权值、以及第二权值对过滤后的亮度残差进行相乘，得到该像素点修正后的亮度残差；2CN115082365A权利要求书2/3页或者，用该像素点的第一权值、以及第二权值对该像素点的亮度残差进行相乘，得到该像素点修正后的亮度残差；其中，所述第一权值按照如下方式确定：当可见光亮度图像中该像素点的亮度分量小于或等于设定的第一阈值时，第一权值取值为预设的权值上限；当可见光亮度图像中该像素点的亮度分量大于设定的第一阈值时，第一权值取值在预设的权值下限到预设的权值上限之间