基于TMS320DM642 BAYER格式图像色彩复原的实现.docx

基于TMS320DM642BAYER格式图像色彩复原的实现
(1．中国科学院长春光学精密机械与物理研究所；2．中国科学院研究生院)陈春宁1,2王延杰
摘要：针对CMOS图像传感器输出的Bayer格式的图像数据，利用TI公司的TMS320DM642数字信号处理器的专用视频端口，可以实现图像捕获、数据传输的无缝连接的特点，构建了以DM642为核心的图像实时处理系统。在DM642中采用两种通用方法（双线性插值、边缘检测）和文中提出的信号相关的方法，将从Bayer公司的CMOS图像传感器所捕获的8位Bayer格式图像数据，转换为24位RGB格式彩色图像数据，并通过PSNR（信噪比）和NCD（归一化彩色差异规范）两种评估方法进行检测。从实验结果可以看出文中提出的方法相对于通用方法提高了图像的信噪比，锐化图像的边缘，减少了图像高频信息的错误像素的数量，提高视觉质量。关键词：BAYER格式，彩色滤波阵列(CFA)，双线性插值，边缘检测
1．引言：三CMOS数字相机是由三个单色CMOS分别获得彩色图像的R、G、B分量，每个CMOS只对应获得所采集图像的一种颜色，但这样相机成本较高，为了降低成本，相机设计者设计了单CMOS数字相机，结构如图1。这种单CMOS相机通过彩色滤波阵列（CFA）获得图像的彩色信息。而这样采集的图像在每个像素的位置上只有一种颜色分量可以获得，所以要复原另外两种缺少的颜色分量，就必需通过相邻像素来估算，这个过程叫CFA插值。文中使用的BAYERCFA格式（如图2：每一个方格代表一个像素，格中的R、G、B表示相应像素只含有相应的彩色分量）是现在普遍采用的CFA图像格式中的一种。在这种格式的图像中，图像一半的像素分配给G分量，而R和B分量占图像的另一半像素。因为G分量是R、B分量的两倍，所以如果G分量采用好的插值方法，不仅可以提高G分量的质量，还可以提高R和B分量的质量。具体的方法（包括两种通用的插值方法和本文所提出的利用信号相关对BAYER格式图像彩色复原的方法）分别在本文的第2、3部分进行讲解。然后在第4部分简要介绍以TI公司的TMS320DM642为核心彩色复原系统工作原理,最后通过PSNR（信噪比）和NCD（归一化彩色差异规范）两种评估方法对两种通用方法和文中提出方法进行彩色复原后的图像进行比较，并给出实验结论。

由于DM642采用TMS320C64xDSP内核，工作频率720MHz，能够在每个时钟周期进行一次16位乘加运算，每秒进行2880百万次乘加运算，或8位5760百万次乘加运算。并且DM642有三个可配置视频口，在其内部有5120字节捕获和显示缓存。视频输出频率可达110MHz。提供与通用视频编码器、解码器的无缝连接。因此对图像的彩色复原都在DM642中完成。

2．两种通用的插值方法：
在这一部分介绍已经广泛应用的两种插值方法：
A、一种是双线性插值法[1]，[2]，[3]：每个像素位置上缺少的彩色分量由3x3邻域内具有相同颜色分量的像素平均值获得。参考图3，公式如（1—6）所示：G’7、R’7、B’7、R’3、G’3、B’3表示经过插值后B7、G3位置处像素的R、G、B分量值

这种方法的优点是运算简单，易于实现；缺点是a．没有利用不同彩色分量之间的关系；ｂ．忽略了图像的边缘。这样在图像的边缘就会引进大量的错误数据造成图像边缘模糊以及复原成错误颜色。下面参考图４来说明双线性插值方法在图像边缘进行插值产生错误的原因。在图4（a）（c）中假设3x3邻域的原始图像只有垂直方向的边缘，并且只有两个值，高表示像素值高于图像的平均值，低表示像素值低于图像的平均值。图4（b）是图像BAYERCFA格式，计算中心的R值为R’=（高+高+低+低）/4，而实际的R值应该为低，这样就可以看出真实值和计算值之间的差值△R=（高-低）/2，插值后的图像如图4（d）。为了解决双线性插值中的边缘问题，边缘检测必须在插值之前进行。这就是接着要介绍的第二种通用的方法：边缘检测方法。

3．信号相关插值法：
在前面介绍了两种通用的插值方法，它们都是用邻域内存在的G分量来计算缺少的G分量，而没有利用R、G、B三个分量高度相关的特性。也就是说，如果考虑RGB的相关性，在计算缺少的G分量的时候可以利用R、B分量的信息。即在相邻的小区域内设DR=G—R，DB=G—B，可以认为DR和DB为常数。这样就可以对G分量进行插值计算完成后，用得到的G分量再来得出R、B分量。下面以计算图3中B7位置缺少的G、R分量为例来说明信号相关插值法。操作步骤如下：
（a）利用公式（10）~（13）计算B7周围G3、G6、G8、G11处的区域常数因子KB3、KB6、KB8、KB11的值；
（b）按公式（14）计算B7处的G分量G’7;
（c）按公式(15)利用插值后