基于梯度域的多曝光灰度图像融合研究

作者：段康容 刘先勇

来源：《科技视界》 2014年第16期

段康容1 刘先勇2

（1.西南科技大学 工程技术中心，四川 绵阳 621000；2.绵阳铁牛科技有限公司，四川 绵阳 621010）

【摘 要】标记点的检测是计算机测量、计算机视觉中的重要环节，本文针对因被测物体材质等造成的影响标记点检测的情况，采用了多次曝光然后图像融合的方式，从梯度域加权重构图像，计算梯度域权值时使用了最大类间差法并进行了梯度权值的抑制和缩放。模拟和真实实验结果表明该方法能较好的保留各种曝光时间下的图像细节，为后续的图像特征提取起到了保障作用。

【关键词】图像融合；多曝光；梯度域

Research on Multiple Exposure Gray Image Fusion based on Gradient Domain

DUAN Kang-rong1 LIU Xian-yong2

(1.The Center of Engineering and Technology, Southwest University of Science and Technology, Mianyang Sichuan 621000, China；

2.Mianyang TieNiu Technology Co., Ltd., Mianyang Sichuan 621010, China)

【Abstract】The marked-point detection is important in computer measurement and computer vision. Affected by the materials of measured objects sometimese, the marked-point detection become difficult. A method of multiple exposures and image fusion. can slove this problem. The result image is reconstructed gradient domain, the weight values of gradient domain are calculated with OTSU, then the values inhibitioned and scaled. Simulation and actual experimental results show that this method can better keep the image details under various exposure time, for the subsequent image feature extraction success.

【Key words】Image fusion; More exposure; Gradient domain

0 引言

在大型物体三维面形测量中，通常使用标记点进行三维不同视角点云的拼接。三维扫描中单幅扫描精度现已可达0.02mm，而拼接的精度成为了三维扫描设备的关键。在基于标记点的多视点云拼接中标记点的三维坐标精度与数量对拼接精度影响巨大，标记点数量越多，精度越高，拼接的精度则越高。在测量过程中常常会因为被测物体的材料和成像角度的不同导致图像上一部分曝光过度，一部分曝光不足，影响标记点检测。各种常用的图像增强算法不能适应检测的需要，在机器视觉中常用的工业相机镜头大多是定焦镜头，光源固定，为了获取一幅对比度高、动态范围大的图像一般采用多次曝光的技术来实现图像增强。

1 多曝光图像融合方法

图像融合[1]是将多幅图像的内容融成一个新图像，从而使融合的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及计算机检测、分类、识别、理解等处理。多幅图像可以是不同焦距成像的、不同拍摄角度成像、不同波长、不同曝光时间、不同光照等等不同因素形成的多幅照片。图像融合的处理层次通常可分为三级[2]：像素级、特征级、决策级，目前大多数研究集中在像素级。像素级图像融合方法大致分为四类：（１）基于彩色空间的方法，如基于神经视觉生理学的彩色图像融合方法[3]等；（2）基于数学/统计学的方法，如比值运算、加法和乘法、主分量分析（PCA）、HPF高通滤波、贝叶斯估计、期望最大值方法、非负矩阵分解方法等；（3）基于多分辨率分析的方法[4]，如金字塔方法、小波变换等；智能图像融合方法，如基于神经网络、模糊理论的融合等。

采用多曝光图像融合可以扩展图像的动态范围，使融合后的图像同时包括高曝光下暗场细节和低曝光下的亮场细节。该想法最早由Burt 等人提出，之后涌现出许多成果。Kartalov等人出于实时处理的目的，提出一种简单的在HSV色彩空间对两张图片进行加权融合的方法。这一方法尽管运算量小，在两张图片曝光度接近时，融合效果较好，但是当亮度差异很大时，融合效果恶化十分严重。Goshtasb等人对图像分块后，使用有理高斯函数(RaG)计算权值，对不同曝光度下同一位置信息量最大的矩形块进行加权，消除块与块之间的亮度突变。分割的矩形块可能包含物体边缘，因此处理结果不够理想，同时由于迭代的使用，运算时间长。Shen等人提出基于广义随机游走的多曝光融合算法，通过计算局部对比度和颜色恒常性两个质量的全局最优解，使用概率的方法实现融合的效果。由于颜色恒常性的引入，这种算法融合的图像颜色表现真实自然，但细节效果一般。Mertens等提出在曝光融合时引入多分辨率融合的方法。在RGB空间采用对比度、饱和度和适当曝光度三个测度作为融合指标生成权值图，采用拉普拉斯金字塔将源图像及权值图分解后，在每一层利用权值图引导系数融合，重建完成图像的多曝光融合。Raman等利用双边滤波器指导融合，他将源图与双边滤波结果相减，所得的差值用来保留图像中的细节，同时作为融合权值。在Lab空间，仅对L通道处理，完成多曝光融合。

2 基于梯度域和最大类间差法的灰度图像融合

2.1 基于梯度域的融合方法

人的视觉系统对绝对亮度不敏感，而对局部的亮度变化响应很快。基于梯度域的图像融合正是采用了该原理，保留不同曝光时间图像上的细节，与直接在灰度域对图像进行操作相比，在梯度域的操作具有设计简单、直观明了等优点。基于梯度域的基础算法如下。

（１）for每张输入图片Ii do

end for

2.2 梯度权值的确定

在梯度场G的合成中权值w的确定是非常关键的一步，不同的融合目的，选择权值的方法不同。本文针对项目中相机采集的图像均是8位单通道的灰度图像，故不考虑多通道彩色图像的颜色失真等影响，只求保值不同曝光时间图像上的显著结构和细节信息。图像的局部3*3领域的梯度大小反映了图像局部显著结构和细节。Kartalov、Goshtasb等等的算法更多的是针对多通道的彩色图像，为了便于将软件集成到FPGA的硬件系统中，本文采用最大类间差法（OTSU）和分段函数计算合成梯度阈值，其算法流程如下：

（１）输入图像计算x方向和y方向的前向差分Ix,Iy，并计算梯度模长m(x,y)。

（2）用最大类间差法计算图像模长m(x,y)的阈值thresh。

（3）计算模长m(x,y)的最大值max与最小值min

（4）根据公式分段计算权值

3 实验效果

该实验采用vc 6.0与opencv在windows平台下实现，图1为下载的测试实验图像，图像尺寸为1536*2048。若直接求解泊松方程线性方程数据量庞大，实验时使用多重网格法来迭代计算求解。图2(a)是采用Fattal融合算法的效果图，图2(b)是采用本文的算法的效果图，从图2(b)中可以既保留了低曝光时间的窗户部分的细节，又有高曝光时间的墙体细节结构。但与Fattal融合算法相比在亮的地方比Fattal融合算法亮，在暗的地方比Fattal融合算法暗，图像动态范围比Fattal融合算法大。因此，在原算法基础之上，添加了抑制较大亮度值和缩放，记点(x,y)处的梯度阈值G(x,y)阈值大小为m=

，记当前高斯金字塔图像块的梯度阈值G(x,y)的平均值。令ａ，β=0.85，则抑制和缩放后的梯度权值计算公式为：

其中。改善后的融合效果如图3所示，比保留的暗场和亮场的细节比没有做该操作的图2(b)要多，比Fattal算法保留的细节更多，能够达到图像边缘检测和特征提取的需要。

项目实验中所用图片如图5所示，为大恒工业相机采集，分辨率为1280*1024，曝光时间分别为1/200秒和1/60秒，采用改善后的融合效果如图5所示。

4 结语

针对曝光时间不同的多幅图像，采用了从梯度域重构融合图像方法，在梯度权重因子的配合下重构出一幅能同时含有各种曝光时间下的图像细节，得到了动态范围更宽、细节更多的图像。该方法求泊松方程时运算量较大，采用多重网格法，计算各层网格上解松弛和平滑的方法对融合的效果影响较大。该方法对暗流引起噪声能起到抑制作用，特别是不同曝光时间越多越能很好的抑制，在项目的适应性上做了巨大贡献。

【参考文献】

［１］敬忠良,肖刚,李振华.图像融合:理论与应用[M].高等教育出版社,2007.

［２］杨斌.像素级多传感器图像融合新方法研究[D].湖南大学,2010.

［３］Waxman A M, Fay D A, Gove A N, et al. Color night vision: fusion of intensified visible and thermal IR imagery[J]. Synthetic Vision for Vehicle Guidance and Control, 1995,2463:58-68.

［４］王宏,敬忠良,李建勋.多分辨率图像融合的研究与发展[J].控制理论与应用,21(1):145-151.

［责任编辑：汤静］