基于MSR的水下图像增强算法研究
Underwater Image Enhancement Algorithm Based on Improved Retinex Method

作者: 李社蕾 * , 辛光红 :三亚学院,信息与智能工程学院,海南 三亚; 李海涛 :92961部队,海南 三亚;

关键词: 水下图像颜色校正图像增强直方图均衡RetinexUnderwater Image Color Correction Image Enhancement Histogram Equalization Retinex

摘要:
针对在水下环境中,由于水体对光的吸收和光的散射,以及深海图像由于人工光源光线不均匀,使得水下图像存在颜色失真、图像模糊及曝光不足等问题。根据先消除图像模糊后颜色校正的思路,本文提出了一种多尺度Retinex算法和基于颜色通道直方图量化的颜色校正算法相结合的水下图像处理新算法,该方法采用了基于中心环绕的多尺度Retinex算法(Multi-Scale Retinex, MSR)。并采用基于颜色通道直方图量化的颜色校正算法调整图像,以改善水下图像对比度低、颜色衰减、整体模糊、细节不清晰等问题。实验结果表明,论文提出的方法有效地降低了色彩失真的影响,又较好地突出了图像细节,使水下彩色图像具有更好的视觉效果。

Abstract: The paper aimed at improving the problem of color distortion, blur and underexposure, which caused by absorption of water and light scattering in the underwater environment, and uneven light caused by artificial illumination in the deep sea. According to the ideal of removing the color distortion after the image blurring removal, a novel method of image enhancement has propose, combining multi-scale retinex (MSR) and color correction algorithm based on color histogram quantization. The color correction algorithm based on color channel histogram was used to adjust the image to improve problems of the low contrast, color attenuation, overall fuzzy, unclear details and so on. The experimental results showed that the proposed method can effectively reduce the influence of color distortion and highlight the image details, so that the underwater color image has better visual effect.

1. 引言

1963年E. Land等人 [2] 提出了人类视觉的亮度和颜色感知的模型,即一种颜色恒常知觉的计算理论——Retinex理论。Retinex是一个合成词,它的构成是retina(视网膜) + cortex(皮层)→Retinex。(解释了同一物体在有着不同光谱分布和强度的光源照射下给人带来的色彩感知相对恒定的现象。)40多年来,J. J. McCann和D. J. Jobson、Zia-Ur Rahman、G. A. Woodell等人模仿人类视觉系统发展了Retinex算法,从单尺度Retinex算法(single scale retinex, SSR)改进成多尺度加权平均的Retinex算法(multi-scale retinex, MSR),再发展成带彩色恢复的多尺度Retinex算法(multi-scale retinex with color restoration, MSRCR)。基于Retinex的方法已经应用到了彩色图像增强、雾图像滤波、水下图像以及航空图像处理等领域 [3] 。

王等人 [4] 在YCb Cr色彩空间图像的Y通道采用Retinex框架进行图像增强。尤其是对于在严重的雾霾或光线较暗的环境中获取的图像,效果良好。Jung等人 [5] 使用基于retinex理论的自适应平滑去除照明效果,实现了不同照明条件下的眼睛检测。随着水下图像增强和复原方法逐渐成为研究的热门问题,也有一些研究人员使用Retinex来增强水下图像。Joshi等人 [6] 使用Retinex进行了实验,他们将传统的多尺度Retinex的颜色恢复方法应用于雾霾,光线较暗,雨水,烟雾以及水下场景等条件下的图像。由于水的介质对图像可见度的损害比空气中的介质更大。利用他们的方法,水下图像质量得到了改善。但是增强效果仍然有限,SM等人 [7] 提出了一种基于Retinex的单尺度水下图像增强方法。他们将图像转换为YCb Cr色彩空间,在Y和Cr通道使用Retinex算法。Fu等人 [8] 提出了基于Retinex的单个水下图像增强算法。他们将水下图像从RGB色彩空间转移到LAB色彩空间,并仅在L通道利用Retinex理论分解水下图像的反射和照明。然而,该的方法涉及4~6次迭代的过程,并花了几秒钟来处理一个图像。Zhang等人 [3] 提出的方法扩展了用于水下图像增强的Retinex框架。利用双边滤波器和三边滤波器用于水下图像的不同颜色通道,以根据不同的约束来处理像素。都取得了较好的增强效果。

本文采用了基于中心环绕的多尺度Retinex算法(Multi-Scale Retinex, MSR),并采用基于颜色通道直方图量化的颜色校正算法调整图像,以改善水下图像对比度低、颜色衰减、整体模糊、细节不清晰等问题。

2. MSR图像增强算法

2.1. Retinex理论

Retinex理论认为,一幅给定的图像 S ( x , y ) 可以分解为两个不同的图像:反射图像 R ( x , y ) 和入射图像(亮度图像) L ( x , y ) ,入射光照在反射物体上,通过反射物的反射形成反射光进入人眼,就是人类所看到的图像,图像S是图像L和图像R的乘积。即:

S ( x , y ) = R ( x , y ) × L ( x , y ) (1)

其中, S ( x , y ) 为人类观察或者相机拍摄到的水下图像, L ( x , y ) 为水下的照射分量,决定了水下图像像素点所能达到的动态范围, R ( x , y ) 为水下物体的反射分量,决定一幅图像的内在性质,因此Retinex理论的基本思想是由水下原始图像S,通过有效算法去估计照射分量 L ( x , y ) ,最终得到能表示物体的本来样貌信息的反射分量R,也就是说想办法去除或者降低L分量的影响,最大限度的保留决定水下图像内在性质的反射分量R,从而实现水下图像的增强。将公式(1)两边取对数,得到关系式:

log [ R ( x , y ) ] = log [ S ( x , y ) ] log [ L ( x , y ) ] (2)

其中, S ( x , y ) 已知,要想求解 R ( x , y ) ,需要知道 L ( x , y ) L ( x , y ) 无法求解,通常用 S ( x , y ) 和一个高斯核的卷积来近似估计,所以 R ( x , y ) 可以表示为 [9] :

R ( x , y ) = exp ( log ( I ( x , y ) ) log ( I ( x , y ) G ( x , y ) ) ) (3)

其中,*表示卷积, G ( x , y ) 为高斯核,Jobson [10] [11] 论证了高斯卷积函数可以从已知图像S中更好地估计出入射部分L,其可以表示为:

G ( x , y ) = λ e ( x 2 + y 2 ) c 2

其中:c是尺度常量,c越小,灰度动态范围压缩的越多,c越大,图像锐化的越厉害。该算法是建立在对数空间上的,因为人眼视觉系统比较符合对数空间。

2.2. MSR算法

综上所述,由于SSR算法该算法依赖于尺度参数c,其直接决定着SSR算法对图像处理效果的好坏,取值大时,颜色失真小,但细节恢复差,取值小时,细节恢复好,但颜色失真大,该值控制起来难度较大。为弥补SSR算法不足,于是,Josbon等人 [12] 在SSR算法基础上提出了Multi-scale Retinex (MSR),多尺度Retinex (MSR)算法是对不同尺度c下SSR算法的加权组合,其表达式为:

R k ( x , y ) = i = 1 3 ω i { log S k ( x , y ) log [ F i ( x , y ) S k ( x , y ) ] } (4)

其中:k = 1、2、3,分别对应R、G和B三个颜色通道; R k ( x , y ) 是多尺度Retinex在第k个色彩通道增强后的输出;尺度数为3, ω i 为第i个尺度所对应的权值。通常对尺度c选择大、中、小三个不同的值,既能降低色彩失真的影响,又能较好的突出图像细节,实现两者的平衡。Retinex算法是在不同尺度上对单尺度Retinex算法进行加权平均的结果,处理时间也会相应增长。

3. 颜色校正

通过对多幅水下彩色图像利用MSR算法进行处理,实验发现,处理后的图像清晰度有很大的提升,基本消除了光的散射造成的模糊,但是仍然具有水下图像的特性,即增强后图像R通道衰减较严重,呈现出低红色、高蓝绿色的持点,以至处理后的水下图像仍然偏蓝绿色,针对上述问题,本文基于颜色通道直方图量化的颜色校正算法调整图像,提高水下图像的对比度,校正图像的色彩,进一步改善水下图像质量。

在调整图像之前需要确定用于R、G和B三通道颜色校正的灰度值上限和下限,通常,8位彩色通道的数值范围为0~255。使用通用的归一化方法来计算直方图中的最小和最大像素值,由于图像各通道的灰度值通常存在太高或太低值的单个离散像素,导致了无代表性的量化,可以通过剪切来解决问题,选择1%和95%作为决定因素,灰度值介于1%和95%之间的称之为中间灰度区。然后对水下彩色图像各颜色通道中间灰度区进行量化处理。将中间灰度区的灰度值上边界定义为Vmax,下边界定义为Vmin,在图像三通道累积直方图中确定各通道中间灰度区的范围[Vmin, Vmax]。图像三通道的灰度值进行线性映射,可表示为 [6] :

J ( x , y ) C R = { V min , J ( x , y ) < V min 255 ( J ( x , y ) V min ) V max V min , V min < J ( x , y ) < V max V max , V max < J ( x , y ) (5)

4. 实验结果及分析

为了检测算法的有效性,本文选择了四幅模糊程度不同的水下彩色图像,并选取了图像的信息熵、均值、平均梯度及运行时间作为性能指标进行测试。实验基于windows XP操作系统,Matlab2012a软件平台,Intel(R)Core(TM)i3-2100 CPU @ 3.10 GHz 3.09 GHz,3.01 GB内存硬件平台,实验结果表明,从客观的性能指标来看见表1,本文算法除第一幅图像的均值和信息熵及第四幅图像的信息熵略低外其他性能指标均优于文献6算法,四幅图像的信息熵、均值及运行时间略低,但平均梯度均高于GIMP结果。从直观的视觉效果来看,如图1~图4所示,本文的算法均优于其他算法。

Table 1. Quantitative comparison of Performance Indexes

表1. 性能指标定量比较结果

原图 GIMP结果 文献6算法 本文算法

Figure 1. Three kinds of enhancement algorithm result of the first underwater image

图1. 水下图像1的三种算法增强结果比较

原图 GIMP结果 文献6算法 本文算法

Figure 2. Three kinds of enhancement algorithm result of the second underwater image

图2. 水下图像2的三种算法增强结果比较

原图 GIMP结果 文献6算法 本文算法

Figure 3. Three kinds of enhancement algorithm result of the third underwater image

图3. 水下图像3的三种算法增强结果比较

原图 GIMP结果 文献6算法 本文算法

Figure 4. Three kinds of enhancement algorithm result of the forth underwater image

图4. 水下图像4的三种算法增强结果

5. 结论

由于光在水中传播时被吸收和散射,以及深海图像由于人工光源光线不均匀,所以颜色失真,曝光不足和模糊是水下成像的三大问题。本文提出了一种多尺度Retinex算法和基于颜色通道直方图量化的颜色校正算法相结合的水下图像处理新算法。所提出的方法主要有两个步骤来解决上述问题。首先,采用多尺度Retinex算法对图像进行去模糊,凸显图像细节。其次,基于颜色通道直方图量化的颜色校正算法进行颜色校正,降低颜色失真。实验结果表明结果,提出的方法有效地降低了色彩失真的影响,淡化了黑暗的区域,保持了自然性,并且边缘和细节得到了很好的增强。但是,这种方法的运算量比较大,需要在实际应用中进一步优化和完善。

基金项目

海南省自然科学基金项目(20166234),三亚市院地合作项目(2015YD47)。

文章引用: 李社蕾 , 李海涛 , 辛光红 (2018) 基于MSR的水下图像增强算法研究。 计算机科学与应用, 8, 9-15. doi: 10.12677/CSA.2018.81002

参考文献

[1] 徐岩, 马硕, 王权威. 一种利用前景模型的水下图像增强算法[J]. 小型微型计算机系统, 2017, 38(12): 2802-2806.

[2] Land, E.H. and Mc Cann, J.J. (1971) Lightness and Retinex Theory. Journal of the Optical Society of America, 61, 1- 11.
https://doi.org/10.1364/JOSA.61.000001

[3] Zhang, S., Wang, T., Dong, J.Y. and Yu, H. (2017) Underwater Image Enhancement via Extended Multi-Scale Retinex. Neurocomputing, 245, 1-9.
https://doi.org/10.1016/j.neucom.2017.03.029

[4] Wang, Y., Wang, H., Yin, C. and Dai, M. (2016) Biologically Inspired Image Enhancement Based on Retinex. Neurocomputing, 177, 373-384.
https://doi.org/10.1016/j.neucom.2015.10.124

[5] Jung, C., Sun, T. and Jiao, L. (2013) Eye Detection under Varying Illumination Using the Retinex Theory. Neurocomputing, 113, 130-137.
https://doi.org/10.1016/j.neucom.2013.01.038

[6] Joshi, K.R. and Kamathe, R.S. (2008) Quantification of Retinex in Enhancement of Weather Degraded Images. International Conference on Audio, Language and Image Processing (ICALIP 2008), July 7-9 2008, Shanghai, 1229-1233.
https://doi.org/10.1109/ICALIP.2008.4590120

[7] SM, A.R. and Supriya, M. (2015) Underwater Image Enhancement Using Single Scale Retinex on a Reconfigurable Hardware. 2015 IEEE International Symposium on Ocean Electronics (SYMPOL), 1-5.

[8] Fu, X.Y., Zhuang, P.X. and Liao, Y.H. (2014) A Retinex-Based Enhancement Approach for Single Underwater Image. Proceedings of IEEE International Conference on Image Processing, October 27-30 2014, Paris, 4572-4576.

[9] 曾凡锋, 刘树鹏. Retinex在光照不均文本图像中的研究[J]. 计算机工程与设计, 2017, 38(11): 3072-3079.

[10] Rahman, Z., Jobson, D.J. and Woodell, G.A. (1996) Multi Scale Retinex for Color Image Enhancement. International Conferences on Proceedings of Image Processing, September 19-19 1996, Lausanne, 1103-1106.
https://doi.org/10.1109/ICIP.1996.560995

[11] Yu, T. and Wang, R. (2016) Scene Parsing Using Graph Matching on Street-View Data. Computer Vision and Image Understanding, 145, 70-80.
https://doi.org/10.1016/j.cviu.2016.01.004

[12] Tan, M., Hu, Z., Wang, B., Zhao, J. and Wang, Y. (2016) Robust Object Recognition via Weakly Supervised Metric and Template Learning. Neurocomputing, 181, 96-107.
https://doi.org/10.1016/j.neucom.2015.04.123

分享
Top