摘要：针对有明显色彩和亮度差异的图片，在进行传统的图像拼接后，会产生肉眼可见的拼接缝，严重影响拼接效果。因此，提出一种针对存在色差的图像拼接算法。首先，计算相邻图片间的色彩校正参数和每个彩色通道的全局色彩调整参数，选择适合的颜色和亮度，对每一幅图片进行色彩校正。其次，引入SIFT和RANSAC算法，实现了图像的准确配准。最后，采取0?1加权融合算法和平均融合算法结合进行图像融合，得到最终的全景图像。实验结果表明，由于已经进行图像间的校正，减少了待拼接图像的色差，使得图像的融合更加简单。该算法对于存在色差的图片序列可以实现无缝快速的拼接，并且可根据需要调整图像的色彩和亮度。

　　关键词：图像拼接；色彩校正；SIFT；图像融合

　　中图分类号：TN911.73?34；TP391文献标识码：A文章编号：1004?373X（2013）23?0057?04

　　Imagestitchingalgorithmforimageswithcolordifference

　　WANGLi1，YIZi?chuan2，PANZhong?liang1，BAIPeng?fei2

　　（1.SchoolofPhysics&TelecommunicationEngineering，SouthChinaNormalUniversity，Guangzhou510006，China；

　　2.SouthChinaAcademyofAdvancedOptoelectronics，SouthChinaNormalUniversity，Guangzhou510006，China）

　　Abstract：Animagestitchingalgorithmisproposedfortheimageswithcolordifferencebecausetheimagestitchingbetweentwoadjacentimageswithdifferencesincolorsandluminancecouldproducevisiblecolordifferenceandseamswhenthetraditionalalgorithmisused，andtheimagestitchingeffectisaffectedseriously.Thecolorcorrectioncoefficientsbetweenadjacentimagesandglobalcoloradjustmentparametersofeachcolorchannelarecalculated，andcolorcorrectionforeachimageiscarriedoutbyselectionofappropriatecolorandbrightness.SIFTandRANSACalgorithmsareintroducedandanaccurateimageregistrationisrealized.0?1weightedfusionalgorithmandaveragefusionalgorithmarecombinedtorealizetheimagefusion，andafinalpanoramaimageisgotten.Experimentalresultsshowthattheproposedalgorithmcanrealizeseamlessfaststitchingbetweenimageswithcolordifference.Inaddition，theimagefusionalgorithmbecomeseasierthanthetraditionalalgorithmbyreducingthecolordifferenceofimages.

　　Keywords：imagestitching；colorcorrection；SIFT；imagefusion

　　0引言

　　图像拼接或者全景图像技术是指把同一场景的相邻之间有重合区域的一系列图片拼接成一幅宽视角的、与原始图像接近且失真小、没有明显缝合线的图片，以满足人们浏览全景图片的需求。该技术正被应用于各种领域，如视频压缩、视频索引、目标跟踪[1]或者虚拟环境的创建。

　　目前，已经有许多算法都可以将同一场景图片中的重叠部分提取出来并且快速的拼接成为一幅全景图片，其中有许多算法可以得出令人满意的融合结果。Ming?ShingSu等使用小波进行多尺度的融合[2]，但是这种方法只是在重叠区域进行局部的融合处理，无法保证图像的全局自然。AnatLevin等采取梯度域的融合方法进行图像拼接[3]，可以减少源图像间色差对融合结果的影响。但是以上这两种方法对于存在有明显色彩和亮度差异的图片，融合后的全景图像就会失真。因此，在进行图像拼接之前需要曝光校正。PedroM.Q.Aguiar等直接计算和线性化的曝光校正之间进行迭代[4]，从而进行图像的配准。MatthewUyttendaele等把图像分为若干块[5]，将每一块进行曝光校正，然后再把这些校正过的块进行融合。AseemAgarwala和AnatLevin等在梯度域中进行拼接[6?7]，从而避免了曝光的差异。M.Brown等将每幅图片的像素平均值乘以一个可令最小化误差函数最小的常量进行增益补偿[8]。

　　本文提出的方法主要针对存在明显颜色和亮度差异的一系列待拼接图片的拼接，得到一幅无明显拼接缝的全景图像。通常图像拼接的过程主要分为三个步骤：图像配准、图像对齐和图像融合。但是，对于存在明显色差的图像，若直接进行拼接计算，得到的融合图像存在明显的拼接缝。因此，在这种情况下，需要对原图像进行色彩校正。计算相邻图片间的色彩校正参数和每个彩色通道的全局色彩调整参数，选择适合的颜色和亮度，对每一幅图片进行色彩校正。然后，对图像进行配准计算。图像拼接中一个关键技术是图像融合，即将一系列图像融合为一幅全景图像并且肉眼看不到图片间的拼接缝。本文采用基于余弦关系变换的加权融合算法进行图像融合，得到最终的全景图像。实验结果表明，本文算法对于存在色差的图片序列可以实现无缝快速的拼接，并且可根据需要调整图像的色彩和亮度。

　　1色差图像的图像拼接算法

　　本文算法的实现流程如图1所示。首先计算色彩校正参数和全局调整参数，对待拼接的图片进行色彩校正；然后使用SIFT和RANSAC算法进行图像配准；最后，根据对融合速度的要求，选择0?1加权融合算法或平均值法进行图像融合，得到拼接图像。

　　图1算法实现的流程图

　　1.1色彩和亮度校正

　　在实际获取图片的过程中，由于拍摄时间的不同和曝光强度不同，所得到的相邻的待拼接图像之间的亮度和色彩会存在一定的差异。若不进行色彩校正，将会导致拼接后的的图像存在肉眼可见的拼接缝，直接影响拼接图像的效果，可以清晰地看到待拼接图像中存在的色差导致拼接后的图片也有很明显的拼接缝，这时就需要对原图像进行色彩的校正，从而提高拼接效果。

　　本文的例子中原图均是两幅图像的拼接，但是此算法同样适合于[n]幅图像的拼接。假设有[n]幅待拼接的图像[P1，P2，…，Pi，…，Pn，]假设[Pi-1]和[Pi]是相邻的两幅图片，[Pi-1]和[Pi]是这两幅图片中重叠的区域，[c∈][R，G，B，i=1，2，…，n，]则图片[Pi]的色彩校正参数[αc，i]可由以下公式得到：

　　[αc，i=MSc，i-1（s）γMSc，i（s）γ]（1）

　　式中：[M]是指相邻图像的重叠区域；[Sc，i-1（s）]是指图像[Pi-1]中的像素点[S]的像素值；[Sc，i（s）]是指图像[Pi]中的像素点[S]的像素值；[γ]是指参数，通常设定为2.2。对于待拼接的第一幅图片[P1，]设定[αc，i=1。]为了避免图像色彩过饱和，又设定一个全局调节参数[gc，]用来调整整个待拼接序列的色彩值。需要计算彩色图像[R，G，B]三个通道的调节参数[gc，]则要使图像[i]的[c]通道的调节参数[αc，igc]尽量的接近1，那么有最小二次方程：[mingci=1ngcαc，i-12]（2）

　　结合方程（1），将方程（2）求导等于0，可转换成以下方程：

　　[gc=i=1nαc，ii=1nα2c，i]（3）

　　得到色彩校正参数[αc，i]和全局调节参数[gc，]那么可以对图像[Pi]进行色彩校正：

　　[Sc，i（s）=（gcαc，i）1γSc，i（s）]（4）

　　式中：[Sc，i（s）]是指图像[Pi]在通道[c∈R，G，B]上在像素点[p]的像素值。

　　可根据图片使用场合的不同和个人的喜好，在色彩校正时调整参数，选择适合的拼接效果。

　　1.2图像配准

　　每幅图片都有其确定的SIFT特征点，这个特征点包括尺度空间极值、特征点位置、特征点方向和特征点描述符。

　　SIFT（ScaleInvariantFeatureTransform）算法[9]是DavidG.Lowe在1999年首先提出的用于目标识别的一个方法，首先对两幅图像进行尺度和灰度空间检测，确定关键点位置和所处尺度，然后，用关键点邻域梯度的主方向作为方向特征生成关键的SIFT特征向量进行匹配，但是这种算法仍然存在误匹配。2004年，Lowe提出了尺度不变特征变换，使其对尺度、旋转、亮度、仿射、噪音等都具有不变性。

　　用最近邻算法（NN）对图像间的特征点进行匹配。该方法主要是根据特征点的最近邻距离与次近邻距离的比值来判断特征点间是否匹配，取一个阈值，如果低于该阈值则认为特征点间匹配。NN方法的关键是搜索特征点的最近邻和次近邻。如图2所示。

　　图2NN算法对特征点的匹配

　　由于特征点提取时存在一定的精度误差，提取出的特征点会比求解方程式所需的多很多，另外，自动提取和匹配得到的匹配特征点集合中也难免存在误匹配点或伪匹配点，由于引起误匹配点存在的原因是特征检测算子把图像的某一部分错误地认定为特征，一般的参数估计等方法都不能将其排除，因此需要一种容错能力很强的算法来优化特征点集合，所以本文中使用估计算法RANSAC[10]。

　　RANSAC的基本思想是，在进行参数估计时，不是不加区分地对待所有可用的输入数据，而是首先针对具体问题设计出一个搜索引擎，利用此搜索引擎迭代地剔除掉那些与所估计的参数不一致的输入数据，即所谓的误配点，然后利用正确的输入数据来估计参数。

　　图3是经过RANSAC算法提纯之后的配准点。

　　1.3图像融合

　　图像融合技术是将配准后的图像序列进行拼接、增加图像信息量并消除接缝的过程。由于之前已经进行图像的校正，减少了待拼接图像的色差，这使得图像的融合更加简单。

　　本文采用加权平均的融合算法[11]，使光强或颜色逐渐过渡，以避免图像的模糊和明显的接缝。本文选取0?1加权融合算法，在重叠区域中，权重函数[d1]由1渐变到0，[d2]处由0渐变到1，由此实现了在重叠区域平滑过渡。该方法的主要思想是：在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定权值相加合成新的图像。假如[f1，f2]分别表示两幅待融合的图像，[d1（x），d2（x）]为加权函数，[f]表示融合后的图像，那么有：

　　[f（x，y）=f1（x，y），（x，y）∈f1d1f1（x，y）+d2f2（x，y），（x，y）∈（f1?f2）f2（x，y），（x，y）∈f2]（5）

　　这里，权重函数满足[d1+d2=1，][0图3RANSAC算法提纯后的配准点

　　0?1加权融合算法可以得到令人满意的融合效果，但是对于较大图片的融合，采用0?1加权融合的算法消耗的时间过长。例如，本文试验在频率为1.73Hz的处理器、内存为2GB的电脑上运行，对于1000×700的图片拼接，需要时间为72.281s。此时，本文采取更加简单快速的平均融合方法，即[d1]和[d2]均取值为0.5。此时1000×700的图片在同一台电脑上运行的时间为36.8s，明显提高了运行速度。但是平均融合算法可能会使融合图像出现明显的带状瑕疵。

　　比较0?1加权融合算法和平均融合方法，平均融合方法更加快速，但是融合效果可能存在瑕疵；0?1加权融合算法得到的融合效果更好，但是融合速度相对较慢。可以根据对融合质量和速度的要求选择恰当的融合算法。

　　2拼接结果

　　本文针对有明显色彩和亮度差异的图片，提出了一种图像拼接算法。图4（a）是存在色差的原图像的拼接，由于原图像存在色差，导致融合后的图像有明显的拼接缝，严重影响了拼接效果。图4（b）是进行色彩校正后的图像的拼接，色彩校正之后，两幅图像间的色差有了明显的改善，融合后的全景图像效果较之前有了显著的提高。

　　图4原图像的拼接和色彩校正后的拼接

　　3结论

　　本文提出了一种基于特征点的自动拼接算法，该方法对于存在严重色差图像的拼接有良好的鲁棒性。对于获取的待拼接图像进行色彩和亮度补偿，得到适合色彩亮度一致的待拼接图像，并调整参数选择需要的亮度值。提取待拼接图像的SIFT特征点，采用最近邻算法进行特征点配准，进一步地采用RANSAC算法对配准点去伪运算，实现图像的准确配准。由于之前已经进行图像的校正，减少了待拼接图像的色差，这使得图像的融合更加简单。本文采用0?1加权融合算法和平均融合算法相结合的方法进行图像融合。平均融合方法更加快速，但是融合效果可能存在瑕疵；0?1加权融合算法得到的融合效果更好，但是融合速度相对较慢。可以根据对融合质量和速度的要求选择恰当的融合算法。由于SIFT算法计算量大，因此本文提出的拼接算法需要更多的内存和运行时间。未来的图像拼接可以改善图像配准算法以节省内存和运行时间。

　　注：本文通讯作者为易子川。

　　参考文献

　　[1]JinJS，ZhuZ，XuG.Astablevisionsystemformovingvehicles[J].IEEETransactionsonIntellTransportSyst，2000，1（1）：32?39.

　　[2]SUM，WANGWH，CHENGK.Analysisonmultiresolutionmosaicimages[J].IEEETransactionsonImageProcessing，2004，13（7）：952?959.

　　[3]LEVINA，ZOMETA，PELEGS，etal.Seamlessimagestitchinginthegradientdomain[C]//Proceedingsof2004EuropeanConferenceonComputerVision.Prague，CzechRepublic：ECCV，2004：377?389.

　　[4]AGUIARPMQ.Unsupervisedsimultaneousregistrationandexposurecorrection[C]//2006IEEEInternationalConferenceonImageProcessing.[S.l.]：IEEE，2006：361?364.

　　[5]UYTTENDAELEM，EDENA，SZELISKIR.Eliminatingghostingandexposureartifactsinimagemosaics[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.[S.l.]：IEEE，2001：509?516.

　　[6]AGARWALAA.Efficientgradient?domaincompositingusingquadtrees[J].ACMTransactionsonGraphics（Proc.SIGGRAPH），2007，26（3）：941?945.

　　[7]LEVINA，ZOMETA，PELEGS，etal.Seamlessimagestitchinginthegradientdomain[J].LectureNotesinComputerScience，2004，3024：377?389.

　　[8]BROWNM，LOWEDG.Automaticpanoramicimagestitchingusinginvariantfeatures[J].InternationalJournalofComputerVision，2007，74（1）：59?73.

　　[9]LOWEDG.Distinctiveimagefeaturesfromscale?invariantkeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91?110.

　　[10]FischlerMA，BollesRC.Randomsampleconsensus：aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].CommunicationAssociationMachine，1981，24（6）：381?395.

　　[11]SZELISKIRichard.Videomosaicforvirtualenvironments[J].IEEEComputerGraphicsandApplications，1996，16（2）：22?30.

---

期刊库（http://www.zgqkk.com），是一个专门从事期刊推广、投稿辅导的网站。
　　本站提供如何投稿辅导，寻求投稿辅导合作，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。

---

　　【免责声明】本文仅代表作者本人观点，与投稿辅导_期刊发表_中国期刊库专业期刊网站无关。投稿辅导_期刊发表_中国期刊库专业期刊网站站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。