Visible and Infrared Image Fusion Method based on Arrow Tail Recognition and Region Reconstruction

REN Zhenzhen; SUN Ce; WANG Wei; WANG Qiang; ZHAN Ronghui

doi:10.15892/j.cnki.djzdxb.2025.03.005

Journal of Projectiles, Rockets, Missiles and Guidance >

2025 , Vol. 45 >Issue 3: 303 - 310

DOI: https://doi.org/10.15892/j.cnki.djzdxb.2025.03.005

Visible and Infrared Image Fusion Method based on Arrow Tail Recognition and Region Reconstruction

REN Zhenzhen ^,¹^,² ,
SUN Ce ^,³ ,
WANG Wei ¹ ,
WANG Qiang ³ ,
ZHAN Ronghui ¹

Expand

¹ College of Electronic Science and Technology, National University of Defense Technology, Changsha 410073, Hunan, China
² Xichang Satellite Launch Center, Xichang 615000, Sichuan, China
³ Xi'an Institute of Optics and Precision Mechanics of CAS, Xi'an 710119, Shaanxi, China

Received date: 2024-01-25

Online published: 2025-07-09

Fold

Abstract

The visible light image of the rocket emitted at night provides clear texture and color information of the tail flame, while the infrared image offers a complete outline of the arrow body and saturated tail flame. Due to the high complementarity between the two, fusion of visible and infrared images has been a focal point in research aimed at enhancing rocket imaging observation capability at launch sites. This paper introduces a fusion method for nighttime visible and infrared images based on rocket tail recognition and region reconstruction. In this method, the invariant features of the arrow body are used to search for the tail secant line, which is then utilized to divide the region. Finally, a fusion strategy for region reconstruction is employed to merge the infrared arrow body with the visible tail flame. This approach effectively prevents loss of feature information from both types of images and maximizes semantic information fusion. Experimental results demonstrate that compared with current main image fusion methods, our proposed method significantly improves fusion effectiveness while better preserving feature details from both visible and infrared source images. Furthermore, it achieves quasi-real-time effects within a short time frame.

Key words： image fusion; visible image; infrared image; rocket tail recognition; region reconstruction

Cite this article

REN Zhenzhen , SUN Ce , WANG Wei , WANG Qiang , ZHAN Ronghui . Visible and Infrared Image Fusion Method based on Arrow Tail Recognition and Region Reconstruction[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2025 , 45(3) : 303 -310 . DOI: 10.15892/j.cnki.djzdxb.2025.03.005

0 引言

在航天发射场进行夜间火箭发射时,通常使用可见光和红外等多种成像设备跟踪火箭目标。可见光图像传感器主要用来记录场景内光的反射信息,在光线充足的情况下可以高分辨率、高清晰度成像,但受外界环境影响较大,在大雾、阴天等光线不足的环境下,火箭箭体信息无法被传感器敏感并可靠获取。红外图像传感器成像主要依靠场景内目标自身的红外热辐射,在光线较暗或存在目标遮挡的情况下依然可以区别出目标与周围环境,但是红外图像反映的是场景内目标的轮廓信息及少量细节信息,尤其是尾焰在红外图像中过饱和,无法体现图像分辨率空间层次感^[1]。因此,针对火箭夜间发射过程需要同时观测火箭箭体和尾焰信息的问题,需要对可见光图像和红外图像进行融合。夜间光线不充足时,红外图像能很好地反应火箭箭体信息,而可见光图像则携带了火箭尾焰丰富的细节纹理和色彩信息。将二者融合可以在一幅图像上同时凸显红外箭体和可见光尾焰的图像特征,大幅度提高图像信息的集成度,凸显出目标信息,有利于图像观测和分析。

近年来,红外图像和可见光图像融合技术作为多源图像信息集成的有效方法,一直是研究热点。加权平均^[2]是一种快速直接操作像素的融合方法,该方法较快融合红外和可见图像,但按权重统一处理全局图像,导致细节信息丢失,图像质量降低。基于权重图的融合方法^[3-4]比加权平均的融合效果有所改善,通过生成图像每个像素点的权重决定红外和可见光在该像素点的融合比例,一定程度上突显红外和可见光的特征,但容易造成融合边缘过渡不自然,失真度高。为了进一步提升融合效果,研究人员提出了基于多尺度分解的融合方法^[5-6]和基于特征迁移的融合方法^[7-8]。基于多尺度分解的融合方法将输入图像以图像金字塔分解为多层不同尺度的低频和高频信息,每层依据不同的融合规则处理后再叠加。基于特征迁移的融合方法利用不同的特征滤波器提取图像的不同特征,叠加到最终的融合图像上。深度学习方法^[9]是一种新兴的融合方法,通过训练神经网络,设计损失函数达到融合目的。神经网络训练过程需要收集大量的样本数据,针对特殊场景,正负样本较难收集,并且训练过程非常耗时,导致计算效率低下^[10-11]。

针对夜间火箭发射的可见光图像和红外图像做全局处理,会带来可见光颜色色偏和红外尾焰过饱和的视觉干扰问题,影响图像的主观效果^[12-13]。文中提出了一种基于箭尾识别与区域重构的可见光与红外图像融合方法。针对夜间火箭可见光图像与红外图像特征信息随发射姿态变化的情况,降采样提取红外图像中的箭体不变特征,再自适应分区域重构融合图像。该融合方法根据箭姿动态区域划分并局部处理融合特征。较传统融合方法,完全去除了红外尾焰的视觉干扰,融合视觉效果较好。文中提出的方法高效、快速,通过红外图像降采样处理再上采样融合,降低融合耗时,有利于实现嵌入式实时处理。对所提出融合方法的融合效果进行了测试,该方法实现了可见光尾焰和红外箭体的同时显示,保留了可见光尾焰颜色,避免了尾焰颜色色偏和红外过饱和尾焰的干扰,提高了融合图像的主观效果。

1 图像融合算法

文中所提方法的流程如图1所示,分为箭尾识别、区域判定和区域重构。首先通过箭体不变特征提取箭尾分割线,然后通过区域判定获得尾焰区、中部区域和箭体区,最后分区域采用不同的融合规则进行融合重构生成融合图像。另外,由于主要研究对象为夜间发射的火箭图像,长波红外依靠火箭自身散发的热辐射来成像,火箭箭体边缘轮廓清晰,成像灰度级别高,所以采用长波红外图像作为红外输入图像。

显示原图|下载原图ZIP|生成PPT

图1 文中图像融合方法

Fig.1 Proposed image fusion method

对于同一初始段火箭飞行场景的红外灰度图像和可见光彩色图像,在融合前通常需要进行配准工作。为建立几何变换模型,通过平移、缩放、旋转等变换将两幅图像统一到同一坐标系中,使双波段图像等效于在同一探测器上成像^[14-15]。通过时间配准、空间变换与灰度变换实现两幅图像的配准,可表示为^[16]:

(1) I_inf(x,y)=g(I_vis(f(x,y)))

式中:I_vis(x,y),I_inf分别为可见光、红外图像中相应位置的灰度值;函数f为二维空间变换;函数g为一维灰度变换。

1.1 可见光图像分解

将可见光R,G,B分量转化为Y,U,V颜色空间下的亮度分量Y,U和V分量。

(2)

$Y U V$ = $0.299 0 0.587 0 0.114 0 - 0.168 7 - 0.331 3 0.500 0 0.500 0 - 0.418 7 - 0.081 3 R G B$

1.2 箭体尾部识别

火箭在初始段飞行过程中箭体垂直或倾斜朝上,对降采样的红外灰度图像进行处理,通过箭体不变特征获取尾部分割线,具体流程如图2(a)~图2(e)所示。

显示原图|下载原图ZIP|生成PPT

图2 箭体尾部分割线获取

Fig.2 Obtaining the secant of the tail part of the rocket body

1.2.1 箭体不变特征提取

根据实际飞行数据统计,夜间火箭空中场景背景灰度极低,均小于灰度50。利用该阈值二值化红外灰度图像I_inf,获取目标二值图像B_inf^[17]。目标二值图像包含箭体和尾焰区域。

(3)

B_inf(x,y)= $0, I i n f (x, y) 50 255, I i n f (x, y) ≥ 50$

对二值图像B_inf进行Canny边缘检测处理,获取边缘图像^[18],具体步骤如图3所示。

显示原图|下载原图ZIP|生成PPT

图3 Canny边缘检测算法

Fig.3 Canny edge detection algorithm

由边缘检测获取到边缘图像,对该边缘图像利用霍夫直线检测出多条直线,如图2(c)所示。由于火箭是朝上飞行,最上方直线段必然是箭体边缘直线段,如图2(d)所示。通过该线段可以获取箭体边缘斜率和端点,计算出箭体垂直方向斜率(垂线斜率)k和线段端点(初始点)P(x₀,y₀)。

1.2.2 箭体尾部分割线搜寻

根据所述垂线斜率k和初始点P(x₀,y₀)计算出截距b=y₀-kx₀,构造初始分割线y=kx+b+δ_offset(δ_offset>0)。箭体尾部分割线搜寻迭代算法如图4所示。

显示原图|下载原图ZIP|生成PPT

图4 搜寻箭体尾部分割线

Fig.4 Searching for the secant of the tail part of the rocket body

初始分割线与目标相交成一线段,判断该线段是否由饱和像素灰度值组成。如若不是,则初始分割线继续向箭体下方移动;如若是,则认为与尾焰顶部相交,此时该直线为箭体尾部分割线,有b'=b+δ_offset。

1.3 区域重构

获取到箭体尾部分割线后,利用该分割线将图像分为箭体区、尾焰区和中部渐变融合区3部分区域。

1.3.1 区域划分

火箭垂直起飞一段后,斜向上飞行,不考虑水平飞和斜向下飞(目标较小,无需融合)。因此,融合分为箭体垂直(斜率k=0)、向左倾斜(斜率k>0)和向右倾斜(斜率k<0),其中k=0时的示意图如图5所示。

显示原图|下载原图ZIP|生成PPT

图5 k=0时区域划分示意图

Fig.5 Schematic diagram of regional division when k=0

以y>kx+b'的区域作为箭体区域,以y<kx+b'的区域作为尾焰区域,即上方为箭体区域,下方为尾焰区域,将箭体尾部箭体方向邻域作为中部渐变区域,其表达式为:

(4) y=kx+b'+m(0<m≤100)

式中m为预设邻域内包含的像素。

1.3.2 融合策略

基于上述区域划分,分别获取箭体区域掩膜B_ir和尾焰区域掩膜B_vis,如式(5)和式(6)所示。

(5)

B_ir(x,y)= $1, y ≥ k x + b' 0, y k x + b'$

(6) B_vis(x,y)=1-B_ir(x,y)

红外灰度图像I_inf与可见光Y分量图像Y_vis最终融合分量Y_fuse,箭体区域表示为B_ir(x,y)·I_inf,尾焰区域表示为B_vis(x,y)·Y_vis。中部区域按照式(7)进行加权渐变融合^[19-20]。

(7)

I_mid(x,y)= $I i n f (x, y), m = 0 0.01 · m · I i n f (x, y), 0 m 100 Y v i s (x, y), m = 100$

式中:I_mid(x,y)为中部区域渐变融合后图像中相应位置的灰度值。中部渐变融合为箭尾区域的过渡方法,当m=0时,灰度为0,箭尾接近可见图像;当m=100时,为红外灰度图。

1.3.3 灰度一致性处理

融合灰度图像Y_fuse重建完成后,还需考虑到目标和背景的灰度一致性。因可见光尾焰通常亮度较高,而箭体灰度较弱,所以需增强箭体亮度并降低尾焰亮度。另外,融合灰度图像由可见光和红外背景分区构成,可见光和红外在成像上背景灰度值差异较小。基于以上分析,采用先增强红外图像后降低融合灰度图像亮度的方式保持目标和背景的灰度一致性,如式(8)所示。

(8)

I i n f (x, y) α, α 0 Y f u s e (x, y) = Y f u s e (x, y) - T, 10 T 20

式中T为灰度值大小。

2 融合评价

文中采用主观评价与客观评价相结合来衡量融合图像的质量。前者包括图像的清晰度、边缘细节等特征的主观视觉判断;后者包括峰值信噪比、均方根误差、空间频率、结构相似性、对比度和保真度等图像融合评价指标^[21]。

2.1 均方根误差

均方根误差表示融合图像与源图像的变化。如果均方根误差越小,则表示融合后图像变化值越小,源图像特征保持质量越好^[22]。图像的均方根误差R定义为:

(9)

R= $1 m × n ∑ i = 1 m ∑ j = 1 n (f' (i, j) - f (i, j)) 2$

式中:图像大小为m×n,f'(i,j)与f(i,j)分别为融合图像与源图像。

2.2 峰值信噪比

峰值信噪比用于评价图像信号重建质量,常简单地通过均方误差进行定义,用对数分贝单位来表示。其值越大,表示融合图像中的信息丢失越少,融合质量越好。

峰值信噪比P定义为^[23]:

(10)

P=10·lg $I m a x 2 R 2$

式中I_max为图像中最大的像素值。

2.3 空间频率

空间频率可以有效衡量融合图像的频率信息丰富程度,空间频率值越大,融合的图像效果越清晰,具有更丰富的细节信息。一幅图像的空间频率定义为^[24]:

(11)

F= $1 m × n ∑ i = 1 m ∑ j = 1 n (Δ f x 2 (i, j) + Δ f y 2 (i, j))$

式中:图像大小为m×n;Δf_x(i,j)与Δf_y(i,j)为图像中相应位置x,y方向灰度值的差分值。

2.4 结构相似性

结构相似性是一种衡量两幅图像相似度的指标,用于模拟图像畸变和失真的评价,结构相似性越大,融合图像与源图像更相似,说明融合算法的效果越好,失真与畸变越小。当两张图像一模一样时,其数值等于1。x与y两幅图像的结构相似性定义为^[25]:

(12)

S(x,y)= $2 μ x μ y + c 1) (2 σ x y + c 2) (μ x 2 + μ y 2 + c 1) (σ x 2 + σ y 2 + c 2)$

式中:μ_x为x的平均值;μ_y为y的平均值;

σ x 2

为x的方差;

σ y 2

为y的方差;σ_xy为x,y的协方差;c₁=(k₁L)²,c₂=(k₂L)²,两者为用来维持稳定的常数,L为像素值的动态范围,文中,k₁=0.01,k₂=0.03。

2.5 对比度

对比度指一幅图像中明暗区域最亮和最暗之间不同亮度层级,对比度越高,图像色彩越生动、丰富。Peli将图像的对比度等效为一幅图像内像素值的标准差^[26]:

(13)

C_σ= $σ I w × h$ = $1 w × h · ∑ I w × h (I (x, y) - μ I w × h) 2$

(14)

μ I w × h

1 w × h

∑

I(x,y)

式中:I_w_×_h为宽和高分别为w和h的图像;I(x,y)为图像中指定位置的一个像素点的灰度值;

μ I w × h

为图的亮度(像素平均值);

σ I w × h

为像素标准差。

2.6 保真度

保真度是用来测量源图像与融合图像之间的交互信息的指标。源图像通过一个“失真通道”产生不同程度的失真变形后被人眼感知,源图像和融合图像之间的交互信息损失需要通过一个畸变模型来计算。其定义为^[27]:

(15)V=

∑ k ∈ s u b b a n d s

I'(

B P k, k

;

D P k, k S P P k, k

)

式中:I'为交互信息量;P为集合的元素个数;k为第k个子带;

B P k, k

为源图像第k个子带随机场RF的含P个元素的集合;

D P k, k

为融合图像第k个子带随机场RF的含P个元素的集合;

S P k, k

为第k个子带的正标量随机场RF的含P个元素的集合。

3 实验方法及结果分析

3.1 实验方法

为了验证所提融合算法的性能,利用夜间同一场景中火箭的红外和可见光图像作为源图像进行融合实验。做了两组实验,图像配准剪裁后,第一组可见光图像和红外图像大小均为640×512。第二组可见光图像和红外图像大小均为1 400×900。实验软件为MATLAB 2016,硬件为Intel Core i7 CPU 3.60 GHz,RAM 8 GB。同时选取常用的5种图像融合算法进行对比,综合分析文中算法与对照组算法的融合效果和耗时。对照组算法分别为加权平均法(weighted average,WA)、权重图融合法(weight map segmentation,WMS)、拉普拉斯金字塔分解法(Laplace pyramid decomposition,LPD)、基于引导滤波多尺度分解的融合方法(guided filter multi-scale decomposition,GFMD)和颜色迁移法^[28-30](color transfer,CT)。

3.2 实验结果分析

不同融合算法对可见光和红外图像融合结果如图6和图7所示。

显示原图|下载原图ZIP|生成PPT

图6 第一组场景不同融合算法比较

Fig.6 Comparison of different fusion algorithms in group one

显示原图|下载原图ZIP|生成PPT

图7 第二组场景不同融合算法比较

Fig.7 Comparison of different fusion algorithms in group two

通过比较可以清晰地看到:采用加权平均法得到的融合图像火箭箭体对比度不强,丢失了较多的红外图像信息,并且红外过饱和尾焰导致可见光尾焰模糊,细节纹理丢失。权重图融合法去除了大部分红外尾焰,然而边缘还留有低灰度的红外尾焰,并且边缘分割线明显,影响视觉效果。拉普拉斯金字塔分解法得到的融合图像尾焰颜色存在色偏现象,细节特征比加权平均方法有所加强,箭体亮度比加权平均方法较好,但比源红外图像箭体亮度偏弱。基于引导滤波多尺度分解法得到的融合图像尾焰消除了色偏现象,纹理保持地较好,但未消除红外尾焰的干扰,导致可见尾焰饱和度降低,箭体和尾焰中间区域及尾焰仍较模糊,尾焰的细节特征不够清晰。颜色迁移方法整体迁移了可见的颜色导致融合图像亮度较低,融合颜色失真明显。文中算法融合图像亮度适中,红外箭体和可见光尾焰信息同时保留完整,箭体区域的对比度较强,能够清晰分辨出箭体轮廓,尾焰区域可见光图像的细节信息完整清晰,箭体和尾焰中间区域过渡自然,视觉效果优于其他方法。

除了主观评价外,利用6种图像质量客观评价指标,对6种不同算法融合结果进行客观质量评价,评价结果如表1和表2所示。从表中可以发现,文中所提算法融合图像的峰值信噪比、保真度、结构相似性指标都明显高于其他5种融合算法的结果,均方根误差指标小于其他5种融合算法的结果,对比度和空间频率较高。进一步证明了文中所提出的融合方法的有效性。较其他可见光与红外图像融合方法,文中提出方法的融合图像保留了红外箭体和可见光彩色尾焰信息,得到的融合图像与源图像之间的畸变和失真最小,融合效果较好。前3种算法融合时间较短,但融合步骤较为简单,融合效果不理想。后两种方法融合时间较长。文中融合算法耗时虽然比前3种方法耗时略有延长,但可以达到准实时效果。

表1 第一组场景不同融合算法的评价指标

Table 1 Evaluation indexes of different fusion algorithms in group one

Algorithm	P	R	F	S	C	V	t/s
WA	38.803	8.453	0.009	0.752	3.137	0.611	0.011
WMA	38.773	8.624	0.017	0.817	9.749	0.981	0.012
LPD	38.971	8.239	0.015	0.731	8.296	0.818	0.034
GFMD	39.028	8.133	0.015	0.729	8.272	0.857	1.084
CT	40.184	6.231	0.015	0.772	1.168	0.296	1.181
Proposed	42.847	3.375	0.018	0.941	9.054	1.006	0.061

表2 第二组场景不同融合算法的评价指标

Table 2 Evaluation indexes of different fusion algorithms in group two

Algorithm	P	R	F	S	C	V	t/s
WA	40.643	5.607	1.063	0.791	0.565	0.468	0.023
WMA	40.281	6.093	2.627	0.891	5.846	0.901	0.011
LPD	40.611	5.648	1.826	0.779	1.669	0.827	0.023
GFMD	40.619	5.638	1.839	0.777	1.692	0.821	4.126
CT	41.018	5.143	0.939	0.728	0.442	0.323	4.472
Proposed	43.304	3.038	1.999	0.918	1.860	0.958	0.081

综合主观视觉评价和客观指标评价结果可知,文中融合算法具有很好的主客观评价表现,融合图像保留了源图像中的轮廓、纹理等重要细节信息,以最少的畸变和失真,实现了同时清晰显示可见光尾焰和红外箭体,进行了有效视觉增强和融合。另外,融合时间较短,有利于进一步的嵌入式实时处理。

4 结束语

针对夜间火箭可见图像与红外图像特征信息分布情况不同,提出了一种基于箭尾识别与区域重构的可见光与红外图像融合方法。采用箭体不变特征搜寻箭体尾部分割线等图像处理方法,完成箭尾特征识别。以箭体与尾焰间的直线分割线为基准对火箭图像分区域处理,通过区域重构有效地发挥可见光图像和红外图像的互补信息,实现可见光尾焰和红外箭体的同时显示,避免尾焰颜色色偏和红外过饱和尾焰的噪声干扰,提高融合图像的主观效果。对所提融合方法的融合性能开展了算法对比实验,主客观评价实验结果表明,该方法具有较好的主客观评价结果,在保留源图像细节信息的同时,能够显著增强目标的视觉效果。同时,该融合算法耗时较短,可以达到准实时效果。后期的研究工作需要继续开展算法性能研究,包括采用并行优化处理和高性能服务器平台等思路进一步提升算法的运行效率,以满足实际应用中对高清图像的实时融合处理需求。

References

Publishing order | Descend order by publishing year | Descend order by cited within

[1]	于子雯. 可见光与红外图像的融合技术研究[D]. 长春: 长春理工大学, 2022. YU Z W. Research on fusion technology of visible and infrared images[D]. Changchun: Changchun University, 2022.

[2]	戴文战, 王琪. 基于PCNN与IFS的可见光与红外图像融合方法[J]. 光电子·激光, 2020, 31(7): 738-744. DAI W Z, WANG Q. Research on fusion method of visible and infrared image based on PCNN and IFS[J]. Journal of Optoelectronics · Laser, 2020, 31(7): 738-744.

[3]	HAYAT N, IMRAN M. Ghost-free multi exposure image fusion technique using dense SIFT descriptor and guided filter[J]. Journal of Visual Communication and Image Representation, 2019, 62(6): 295-308.

[4]	冯贺, 李立, 赵凯. 基于拉普拉斯分解耦合亮度调节的可见光与红外图像融合算法[J]. 电子测量与仪器学报, 2020, 34(10): 91-97. FENG H, LI L, ZHAO K. Fusion algorithm of visible and infrared image based on Laplace decomposition coupled with brightness adjustment[J]. Journal of Electronic Measurement and Instrumentation, 2020, 34(10): 91-97.

[5]	欧鸽. 基于多尺度分解的图像融合方法研究[D]. 重庆: 重庆邮电大学, 2020. OU G. Research on image fusion method based on multi-scale decomposition[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2020.

[6]	许磊, 崔光茫, 郑晨浦, 等. 基于多尺度分解和显著性区域提取的可见光红外图像融合方法[J]. 激光与光电子学进展, 2017, 54(11): 111-120. XU L, CUI G M, ZHENG C P, et al. Fusion method of visible and infrared images based on multi-scale decomposition and saliency region extraction[J]. Laser & Optoelectronics Progress, 2017, 54(11): 111-120.

[7]	SANCHEZ E H, SERRURIER M, ORTNER M. Learning disentangled representations via mutual information estimation[C]// European Conference on Computer Vision(ECCV). August 23-28, 2020, Glasgow, UK, Berlin: Springer: 205-221.

[8]	刘智嘉, 贾鹏, 夏寅辉, 等. 基于红外与可见光图像融合技术发展与性能评价[J]. 激光与红外, 2019, 49(5): 633-640. LIU Z J, JIA P, XIA Y H, et al. Development and performance evaluation of infrared and visual image fusion technology[J]. Laser & Infrared, 2019, 49(5): 633-640.

[9]	王慧. 基于深度学习特征的图像融合方法研究[D]. 无锡: 江南大学, 2023. WANG H. Research on image fusion method based on deep learning features[D]. Wuxi: Jiangnan University, 2023.

[10]

王军, 王江玉, 申政文. 一种基于特征重分配的可见光与红外图像融合方法[C]// 中国自动化学会. 2022中国自动化大会论文集. 11月25日-27日, 厦门, 2022: 351-356.

WANG

, WANG

J Y

, SHEN

Z W

. A visible and infrared images fusion method based on feature redistribution[C]// Chinese Association of Automation. Proceedings of the 2022 China Automation Conference. November 25-27, Xia'men, 2022, Beijing: CAA: 351-356.

[11]	刘锃亮, 张宇, 吕恒毅. 基于生成对抗网络的可见光与红外图像融合[J]. 无线电工程, 2022, 52(4): 555-561. LIU Z L, ZHANG Y, LYU H Y. Visible and infrared image fusion based on generative adversarial network[J]. Radio Engineering, 2022, 52(4): 555-561.

[12]	孙明超, 张崇, 刘晶红. 多尺度图像增强可见光与红外图像融合[J]. 吉林大学学报工学版, 2012, 42(3): 738-742. SUN M C, ZHANG C, LIU J H. Fusion of visible and infrared images based on multi-scale image enhancement[J]. Journal of Jilin University Engineering and Technology Edition, 2012, 42(3): 738-742.

[13]

王贤涛. 基于多尺度分解红外和可见光图像融合算法研究[D]. 长春: 中国科学院大学(中国科学院长春光学精密机械与物理研究所), 2023.

WANG

X T

. Research on fusion algorithm of infrared and visible light images based on multi-scale decomposition[D]. Changchun: University of Chinese Academy of Sciences (Changchun Institute of Optics, Fine Mechanics, and Physics, Chinese Academy of Sciences), 2023.

[14]	付靖淇. 红外与可见光图像配准方法研究[D]. 长春: 长春理工大学, 2022. FU J Q. Research on infrared and visible image registration[D]. Changchun: Changchun University of Science and Technology, 2022.

[15]	周知政, 柳翠寅. 组合模型的图像配准[J]. 小型微型计算机系统, 2022, 43(1): 69-75. ZHOU Z Z, LIU C Y. Image registration based on assembly model[J]. Journal of Chinese Computer Systems, 2022, 43(1): 69-75.

[16]	ZHUANG Y W, GAO K, MIU X H, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization-Powell search algorithm[J]. Optik: Zeitschrift fur Licht-und Elektronenoptik, 2016, 127(1): 188-191.

[17]	张龙, 乔铁柱. 一种红外图像的二值化分割算法研究[J]. 红外技术, 2014, 36(8): 649-651. ZHANG L, QIAO T Z. An binary segmentation algorithm for infrared image[J]. Infrared Technology, 2014, 36(8): 649-651.

[18]	JAVIER C, JAVIER E, MIGUEL F. Multimodal registration of visible, SWIR and LWIR images in a distributed smart camera system[J]. Microprocessors and Microsystems, 2020, 73(3): 102987.

[19]	俞巧云, 邢晓正, 胡红专, 等. 直线拟合方法在一维图像边缘检测中的应用[J]. 光电工程, 2001(6): 56-58. YU Q Y, XING X Z, HU H Z, et al. Application of straight line fitting method to the edge detection of one-dimension image[J]. Opto-electronic Engineering, 2001(6): 56-58.

[20]	李雅楠. 基于灰度融合的彩色图像渐变设计[J]. 电子设计工程, 2018, 26(20): 165-168. LI Y N. Color image gradient design based on gray fusion[J]. Electronic Design Engineering, 2018, 26(20): 165-168.

[21]	江兆银, 王磊. 基于显著性检测与权重映射的可见光与红外图像融合算法[J]. 电子测量与仪器学报, 2021, 35(1): 174-182. JIANG Z Y, WANG L. Visible and infrared image fusion algorithm based on significance detection and weight mapping[J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(1): 174-182.

[22]	邹广群, 张维忠, 卞思琳. 上采样深度图像与RGB图像的融合[J]. 青岛大学学报(自然科学版), 2016, 29(1): 71-74. ZOU G Q, ZHANG W Z, BIAN S L. Fusion of RGB-D images for depth map up-sampling[J]. Journal of Qingdao University(Natural Science Edition), 2016, 29(1): 71-74.

[23]	WELSTEAD S T. Fractal and wavelet image compression techniques[M]. [S.l.]: SPIE, 1999: 155-156.

[24]	唐中剑, 毛春. 基于显著导向的可见光与红外图像融合算法[J]. 太赫兹科学与电子信息学报, 2021, 19(1): 125-131. TANG Z J, MAO C. Visible and infrared image fusion algorithm based on saliency guidance[J]. Journal of Terahertz Science and Electronic Information Technology, 2021, 19(1): 125-131.

[25]	WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. DOI PMID

[26]	张小凤. 可见光和红外图像融合质量评价研究[D]. 武汉: 华中科技大学, 2007. ZHANG X F. A thesis submitted in partial fulfillment of the equirements for the degree of master of engineering[D]. Wuhan: Huazhong University of Science & Technology, 2007.

[27]	SHEIKH H R, BOVIK A C, VECIANA G. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2117-2128. PMID

[28]	王英, 刘帆, 陈泽华. 基于Shearlet域的改进加权法结合自适应PCNN的图像融合算法[J]. 计算机科学, 2019, 46(4): 261-267. WANG Y, LIU F, CHEN Z H. Image fusion algorithm based on improved weighted method and adaptive pulse coupled neural network in Shearlet domain[J]. Computer Science, 2019, 46(4): 261-267.

[29]	江泽涛, 何玉婷, 张少钦. 一种基于对比度增强和柯西模糊函数的红外与弱可见光图像融合算法[J]. 光子学报, 2019, 48(6): 149-158. JIANG Z T, HE Y T, ZHANG S Q. Infrared and low-light-level visible image fusion algorithm based on contrast enhancement and cauchy fuzzy function[J]. Acta Photonica Sinica, 2019, 48(6): 149-158.

[30]	BAVIRISETTI D P, XIAO G, ZHAO J, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]. Circuits Systems and Signal Processing, 2019, 38(12): 5576-5605. DOI

Options

Outlines

模态框（Modal）标题

Abstract

Cite this article

0 引言

1 图像融合算法

图1 文中图像融合方法

1.1 可见光图像分解

1.2 箭体尾部识别

图2 箭体尾部分割线获取

1.2.1 箭体不变特征提取

图3 Canny边缘检测算法

1.2.2 箭体尾部分割线搜寻

图4 搜寻箭体尾部分割线

1.3 区域重构

1.3.1 区域划分

图5 k=0时区域划分示意图

1.3.2 融合策略

1.3.3 灰度一致性处理

2 融合评价

2.1 均方根误差

2.2 峰值信噪比

2.3 空间频率

2.4 结构相似性

2.5 对比度

2.6 保真度

3 实验方法及结果分析

3.1 实验方法

3.2 实验结果分析

图6 第一组场景不同融合算法比较

图7 第二组场景不同融合算法比较

表1 第一组场景不同融合算法的评价指标

表2 第二组场景不同融合算法的评价指标

4 结束语

References