An Infrared Small Target Tracking Algorithm Based on Improved SIAMCAR Network

  • BAI Kun , 1 ,
  • SONG Qiong 2 ,
  • GUO Xiaodong 2 ,
  • MA Long 1 ,
  • JIANG Xuefeng 1 ,
  • CHANG Guannan 1
Expand
  • 1 Xi'an Modern Control Technology Research Institute,Xi'an 710065,Shaanxi, China
  • 2 School of Computer Science,Northeast Electric Power University,Jilin 132012,Jilin,China

Received date: 2025-01-06

  Online published: 2025-07-09

Abstract

Infrared tracking of small and weak targets is an indispensable technology in anti-unmanned aerial vehicle systems. The small size, low contrast, strong maneuverability, and complex background of unmanned aerial vehicles pose lots of difficulties and challenges to tracking algorithms. To address these issues, an improved visual tracking Siamese fully convolutional classification and regression network (ISIAMCAR) is proposed. Initially, a side window filter is incorporated into the model to enhance the feature extraction capabilities of the deep convolutional neural network for small targets within the original network. Additionally, a location-aware module is integrated into the network to maintain the efficient propagation of deep convolutional features for infrared weak and small targets detection and tracking, thereby improving the classification and regression capabilities for infrared small and weak targets. The visual and numerical experimental results demonstrate that our approach outperforms existing state-of-the-art methods, achieving the highest tracking success rate and precision rate. Furthermore, the typical computational time of our proposed model has been thoroughly tested, and the ISIAMCAR network we designed meets the real-time requirements of the target tracking task in the anti-unmanned aerial vehicle system. Finally, ablation experiments have been designed and conducted to verify the effectiveness of the side window filtering and location-aware module in the proposed model.

Cite this article

BAI Kun , SONG Qiong , GUO Xiaodong , MA Long , JIANG Xuefeng , CHANG Guannan . An Infrared Small Target Tracking Algorithm Based on Improved SIAMCAR Network[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2025 , 45(3) : 281 -286 . DOI: 10.15892/j.cnki.djzdxb.2025.03.002

0 引言

随着无人机技术的迅猛发展,其在军事和民用领域的应用日益广泛。军事领域,无人机已成为现代战争中的关键力量,在侦察、打击与情报收集等任务中作用日益凸显。民用领域,无人机在物流、消防、农药喷洒等方面提高了效率,但其滥用已对低空经济秩序、公共安全造成了巨大威胁。因此,反无人机技术的发展变得尤为迫切。红外目标搜索跟踪系统因其在探测、跟踪和识别无人机方面的高效能和高可靠性,已经成为反无人机系统不可或缺的一部分。
然而,由于大多数无人机体积小,且常在包含森林、建筑物以及地面复杂背景和动态杂波干扰的环境下进行较强机动,传统基于人工特性的红外跟踪算法无法将无人机与背景干扰物进行准确区分。因此针对反无人机任务需求,迫切需要开展基于深度学习模型的弱小目标跟踪算法研究,提升红外目标搜索跟踪系统对无人机目标跟踪的准确性、鲁棒性和实用性。
图像目标跟踪算法是计算机视觉领域的核心研究方向之一,经历了快速的发展和创新,主要分为判别式[1-14]、生成式和基于深度学习的方法[15-22]
判别式方法将目标跟踪问题转化为二分类问题,采用在线训练的分类器对目标区域与背景区域特征进行判别,获得图像中的目标位置。判别式方法具有代表性的主要有CSK[1]、MOSSE[2]、KCF[3]、DSST[4]、SRDCF[13]、BACF[14]等算法。其中,MOSSE算法,利用最小输出平方误差(minimum output sum of squared error)来训练判别滤波器,具备一定的适应光照、尺度和姿态变化的能力。KCF算法支持多通道特征,如HOG特征,相较于仅使用灰度图像作为输入的MOSSE算法提供了更多的信息,从而可以提高跟踪性能。DSST算法加入了更多的尺度滤波器,具备了更好的尺度自适应能力。
生成式跟踪技术依赖于对目标的先验知识来构建其外观模型,并在视频流的后续帧中寻找与模型最匹配的区域。Liu等[5]开发了一种利用PCA投影系数进行模板匹配的红外目标跟踪方法。Bal等[6]提出了一种基于强度变化函数(IVF)和模板建模的跟踪算法,该算法能有效区分目标,即使在目标与背景相似度高的情况下也能减少误报,并通过模板减少虚警。Wang等[7]结合了基于均值偏移的梯度匹配和特征分类,利用目标的灰度特征及背景的似然比来识别目标。
深度学习目标跟踪算法利用卷积神经网络等技术提取目标特征,因其自动特征提取和稳定跟踪效果而受到广泛关注,SiamFC[15]、SiamRPN[16]、DaSiamRPN[17]、SiamMask[18]、SiamRPN++[19]等基于孪生网路的跟踪算法具有代表和开创性。Cui等[8]提出了结合孪生网络和Transformer的红外目标跟踪方法,通过多特征提取和多头注意力机制提高跟踪精度。Kou等[9]设计了LW-IRSTNet网络,结合多种策略解决目标尺度、光照变化和目标遮挡问题。Zhao等[10]提出了基于动态核的DykT跟踪方法,以增强对红外图像提取特征能力。Lyu等[11]引入新模块和特征,提出了SiamITO算法提高了孪生网络跟踪算法对小目标的适应性。
由于无人机识别存在尺寸小、目标背景对比度差以及复杂背景杂波干扰的特性,传统目标跟踪算法采用人工设计浅层特征信息相对有限,在环境噪声和光照变化的影响下,红外弱小目标跟踪稳定性和准确性不高。此外,当无人机目标快速机动时,传统跟踪算法通常难以适应运动特性不连续和尺度快速变化,从而造成跟踪漂移与丢失。深度学习的目标跟踪算法在跟踪小目标时面临着数据需求、泛化限制及目标特征提取难等现实问题。
针对红外弱小目标跟踪上存在的问题,文中提出了ISIAMCAR网络跟踪算法。通过侧窗滤波优化深度学习网路对弱小目标特征提取能力,采用位置感知模块提高网络对弱小目标特征的关注,保证小目标特征传递的效率。由定性与定量的实验验证ISIAMCAR网络验证小目标跟踪的成功率和精确性,由相关消融实验验证侧窗滤波、位置感知模块的有效性。

1 SIAMCAR目标跟踪网络

SIAMCAR(siamese context-aware R-CNN)[12]是一种目标跟踪孪生网络,其网络结构图如图1所示。
图1 SIAMCAR网络结构图

Fig.1 Architecture of proposed ISIAMCAR network

该网络包括两个子网络,一个孪生子网络(siam subnetwork)对目标模板和搜索图像进行特征提取,另一个分类回归子网络(classification and regression subnetwork, CRS)用于预测目标外接框,完成目标跟踪任务。考虑充分多层深度特征进行聚合用于目标跟踪任务,孪生子网络特征主干网络采用与SiamRPN++算法相同的修改方式[19],模板分支φ(X)和搜索分支φ(Z)的输入尺寸分别为127×127,255×255,两个分支生成的两个特征图通过深度互相关操作产生响应图R,其表达式为:
R=φ(X)* φ(Z)
响应图R进入到分类回归子网络中,与基于区域建议网络(region proposal network, RPN)跟踪算法不同,分类回归子网络基于响应图R每一个位置进行分类和目标外接矩形回归,采用无锚框的方式完成目标跟踪,通过端到端的全卷积操作完成相关训练,避免复杂的超参数调整。
在CRS中,目标跟踪任务被分为两个分支任务。如图1所示,分类分支对响应图R每一个位置进行目标与背景的分类,实现对目标的检测;回归分支直接在该位置上计算目标外接矩形(bounding box)[12]

2 改进SIAMCAR网络

2.1 改进SIAMCAR网络设计

针对反无人机应用场景中红外小目标跟踪任务中存在的目标特征微弱、目标尺寸小以及复杂背景干扰等问题,文中引入侧窗滤波(side window filter, SWF)和位置感知模块(location aware module,LAM)对原有网络进行改进。图2为提出的ISIAMCAR网络结构。在目标模板图像(template image)和搜索图像(search image)被送至孪生子网络之前,分别加入SWF模块,提升网络抑制背景杂波和保持弱小目标特征的能力。在孪生子网络得到的高维特征被送至分类回归子网络之前,加入LAM模块,保证弱小目标特征在分类回归子网络中的有效传递,提升分类回归子网络对弱小目标分类和跟踪框回归性能。
图2 ISIAMCAR网络结构图

Fig.2 Architecture of our proposed ISIAMCAR network

2.2 侧窗滤波SWF设计

侧窗滤波SWF的核心思想是把每一个像素点视为目标的边缘特征,在其周围生成多个侧窗口,每个窗口将目标像素与窗口的一侧或角对齐,从而实现对边缘特征的保持。综合考虑目标特征保留性能和算法实时性,文中认为8个不同角度的侧窗滤波器可以有效覆盖弱小目标基本的边缘形状特征。因此,选择8个方向的滤波窗口对模板图像和搜索图像进行滤波。对于图像中的像素x,其滤波处理后的结果可表示为:
I k r , ρ , θ=F(qx,r,ρ,θ)
式中:qx为像素x所在的滤波窗口;r为滤波窗口的半径;ρ为像素x在滤波窗口的具体位置,当其为0时表示像素x在滤波窗口的侧边,当其为1时表示像素x在滤波窗口的顶角位置;θ为滤波窗口的方向角。图3为8个方向的侧窗滤波窗口的典型实现形式,其中r取值为2,1/6和1/4均为典型滤波器系数。
图3 8个方向侧窗滤波示意图

Fig.3 Diagram of eight-directions SWFs

为了在充分保留目标特征信息的基础上有效抑制背景杂波,选择与原始图像灰度值之差最小侧窗输出作为滤波输出结果,该过程可以表达为:

ISWF= a r g   m i n I   k r , ρ , θ q k - I k r , ρ , θ 2 2

式中qk为输入图像在像素x处的灰度值。

2.3 位置感知模块LAM设计

位置感知模块LAM主要针对原SIAMCAR网络分类回归子网络,通过在该子网络卷积神经网络之前增加LAM,使分类回归子网络更加专注目标位置紧密的相关区域,以减少目标跟踪框预测误差,提高网络对小尺寸目标的适应能力。
图4为LAM模块结构图。在第一个分支中,首先将输入特征图沿着W轴逆时针旋转90°后进行平均池化操作,然后使用3×3卷积核对池化后特征进行处理,最后通过激活函数生成权重与输入特征进行融合。在第二分支中,首先将输入特征图沿着H轴逆时针旋转90°,后续操作与第一分支进行相同操作。在第三分支中,输入特征首先进行平均池化和最大池化操作,然后进行卷积操作,通过激活函数生成权重与输入特征进行融合。最终,将3个分支输出特征的相加均值作为输出特征,并以该输出特征作为分类回归子网络的输入。
图4 位置感知模块结构图

Fig.4 Architecture of location aware module

2.4 损失函数

损失函数L主要由分类损失Lcls、中心度损失Lreg以及回归损失Lcen3个部分组成,其表达式为:

L=Lcls+λ1Lreg+λ2Lcen

Lcls,Lreg,Lcen的定义式为:
L c l s = 1 N i L c r o ( y i , p i ) L r e g = R ( g ( k , h ) ) L I O U ( g ( k , h ) , v ( k , h ) ) R ( g ( k , h ) ) L c e n = R ( g ( k , h ) ) L c o r ( C ( k , h ) , M ( k , h ) ) R ( g ( k , h ) )
式中:yi为图像像素点i的类别标签,属于目标为1,属于背景为0;pi为像素点i模型输出属于跟踪目标的概率;Lcro表示交叉熵损失函数;g(k,h)表示模型预测框;v(k,h)表示真实标签目标框,回归损失函数主要是通过计算交并比损失实现对模型预测框位置的修正;R(g(k,h))为指示函数,若g(k,h)包含目标则为1,否则为0;C(k,h)为预测特征图相应中心得分,M(k,h)为人工标签中心度得分。

3 实验与分析

3.1 实验设置

选取CVPR2023反无人机数据集,同时混合Anti-UAV410数据集[20]和地空背景下红外图像弱小飞机检测跟踪数据集[21]来进行算法训练与测试。此外,由于红外弱小目标跟踪任务处理的目标尺寸一般均小于9×9像素,排除了以上数据集中目标尺寸中不满足要求的序列。最终用于算法训练测试的混合数据集包含150个序列,将100个序列作为训练集,20个序列作为验证集,30个序列作为测试集。
训练阶段,首先采用VOT2021可见光图像数据对ISIAMCAR网络主要参数进行训练,然后采用混合数据集对提出的模型进行迁移学习。通过随机梯度下降算法进行网络参数优化训练,训过程中epoch设置为100,训练过程中图像批量大小设置为8,损失函数中λ1,λ2为0.5、0.5。此外,由于在每一层特征提取时均进行了延拓,会增加较多的计算量,通常可选取模板特征中间7×7的区域,在保留目标特征同时有效降低计算资源消耗[19,22]。同理,权衡对快速机动目标跟踪能力与跟踪实时性,搜索特征区域尺寸选为31×31。
反无人机任务需要对无人机目标进行快速、准确、精确跟踪与定位。因此,选用成功率Rsuc、精确率Rpre以及每秒帧数NFPS 3个指标完成对模型算法性能评价。
目标跟踪成功率指标主要通过计算算法输出结果与人工标记结果之间的交并比RIOU,交并比计算公式为:

RIOU= M g t M t r M g t M t r

式中:Mgt为测试数据集中目标框,Mtr为模型算法输出的目标跟踪框。可以看出,较高的RIOU表示跟踪算法目标跟踪准确性较高。对于目标跟踪成功率指标来讲,通常做法是将RIOU大于一定阈值的帧数当作目标被成功跟踪,然后统计在数据集目标被成功跟踪图像帧的比例,Rsuc可表示为:

Rsuc= I R I O U 0.5 I

式中:I为测试数据总帧数;RIOU阈值设定为0.5。
精确率指标依据的是模型输出的目标框中心位置与目标标签框中心位置之间的距离,即中心位置误差Ecen,其计算公式为:

Ecen= ( x 2 - x 1 ) 2 + ( y 2 - y 1 ) 2

式中:x2y2为模型输出预测框中心坐标值;x1y1为标签框中心坐标。越小的Ecen表示算法给出的目标跟踪结果精度越高。
通常对于统计目标跟踪算法在一个测试数据集中的精确率来讲,设定精确率的距离阈值为20个像素,小于跟踪距离阈值的图像帧中目标认为被精确跟踪,最终统计数据集中被精确跟踪的帧数比例作为跟踪精确率,其计算公式如式(9)所示:

Rprc= I E c e n 20 I

算法实时性能指标采用每秒帧数NFPS作为衡量模型在时间效率方面的评价指标。所有算法测试均采用显卡为GeForce RTX 3090,显存24 GB。

3.2 对比实验

表1为文中算法与SRDCF、BACF、KCF以及SiamRPN等主流目标跟踪算法的对比测试结果。从结果可以看出,文中提出红外小目标跟踪算法在跟踪成功率、精度指标上优于其他算法。
表1 文中模型与其他算法对比实验结果

Table 1 Results of proposed experiment with other tracking algorithms

Algorithm Rsuc Rpre NFPS
SRDCF 0.177 3 0.150 8 28.25
BACF 0.376 0 0.442 1 75.32
KCF 0.244 7 0.244 0 70.43
SiamITO 0.611 6 0.646 4 89.73
SiamRPN 0.612 0 0.653 8 70.69
Ours 0.636 5 0.696 9 73.67
图5为天空云层干扰场景下文中算法与其他跟踪算法的对比结果。从图中可以直观看出,与其他跟踪算法相比,文中提出的算法具有更强的抗背景干扰能力。
图5 文中所提出算法与其余跟踪算法跟踪效果对比

Fig.5 Visual comparison of our proposed algorithm and other tracking algorithms

3.3 消融实验

为验证所提出的侧窗滤波SWF和位置感知LAM模块的有效性,完成了相关消融实验,结果如表2所示。从表2展示的数据可以看出,侧窗滤波、位置感知模块的引入显著提升了红外弱小目标跟踪成功率和准确性。
表2 消融实验与实验结果

Table 2 Ablation studies of our proposed modules

Algorithm SWF LAM Rsuc Rpre NFPS
SIAMCAR N N 0.584 2 0.659 4 75.19
SWF Y N 0.619 4 0.683 8 75.32
Ours Y Y 0.636 5 0.696 9 73.67

Note:N is not valid; Y is valid.

经过充分的实验验证,增强侧窗滤波模块,目标跟踪成功率提升至61.94%,精确度提升至68.38%。可以看出:侧窗滤波SWF模块在有效保持目标特征的基础上,实现了对红外图像噪声的有效抑制,位置感知LAM模块优化输入至孪生子网络特征提取模块的图像质量,从而提高了红外弱小目标跟踪的成功率和准确性。位置感知LAM模块也有效保留了红外弱小目标深度特征,将目标跟踪成功率提升至63.65%,精确度提升至69.69%。
此外,侧窗滤波SWF、位置感知LAM模块的引入并没有明显降低目标跟踪速度,文中设计的红外弱小目标跟踪模型依旧具备实时运行的能力。

4 结论

针对光学图像无人机目标检测跟踪任务场景下无人机目标存在的小尺寸、弱对比度、运动行为复杂以及动态干扰等挑战,提出了增加侧窗滤波与位置感知模块的ISIAMCAR红外小目标跟踪模型。通过侧窗滤波SWF模块的引入,有效提升了传统深度网络特征提取模块对弱小目标边缘特征的提取能力。通过,在目标分类回归自网络中加入了位置感知模块以保证了红外小目标特征在深度网络中的高效传递,提高对弱小目标的检测准确度。经充分对比试验,文中提出的基于ISIAMCAR红外目标跟踪算法有效提高了弱小目标跟踪的成功率和准确性。同时,该跟踪模型在典型硬件平台上运行效率可达70 frame/s以上,满足反无人机系统低延迟、高精度跟踪的需求,具有较大的应用前景。最后,针对引入的侧窗滤波SWF模块和位置感知LAM模块设计并进行了相关消融实验,验证了ISIAMCAR红外小目标跟踪模型的有效性。
[1]
BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, CA: IEEE, 2010: 2544-2550.

[2]
HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]// Computer Vision-ECCV 2012: 12th European Conference on Computer Vision, October 7-13, 2012, Florence, Italy. Berlin:Springer, 2012: 702-715.

[3]
HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596

DOI PMID

[4]
DANELLJAN M, HÄGER G, KHAN F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(8): 1561-1575.

[5]
LIU R, LI X, HAN L, et al. Track infrared point targets based on projection coefficient templates and non-linear correlation combined with Kalman prediction[J]. Infrared Physics & Technology, 2013, 57: 68-75.

[6]
BAL A, ALAM M S. Automatic target tracking in FLIR image sequences using intensity variation function and template modeling[J]. IEEE transactions on instrumentation and measurement, 2005, 54(5): 1846-1852.

[7]
WANG Z, HOU Q, HAO L. Improved infrared target-tracking algorithm based on mean shift[J]. Applied Optics, 2012, 51(21): 5051-5059.

[8]
崔晨辉, 蔺素珍, 李大威, 等. 基于孪生网络和 Transformer 的红外弱小目标跟踪方法[J]. 计算机应用, 2024, 44(2): 563.

DOI

CUI C H, LIN S Z, LI D W, et al. Infrared small target tracking method based on Siamese networks and Transformer[J]. Journal of Computer Applications, 2024, 44(2): 563.

[9]
KOU R, WANG C, YU Y, et al. Infrared small target tracking algorithm via segmentation network and multi-strategy fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1-12.

[10]
ZHAO H, MA C, DENG X, et al. An infrared small target tracking method based on dynamic kernels[C]//2023 IEEE 7th Information Technology and Mechatronics Engineering Conference (ITOEC), September 15-17, 2023, Chongqing, China, New York: IEEE, 2023, 7: 1835-1838.

[11]
LYU Z, LI Y, YUAN J, et al. SiamITO:A lightweight siamese network for infrared tiny object tracking[C]//2022 China Automation Congress (CAC), November 25-27, 2022, Xiamen, China, New York: IEEE, 2022; 4781-4786.

[12]
GUO D, WANG J, CUI Y, et al. Siam CAR: Siamese fully convolutional classification and regression for visual tracking[C]// IEEE. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. Seattle: IEEE/CVF, 2020: 6269-6277.

[13]
DANELLJAN M, HÄGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile, New York: IEEE, 2015: 4310-4318.

[14]
GALOOGAHI H K, FAGG A, LUCEY S. Learning background-aware correlation filters for visual tracking[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice Italy, New York: IEEE, 2017: 1144-1152.

[15]
CEN M, JUNG C. Fully convolutional siamese fusion networks for object tracking[C]//2018 25th IEEE International Conference on Image Processing (ICIP), October 7-10, 2018, Athens, Greele, New York: IEEE, 2018: 3718-3722.

[16]
LI B, YAN J, WU W, et al. High Performance visual tracking with siamese region proposal network[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, SaltLake City, VT, New York: IEEE, 2018: 8971-8980.

[17]
ZHU Z, WANG Q, LI B, et al. Distractor-aware siamese networks for visual object tracking[C]// Proceedings of the European Conference on Computer Vision (ECCV), Spetember 8-14, 2018, Munich Munich Germany, Berlin:Springer, 2018: 101-107.

[18]
WANG Q, ZHANG L, BERTINETTO L, et al. Fast online object tracking and segmentation:a unifying approach[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA. New York: IEEE, 2019: 1328-1338.

[19]
LI B, WU W, WANG Q, et al. SiamRPN++:evolution of Siamese visual tracking with very deep networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA. New York: IEEE, 2019: 4282-4291.

[20]
HUANG B, LI J, CHEN J, et al. Anti-UAV410: a thermal infrared benchmark and customized scheme for tracking drones in the wild[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024, 46(5): 2852-2865.

[21]
回丙伟, 宋志勇, 范红旗, 等. 地/空背景下红外图像弱小飞机目标检测跟踪数据集[J]. 中国科学数据, 2020, 5(3): 286-297.

HUI B W, SONG Z Y, FAN H Q, et al. A dataset for infrared detection and tracking of dim-small aircraft targets under ground/air background[J]. China Scientific Data, 2020, 5(3): 286-297.

[22]
VALMADRE J, BERTINETTO L, HENRIQUES J, et al.End-to-end representation learning for correlation filter based tracking[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July, 21-26, 2017, Honolulu, Hawaii, Piscataway, N.J.: IEEE, 2017: 5000-5008.

Outlines

/