基于模板滑窗处理测量数据中野值的方法

李红军; 吕绍杰; 张永华; 叶旭鸣

doi:10.15892/j.cnki.djzdxb.2020.04.027

弹箭与制导学报 >

2020 , Vol. 40 >Issue 4: 129 - 131

DOI: https://doi.org/10.15892/j.cnki.djzdxb.2020.04.027

基于模板滑窗处理测量数据中野值的方法

李红军 ¹^,² ,
吕绍杰 ² ,
张永华 ² ,
叶旭鸣 ²

展开

¹ 国防科技大学计算机学院, 长沙 410073
² 天津津航计算技术研究所, 天津 300308

李红军(1980-),男,河南平顶山人,高级工程师,硕士,研究方向:导航与制导,计算机技术应用。

收稿日期: 2019-09-19

网络出版日期: 2025-05-30

收起

A Method of Processing Outliers in Measurement Data Based on Template Sliding Window

LI Hongjun ¹^,² ,
LYU Shaojie ² ,
ZHANG Yonghua ² ,
YE Xuming ²

Expand

¹ School of Computer, National University of Defense Technology, Changsha 410073, China
² Tianjin Jinhang Computing Technology Research Institute, Tianjin 300308, China

Received date: 2019-09-19

Online published: 2025-05-30

Fold

摘要

在导弹末制导目标跟踪试验过程中,针对测量数据中连续出现多个野值的干扰,提出了一种基于模板滑窗滤除测量数据中野值的方法。该方法依据测量数据的前后相关性和变化规律,并结合最小二乘理论,研究了基于模板滑窗滤除测量数据中不同类型的野值点,最后进行了仿真实验和试验数据验证。实验结果表明,该方法能有效地剔除测量数据中不同类型的野值点,提高测量数据的可靠性。

关键词： 野值剔除; 模板滑窗; 最小二乘理论

本文引用格式

李红军 , 吕绍杰 , 张永华 , 叶旭鸣 . 基于模板滑窗处理测量数据中野值的方法[J]. 弹箭与制导学报, 2020 , 40(4) : 129 -131 . DOI: 10.15892/j.cnki.djzdxb.2020.04.027

Abstract

During the missile terminal guidance target tracking test, multiple outliers appear continuously in the measured data,so a method of processing outliers in measurement data based on template sliding window is proposed.According to the correlation and variation rule of the measured data and the least square theory, Filtering outliers from measurement data based on template sliding window is studied in this paper. Finally, the simulation experiment and experimental data validation are carried out. The experimental results show that the method can effectively eliminate the outliers from the measured data.

Key words： outlier elimination; template sliding window; least square theory

0 引言

大量的研究数据表明,无论是基于最小二乘理论的模型参数估计、各种经典滤波方法及其改进的方法(如KF、EKF、UKF等),还是频谱分析中的极大熵谱估计技术,对采样数据中包含的野值反应都极为敏感^[1]。而由经验和统计理论可知,即使是高精度的测量设备,在受到多种偶然因素的影响后也往往包含有较大的随机误差,一般偏离目标真值1%~5%,严重时甚至达10%~20%的误差^[2]。测量数据中出现的这些野值对数据的处理存在很大影响,如在目标跟踪中,野值会导致滤波发散,目标丢失^[3]。因此,针对测量数据中连续出现多个野值,依据测量数据的前后相关性和变化规律,提出了一种基于模板滑窗滤除测量数据中野值的方法,消除野值对测量数据处理工作的影响。

1 算法描述

测量数据中野值出现的形式如图1,孤立型、斑点型野值示意图如图2。文中的算法流程如图3所示,首先设置滑动模板窗口大小及系数值,窗口的大小依据所处理的数据需要来设置,滑动模板的系数依据最小二乘原理获得;随后滑动模板窗口,卷积计算预估值;再把预估值与实际测量值进行比较,如满足误差限要求,则判断为真实值,计数器增加,模板滑动一位,否则判为野值点,进入下一步;下一步判断前两个测量点是否为野值点,如不是,则预估值直接替代测量的野值点,且计数器增加,如是,则转入连续野值点判别。

显示原图|下载原图ZIP|生成PPT

图1 测量数据中野值出现的不同形式示意图

显示原图|下载原图ZIP|生成PPT

图2 不同类型野值示意图

显示原图|下载原图ZIP|生成PPT

图3 算法流程图

1.1 设置滑动模板窗口长度和系数值

在实际测量过程中,传感器的采样率较高,因此测量数据前后的相关性很大,保证了所用数据的合理性。设测量数据的一组测量数据为y{i}(i=1,2,…,N),滑动模板窗口长度为n=5,系数为a_j(j=1,2,…,n),估计值为

y^

(i)(i=6,7,…,N)。以最小二乘法为依据设置滑动模板系数的值,时刻i(i=6,7,…,N)的预测值为:

(1)

y^

(i)=c₁

∑ j = 1 5

y(j)+c₂

∑ j = 1 5

jy(j)

式中:

(2)

c 1 = - 2 / n c 2 = 6 / [n (n + 1)]

设置滑动模板的系数值如下:

(3)

a_j=c₁+c₂j,j=1,2,…,n

则滑动模板窗口长度为5的系数a₁=-0.2,a₂=0,a₃=0.2,a₄=0.4,a₅=0.6,如图4所示。

显示原图|下载原图ZIP|生成PPT

图4 滑动模板窗口长度和对应的系数值

1.2 滑动模板与对应测量数据卷积

将滑动模板最右端对准要进行野值判别点的前一个数据,滑动模板上的各个系数与滑动模板下各对应测量数据相乘,并将所有乘积相加,得到滑动模板卷积的结果,即预测值。

(4)

y^

(i)=a₁y(i-n)+a₂y(i-n+1)+…+a_jy(i-n+j-1)+…+a_n_-1y(i-2)+a_ny(i-1)

重复上述步骤,使得滑动模板在测量数据中遍历,直至处理完所有的测量数据。

1.3 设置阈值并比较预测值与测量值

依据3σ准则,正常测量值y(i)应该以很高的概率落在以其均值y(i)为中心、3σ为半径的范围内,于是判别规则为:若y(i)∈

y^(i) - 3 σ, y^(i) + 3 σ

,则y(i)为正常值,否则视之为野点,令y(i)=

y^

(i),即用预测值替代测量值进行野值剔除。

1.4 基于测量数据变化规律进行连续测量点判别

从式(3)和图4可知,滑动模板的系数之和为1,模板第1个系数与第3个系数的大小相等,符号相反;第2个系数为零;第4个系数与第5个系数之和为1。也就是说估计值中权重最大的是第5个系数对应的值,其次是第4个系数对应的值,这也说明了相邻两个数据之间的相关性最大,数据相距越远相关性越小。因此,当野值连续出现小于3个时,不进行判断,当野值连续出现大于2个时,进行判断,第3个估计值则根据连续实测值的变化趋势估测该时刻位置的测量值,当判断连续3个为预测值时,取第1个预测值前面连续5个点,求取其平均值,将第3个预测值减去计算出的平均值,从而得到新的预测值。滑动模板窗口按照采样时间在测量数据中逐位移动,遍历全部测量数据,直至测量数据采样结束。

2 实验结果及分析

文中进行了仿真实验和试验测量数据验证算法的有效性,其中采用的滑动模板窗口长度为5,对应的系数为a₁=-0.2,a₂=0,a₃=0.2,a₄=0.4,a₅=0.6。试验数据如图5所示,仿真数据如图6所示,其中仿真数据人工模拟加入了孤立型野值点、连续型野斑点,连续型野斑点包括振荡型野斑点,大小幅值递增或递减型野斑点,幅值相等型野斑点。处理结果如图5~图12所示。

显示原图|下载原图ZIP|生成PPT

图12 仿真数据中大幅值递增或递减型野斑点处放大图

图5是试验数据野值剔除结果,其中尖锐突出为孤立型野值点,粗直线为剔除野值后的数据。图6 是仿真数据野值剔除结果,其中粗直线表示的是处理后的结果。图7、图8、图10、图11、图12是仿真数据野值剔除结果放大图,图9是试验数据野值剔除结果放大图。可以看出,算法自适应性强,能够处理不同类型的野值点,证明该算法有效。

3 结论

针对测量数据中存在连续出现多个野值,依据测量数据的前后相关性和变化规律,提出了一种基于模板滑窗滤除测量数据中野值的方法,消除了连续多个野值对测量数据处理工作的影响,避免了连续野值造成误估计情况的发生。试验结果表明,该算法自适应性增强,能够处理不同类型的野值点,而且简单有效,可以实际应用。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

[1]	HAMPEL F R, RONCHETTI E M, ROUSSEEUW P J, et al. Robust Statistics:the approach based on influence functions[M]. New York: John Wildy and Sons Press, 1986:150-200.

[2]	胡绍林, 孙国基. 靶场外测量数据野值点的统计诊断技术[J]. 宇航学报, 1999, 20(2):68-74.

[3]	殷艳华, 王学伟, 施建礼. 基于模板卷积的野值剔除方法[J]. 红外技术, 2009, 31(3):181-183.

[4]	BREUNIG M M, KRIEGEL H P, NG R T, et al. LOF:Identifying density-based local outliers[J]. Acm Sigmod Record, 2000, 29(2):93-104.

[5]	KNORR E M, NG R T. Algorithms for mining distance-based outliers in large datasets[C]// Procedings of the 24th Annual International Conferenle on Very Large Date Bases. Colifornia: Morgan Kaufmann Publisher Inc., 1998:392-403.

[6]	祝转民, 秋宏兴, 李济生, 等. 动态测量数据野值的辨识与剔除[J]. 系统工程与电子技术, 2004, 26(2): 147-149.

[7]	柳海峰, 姚郁. Kalman滤波抗野值方法研究[J]. 计算机自动测量与控制, 2001, 9(6): 60-61.

[8]	李景熹, 王宇, 王树宗, 等. 观测值中野值的判别与处理方法仿真研究[J]. 微计算机信息, 2006, 22(13):140-142.

[9]	孙书鹰, 段修生, 王志强, 等. 目标跟踪系统中野值的判别与剔除技术[J]. 火力与指挥控制, 2004, 29(6):85-87.

Options

文章导航

模态框（Modal）标题

摘要

本文引用格式

Abstract

0 引言

1 算法描述

图1 测量数据中野值出现的不同形式示意图

图2 不同类型野值示意图

图3 算法流程图

1.1 设置滑动模板窗口长度和系数值

图4 滑动模板窗口长度和对应的系数值

1.2 滑动模板与对应测量数据卷积

1.3 设置阈值并比较预测值与测量值

1.4 基于测量数据变化规律进行连续测量点判别

2 实验结果及分析

图5 试验数据和野值剔除结果

图6 仿真数据和野值剔除结果

图7 仿真数据中孤立型野值点处放大图

图8 仿真数据中小幅值递增或递减型野斑点处放大图

图9 试验数据中孤立型野值点处放大图

图10 仿真数据中振荡型野斑点处放大的图

图11 仿真数据中幅值相等型野值点处放大图

图12 仿真数据中大幅值递增或递减型野斑点处放大图

3 结论

参考文献