Partial Robust M-regression Echo State Network

MA Fengmei; WANG Gaitang

doi:10.15892/j.cnki.djzdxb.2019.05.014

Journal of Projectiles, Rockets, Missiles and Guidance >

2019 , Vol. 39 >Issue 5: 59 - 62

DOI: https://doi.org/10.15892/j.cnki.djzdxb.2019.05.014

Partial Robust M-regression Echo State Network

MA Fengmei ¹ ,
WANG Gaitang ²

Expand

¹ School of Electronic and Information Engineering, Ankang University, Shaanxi Ankang 725000, China
² Xi’an Modern Control Technology Research Institute, Xi’an 710065, China

Received date: 2018-09-05

Online published: 2025-05-12

Fold

Abstract

In order to improve the nonlinear mapping capability and learning performance of echo state network,a new learning algorithm called partial robust M-regression echo state network is proposed. Firstly,the output matrix of reservoir activation function is the input sample data for the PRM algorithm,the output vector is the output sample data of PRM algorithm. Secondly,the weight of the sample data is calculated. In order to obtain the regression coefficients of PRM algorithm (that is,the output weights of ESN network),a regression model between them is established.Finally,the effectiveness and feasibility of the algorithm is verified using simulation experiment. Compared with the ESN,the simulation results show that the algorithm has better prediction precision and good generalization performance.

Key words： echo state network; partial robust M-regression; residual weight; leverage weight

Cite this article

MA Fengmei , WANG Gaitang . Partial Robust M-regression Echo State Network[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2019 , 39(5) : 59 -62 . DOI: 10.15892/j.cnki.djzdxb.2019.05.014

0 引言

回声状态网络(echo state networks,ESN)是近年来提出的一种新型的递归神经网络,与传统的递归神经网络相比,该算法具有的最大优点在于学习速度快和泛化性能好等^[1-2],因此,ESN在时间序列预测^[3]、异常检测^[4]、语音识别^[5]等领域取得了良好的效果。同时,为了提高算法的性能,提出了各种各样的算法^[6-10]。ESN算法的核心是储备池核函数(即激活函数),在训练过程中,网络的输入连接权值、输出反馈连接权值和储备池内部连接权值是随机产生的,ESN只需要训练动态储备池与输出神经元之间的连接权值。通常情况下,ESN使用了线性回归算法求解输出权值。然而,在处理实际问题时,使用线性回归算法求解输出权值时易导致病态解问题,为了解决这一问题,史志伟等提出了ESN 岭回归学习算法^[11-12]。

鉴于此,文中将偏鲁棒M回归应用于回声状态网络中,提出了偏鲁棒M回归回声状态网络(partial robust m-regression echo state network,PRM-ESN),实验结果验证了该方法的可行性、有效性。

1 回声状态网络

1.1 算法原理

回声状态网络是基于储备池计算的一种新型递归神经网络,其网络拓扑结构如图1所示。

显示原图|下载原图ZIP|生成PPT

图1 ESN网络的拓扑结构

假如储备池的状态向量为x(k),输入向量为u(k),输出向量为y(k),f(·)为储备池节点的激活函数,W_in为输入连接权值,W_back为输出反馈连接权值,W为储备池内部连接的权值,W_out为输出权值,则ESN网络的基本方程可描述为:

(1)

x (k + 1) = f (W i n u (k + 1) + W x (k) + W b a c k y (k))

(2)

y (k + 1) = f o u t (W o u t (u (k + 1), x (k + 1), y (k)))

式中:

f o u t (·)

为输出层函数,一般为线性函数。

ESN网络算法的训练过程如下:

对于给定的n个训练样本

(x i, y i)

,激活函数

f (x)

以及储备池节点数

N

,则:

1)随机产生初始化权值W_in、W和W_back,使其均匀分布在 [-1,1]之间;

2)计算储备池输出矩阵M,输出向量为Y;

3)计算输出权值W_out。

1.2 权值计算方法

回声状态网络输出权值的计算方法主要有以下两种方法:

最小二乘法或MP广义逆最小二乘方法^[1-2]:

(3)

W o u t = M † Y 或 W o u t = (M T M) - 1 M T Y

式中:M^†为储备池输出矩阵M的MP广义逆。

岭回归方法^[6]:

(4)

W o u t = (M T M + λ I) - 1 M T Y

式中:

λ

为岭参数。

2 偏鲁棒M回归回声状态网络

2.1 改进算法实现原理

该算法的基本原理是利用回声状态网络算法随机产生初始化权值,计算储备池激活函数的输出矩阵M,并将输出矩阵M作为偏鲁棒M回归(partial robust m-regression,PRM)算法的输入样本数据,输出向量Y作为其输出样本数据,采用PRM算法建立加权后输入样本与输出样本数据之间的回归模型,并计算PRM回归系数,也就是ESN网络的输出权值。

假如储备池激活函数的输出矩阵为

M n × m

,输出向量为

Y n × 1

,前k个得分向量组成的得分矩阵为

T n × k

,则单因变量PLS模型可以描述为:

(5)

M = T P T + E

(6)

Y = T Q + F = M W o u t + F

式中:P为载荷矩阵,Q为得分向量回归系数,E为残差矩阵,F为残差向量,W_out是单因变量PLS模型的回归系数向量。

2.2 偏鲁棒M回归权值计算

假如第

i

个样本数据的残差权值为

w i r

,杠杆权值为

w i x

,预测值与实际值之间的残差为

r i

,残差的鲁棒尺度估计为

r^

,则第i个样本数据的权值

w i

可表示为^[13]:

(7)

w i = w i r w i x

式中:

(8)

w i r = f (r i r^, c)

(9)

w i x = f (‖ t i - m e d L 1 (T) ‖ m e d i a n i ‖ t i - m e d L 1 (T) ‖, c), i = 1,2, …, n

(10)

f (z, c) = 1 (1 + z c) 2

(11)

r^= m e d i t i - m e d j (r j), i, j = 1,2, …, n

式中:

‖ · ‖

表示为欧氏距离,median表示中位值,

m e d L 1

表示得分向量

{t 1, t 2, …, t n}

的L1中位值,

t i

为T的第i行,通常情况下c为4。

2.3 算法步骤

算法步骤如下:

步骤1:利用ESN算法步骤1)随机产生初始化权值W_in、W和W_back;

步骤2:利用ESN算法步骤2) 计算储备池输出矩阵M,输出向量为Y;

步骤3:将输出矩阵M作为PRM算法的输入样本数据,输出向量Y作为其输出样本数据;

步骤4:利用式(7)、式(8)和式(9)初始化权值

w i

,并设定得分向量回归系数相对差的阈值;

步骤5:对输入输出样本数据进行加权处理,并对加权后的样本数据建立单因变量PLS模型,并更新得分向量;

步骤6:计算每个样本数据的预测值与实际值之间的残差

r i

,并利用式(7)更新权值

w i

;

步骤7:判断得分向量回归系数的相对差是否小于给定的阈值,如果小于给定的阈值,则执行步骤8,否则执行步骤5。

步骤8:获取最终的PRM回归系数,即ESN网络的输出权值W_out。

3 仿真研究

为验证提出算法的有效性、可行性,实验使用Sinc函数和MacKay机械手回归函数对其进行验证。Sinc函数分别具有5 000组训练样本和5 000组测试样本数据,MacKay机械手回归函数分别采用200组训练样本和200组测试样本。

在实验中,性能指标使用均方根误差(RMSE):

(12)

R M S E = 1 N ∑ i = 1 N (y^i − y i) 2

式中:N为样本总数,

y^i

为训练值或测试值,

y i

为真实值。

对于Sinc函数,储备池核函数采用径向基函数,当ESN算法的节点数为80,PRM-ESN算法的节点数为20时,ESN算法和PRM-ESN算法的仿真结果分别见图2、图3以及表1所示。

显示原图|下载原图ZIP|生成PPT

图2 ESN算法的预测结果与误差

显示原图|下载原图ZIP|生成PPT

图3 PRM-ESN算法的预测结果与误差

表1 ESN和PRM-ESN算法的性能比较

算法	时间/s		RMSE
算法	训练	测试	训练	测试
ESN	0.265 2	0.031 2	0.116 0	0.011 0
PRM-ESN	0.467 8	0.031 1	0.114 5	0.005 0

对于MacKay机械手回归函数,在实验训练过程中,储备池核函数同样采用径向基函数作为核函数,当储备池节点个数为50时,ESN算法的运行结果最优,如图4所示。当储备池节点个数为40时,改进算法的运行结果优于原算法,如图5所示。在运行时间和精度上,表2给出了具体的运行结果。

显示原图|下载原图ZIP|生成PPT

图4 ESN算法的预测结果与误差

显示原图|下载原图ZIP|生成PPT

图5 FW-ESN算法的预测结果与误差

表2 ESN和改进算法的运行结果比较

算法	时间/s		RMSE
算法	训练	测试	训练	测试
ESN	0.198 5	0.328 0	0.204 6	0.210 9
PRM-ESN	0.202 7	0.354 3	0.068 8	0.076 9

从运行结果来看,提出的算法虽然在运行时间上作出了牺牲,但测试精度却大大得到了提高,而且储备池的节点数比ESN算法的节点数少。由此可见,文中提出的算法是有效的、可行的。

4 结语

文中是在回声状态网络的基础上,提出了一种新型的偏鲁棒M回归回声状态网络,该算法利用PRM回归算法计算其网络的输出权值。为验证该算法的可行性和有效性,通过sinc函数和MacKay机械手回归函数对其进行验证,实验结果表明,与回声状态网络相比,该算法虽然具有较高的测试精度和良好的泛化能力,但是还存在不足之处,如储备池节点个数的选择问题。

References

Publishing order | Descend order by publishing year | Descend order by cited within

[1]	JAEGER H. The “echo state” approach to analysing and training recurrent neural networks:GMD Report 148[R]. Bremen: German National Research Center for Information Technology, 2001.

[2]	罗熊, 黎江, 孙增圻. 回声状态网络的研究进展[J]. 北京科技大学学报, 2012, 34(2):217-222.

[3]	JAEGER H, HAAS H. Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication[J]. Science, 2004, 304(5667): 78-80. PMID

[4]	DING H Y, PEI W J, HE Z Y. A multiple objective optimization based echo state network tree and application to intrusion detection[C]IEEE.//Proceedings of 2005 IEEE International Workshop on VLSI Design and Video Technology.[S.I.]:IEEE, 2005: 443-446.

[5]	SKOWRONSKI M D, HARRIS J G. Automatic speech recognition using a predictive echo state network classifier[J]. Neural Networks, 2007, 20(3): 414-423. PMID

[6]	韩敏, 穆大芸. 基于贝叶斯回归的多核回声状态网络研究[J]. 控制与决策, 2010, 25(4):531-534.

[7]	韩敏, 任伟杰, 许美玲. 一种基于L_1范数正则化的回声状态网络[J]. 自动化学报, 2014, 40(11):2428-2435.

[8]	伦淑娴, 林健, 姚显双. 基于小世界回声状态网的时间序列预测[J]. 自动化学报, 2015, 41(9):1669-1679.

[9]	王怡鸥, 丁刚毅, 刘天元. 基于生物进化的可恢复回声状态网络模型[J]. 北京理工大学学报, 2016, 36(11):1141-1146.

[10]	彭宇, 王建民, 彭喜元. 模糊回声状态网络[J]. 电子学报, 2011, 39(7):1538-1544.

[11]	史志伟, 韩敏. ESN岭回归学习算法及混沌时间序列预测[J]. 控制与决策, 2007, 22(3):258-261.

[12]	李凡军, 乔俊飞. 一种增量式模块化回声状态网络[J]. 控制与决策, 2016, 31(8):1481-1486.

[13]	KRUGER U, ZHOU Y, WANG X, et al. Robust partial least squares regression: Part I,algorithmic developments[J]. Journal of Chemometrics, 2008, 22(1): 1-13.

Options

Outlines

模态框（Modal）标题

Abstract

Cite this article

0 引言

1 回声状态网络

1.1 算法原理

图1 ESN网络的拓扑结构

1.2 权值计算方法

2 偏鲁棒M回归回声状态网络

2.1 改进算法实现原理

2.2 偏鲁棒M回归权值计算

2.3 算法步骤

3 仿真研究

图2 ESN算法的预测结果与误差

图3 PRM-ESN算法的预测结果与误差

表1 ESN和PRM-ESN算法的性能比较

图4 ESN算法的预测结果与误差

图5 FW-ESN算法的预测结果与误差

表2 ESN和改进算法的运行结果比较

4 结语

References