0 引言
综合以上分析,考虑到迭代学习方法对控制目标的修正效果,以及量化器的引入能降低信号在链路传输中的负担等原因,文中针对带有领导者的二阶多智能体系统,引入量化器,并结合迭代学习控制方法,设计量化迭代学习控制协议。具体实施过程为:给定多智能体系统,对系统的状态误差和状态两类情形分别进行量化,应用量化后的结果,结合迭代学习控制方法,设计基于量化信息的迭代学习控制协议,再将所设计的控制协议,作用于给定系统并分析控制效果。
1 预备知识
1.1 代数图论基本知识
对于由n个节点组成的无向图G=(V,E,A),定义V= $\left\{\mathrm{1,2},\dots,n\right\}$ 是点集,E∈{(i,j):i∈V,j∈V}是边集,A=[aij]n×n,aij∈R是图的连接权值矩阵,邻居集Ni表示所有的信息由节点j流向节点i的集合。对于任意两个不同的节点,如果i,j∈V,有aij=aji≥0,当j∈Ni时,有aij>0,定义aii=0,di= ${\sum }_{j\in {N}_{i}}{a}_{ij}$ ,D=diag{d1,d2,…,dn},那么图的拉普拉斯矩阵可以表示为L=D-A。对于无向图G,权值矩阵A是对称的,同时,如果图中任意两点存在一条路径,则此无向图是连通的。
文中主要考虑的是由n个智能体和1个领导者组成的跟随者-领导者多智能体系统,设图 $\stackrel{-}{G}$ 由n个智能体组成的无向G与领导者(设节点为0)构成,定义bi是智能体i与领导者的连接权值。如果智能体i能接收到领导者的信息,则bi>0,否者bi=0。定义B=diag{b1,b2,…,bn},则与图 $\stackrel{-}{G}$ 关联的矩阵H=L+B,并且H是一个对称矩阵。如果图 $\stackrel{-}{G}$ 是连通的,则图G中至少有一个智能体能接收领导者的信息,便于分析,文中的图 $\stackrel{-}{G}$ 是连通的。
1.2 对数量化器
Q(x)= $\left\{\begin{array}{l}{u}_{i} if\frac{1}{1+\delta }{u}_{i}x\le \frac{1}{1-\delta }{u}_{i},x0\\ 0 if x=0\\ -{u}_{i} if x0\end{array}\right.$
式中:δ=(1-ρ)/(1+ρ)。显然,由式(1)所定义的量化器Q(·)为对称且时不变的,其量化结果是将实际输入转化为分段连续输出。不同量化密度下的量化输出如图1所示。
根据文献[19],对于给定的量化密度ρ,对数量化器具有如下的性质:
Q(x)-x=Δ·x
式中:x表示量化器的输入,Δ·x表示量化误差,且‖Δ‖≤δ。
定义1对于给定的向量函数f(t):[0,T]→Rn的λ范数定义为:
‖f(t)‖λ= $\underset{t\in [T]}{sup}$ {e-λt‖f(t)‖},λ>0
定义2对于函数h(t),g(t):[0,T]→Rn,如果h(t)= ${\int }_{0}^{t} $ ea(t-τ)g(t)dτ,那么,当λ>a时,有
‖h(t)‖λ≤ $\frac{1-{e}^{(a-\lambda )T}}{\lambda -a}$ ‖g(t)‖λ
特别的,当a=0时,有
‖h(t)‖λ≤ $\frac{1-{e}^{-\lambda T}}{\lambda }$ ‖g(t)‖λ
式中:‖·‖λ表示λ范数。
定义3 Rn表示n×1阶列矩阵,Y=[1,1,…,1]T表示元素全是1的列向量。
2 主要结果
2.1 问题描述
考虑由n个智能体和1个领导者组成的二阶多智能体系统,其中第i个智能体在第k次迭代时的动态方程表示为:
式中: ${x}_{i}^{k}$ (t)、 ${v}_{i}^{k}$ (t)和 ${u}_{i}^{k}$ (t)分别表示第i个智能体的位置、速度和控制输入。这里,k∈Z+表示迭代次数,t∈[0,T],T表示一个时间周期内的最大时间。
假设领导者的动态方程表示为
式中:x0(t)、v0(t)和u0(t)分别表示领导者的位置、速度和控制输入。
则可以定义多智能体系统一致性误差为:
目标是设计一个合适的控制输入序列:{ ${u}_{i}^{k}$ (t):0≤t≤T,i=1,2,…,n;k∈Z+},当迭代次数k→∞时,所有智能体在有限时间t∈[T]内,实现对领导者的同步, limk→∞‖ ${\theta }_{xi}^{k}$ (t)‖=0,limk→∞‖ ${\theta }_{vi}^{k}$ (t)‖=0,i=1,2,…,n。
2.2 基于量化状态误差的一致性
在这一节中,主要对系统状态误差进行量化。考虑给定的系统式(6)和式(7),在信号传输的过程中,引入对数量化器。设计第i个智能体的量化一致性误差为
式中:aij是连接矩阵A中的元素;bi表示智能体i与领导者相连的连接权值;Q(·)表示对系统状态误差的量化输出。
根据对数量化器的性质式(2),将式(9)转化为
将上式写成矩阵的形式:
将式(8)写成矩阵的形式,则有:
式中: ${\theta }_{x}^{k}$ (t)= $\left[{\theta }_{x1}^{k}\right(t),\dots,{\theta }_{xn}^{k}{\left(t\right)]}^{T}$ ; ${\theta }_{v}^{k}$ (t)=[ ${\theta }_{v1}^{k}$ (t),…, ${\theta }_{vn}^{k}$ (t)]T;xk(t)= $\left[{x}_{1}^{k}\right(t),\dots,{x}_{n}^{k}{\left(t\right)]}^{T}$ ∈Rn;vk(t)=[ ${v}_{1}^{k}$ (t),…, ${v}_{n}^{k}$ (t)]T∈Rn,将式(12)代入式(11),则有:
ek(t)=-(1+Δ)H ${\theta }_{x}^{k}$ (t)-(1+Δ)H ${\theta }_{v}^{k}$ (t)
式中:ek(t)=[ ${e}_{1}^{k}$ (t), ${e}_{2}^{k}$ (t),…, ${e}_{n}^{k}$ (t)]T∈Rn,H=L+B。
根据迭代学习控制思想,设计迭代控制协议:
uk+1(t)=uk(t)+Γ ${\stackrel{·}{e}}^{k}$ (t)
式中:uk(t)∈Rn是智能体在第k代的控制输入,Γ是学习增益矩阵。
将式(13)代入式(14),则有:
uk+1(t)=uk(t)-(1+Δ)ΓH( ${\stackrel{·}{\theta }}_{x}^{k}$ (t)+ ${\stackrel{·}{\theta }}_{v}^{k}$ (t))
设计如下初始学习协议:
从迭代学习控制的观点考虑,控制协议式(15)以及初始条件式(16)可以看作是微分型迭代控制序列。结合式(12)可知,这种迭代控制协议主要利用邻居智能体间的误差信息进行交流,因此具备了迭代学习控制和分布式协议的特点。
定理1对于多智能体系统组成的拓扑图 $\stackrel{-}{G}$ ,考虑由二阶多智能体系统和领导者动态方程式(6)和式(7),在对数量化器的作用下,结合迭代学习控制协议式(15)以及所设计的初始条件式(16),如果满足条件‖I-(1+Δ)ΓH‖<1,那么所有多智能体能在时间t∈[0,T]内,当迭代次数k→∞,能实现对领导者的完全跟踪,即limk→∞ ${x}_{i}^{k}$ (t)=x0(t),limk→∞ ${v}_{i}^{k}$ (t)= v0(t)。
证明 根据多智能体系统动态方程(6),不难发现
vk+1(t)-vk(t)=vk+1(0)-vk(0)+ ${\int }_{0}^{t} $ (uk+1(t)-uk(t))dτ
将式(15)代入式(17),则有
对式(18)右边积分得:
代入初始条件式(16),有
vk+1(t)=vk(t)-(1+Δ)ΓH( ${\theta }_{x}^{k}$ (t)+ ${\theta }_{v}^{k}$ (t))
根据式(12),式(20)可以转化为:
进而,有
对上式两边同时积分,即
则有
代入初始条件(16),式(24)可以转化为:
对上式两边同时取范数,则有
用e-λt乘以式(26)的两边,并根据定义1和定义2,则
‖ ${\theta }_{x}^{k+1}$ (t)‖λ≤η‖ ${\theta }_{x}^{k}$ (t)‖λ
式中:η=‖I-(1+Δ)ΓH‖+‖(1+Δ)ΓH‖· $\frac{1-{e}^{-\lambda T}}{\lambda }$ 。
由于‖I-(1+Δ)ΓH‖<1,当λ取得足够大时,有η<1,因此limk→∞ $\Vert {\theta }_{x}^{k}\left(t\right){\Vert }_{\lambda }$ =0,由于limk→∞‖ ${\theta }_{v}^{k}$ (t)‖λ=limk→∞‖ ${\stackrel{·}{\theta }}_{x}^{k}$ (t)‖λ=0,从而有,limk→∞ ${x}_{i}^{k}$ (t)=x0(t)和limk→∞ ${v}_{i}^{k}$ (t)=v0(t)成立。定理1证明完毕。
2.3 基于量化状态的一致性
这一节,主要考虑的是对系统状态进行量化。设计第i个智能体的量化一致性误差为:
结合对数量化器的性质,类似于2.2节的分析,可以得到:
式中:H'=D+B。设计迭代控制协议
uk+1(t)=uk(t)+Γ ${\stackrel{·}{e}}^{k}$ (t)+ΔΓH'( ${\stackrel{·}{Yx}}_{0}$ (t)+ ${\stackrel{·}{Yv}}_{0}$ (t))
将式(29)代入式(30),得
uk+1(t)=uk(t)-Γ(H+ΔH')( ${\stackrel{·}{\theta }}_{x}^{k}$ (t)+ ${\stackrel{·}{\theta }}_{v}^{k}$ (t))
设计如下初始学习协议
定理2对于多智能体系统拓扑图 $\stackrel{-}{G}$ ,考虑二阶多智能体系统和领导者动态方程式(6)和式(7),在对数量化器作用下,结合迭代学习控制协议式(31)和初始条件式(32),如果满足条件‖I-Γ(H+ΔH')‖<1,则所有多智能体在时间t∈[0,T]内,当迭代次数k→∞,能实现对领导者的完全跟踪,即limk→∞ ${x}_{i}^{k}$ (t)=x0(t),limk→∞ ${v}_{i}^{k}$ (t)=v0(t)。
证明 因为
代入初始条件式(32),式(33)可化为:
vk+1(t)=vk(t)-Γ(H+ΔH')( ${\theta }_{x}^{k}$ (t)+ ${\theta }_{v}^{k}$ (t))
结合式(12),式(34)可化为:
对上式两边同时积分,并代入初始条件(32),得:
对上式两边同时取范数,则有
用e-λt乘以式(37)两边,根据定义1和定义2,有
‖ ${\theta }_{x}^{k+1}$ (t)‖λ≤η'‖ ${\theta }_{x}^{k}$ (t)‖λ
式中:η'=‖I-Γ(H+ΔH')‖+‖Γ(H+ΔH')‖ · $\frac{1-{e}^{-\lambda T}}{\lambda }$ 。
由于‖I-Γ(H+ΔH')‖<1,则当λ取得足够大时,可使得η'<1,因此有limk→∞‖ ${\theta }_{x}^{k}$ (t)‖λ=0,limk→∞‖ ${\theta }_{v}^{k}$ (t)‖λ=limk→∞‖ ${\stackrel{·}{\theta }}_{x}^{k}$ (t)‖λ=0,从而有,limk→∞ ${x}_{i}^{k}$ (t)=x0(t)和limk→∞ ${v}_{i}^{k}$ (t)=v0(t)成立。定理2证明完毕。
对于固定的多智能体系统拓扑图,H和H'是固定的,可以选择合适的学习增益矩阵Γ和量化密度ρ,使条件‖I-(1+Δ)ΓH‖<1和‖I-Γ(H+ΔH')‖<1满足控制要求。
3 仿真分析
为了验证文中结论的正确性,对上节所述两种情形进行仿真分析。考虑5个智能体和1个领导者组成的多智能体系统,其无向拓扑图如图2所示,0号代表领导者。
根据第2章所介绍的基本知识,可以得到:
A= $\left(\begin{array}{lllll}0& 1& 0& 0& 1\\ 1& 0& 1& 0& 0\\ 0& 1& 0& 1& 0\\ 0& 0& 1& 0& 1\\ 1& 0& 0& 1& 0\end{array}\right)$
L= $\left(\begin{array}{lllll}\mathrm{ }2& -1& \mathrm{ }0& \mathrm{ }0& -1\\ -1& \mathrm{ }2& -1& \mathrm{ }0& \mathrm{ }0\\ \mathrm{ }0& -1& \mathrm{ }2& -1& \mathrm{ }0\\ \mathrm{ }0& \mathrm{ }0& -1& \mathrm{ }2& -1\\ -1& \mathrm{ }0& \mathrm{ }0& -1& \mathrm{ }2\end{array}\right)$
B=diag(1,0,0,0,0),D=diag(2,2,2,2,2)
情形1考虑量化系统状态误差
给定每个智能体动态方程如式(6),领导者动态方程如式(7),领导者的输入为,u0(t)=sin(t)。
设多智能体初始位置和速度分别为x1(0)=[2,2.5,1.5,1,0.5]T和v1(0)=[1.5,-1,0.5,-0.5,1]T;领导者初始位置,x(0)=[0,0,0,0,0]T,v(0)=[0,0,0,0,0]T,仿真时间设置为t∈[0,6 s]。选取量化密度ρ=0.35,则σ=0.481 5,所以Δ∈[-0.481 5,0.481 5],这里选择Δ=-0.45。
情形2考虑量化系统状态
4 结论
文中应用量化器信息,结合迭代学习控制方法,分析了基于量化系统状态误差和量化系统状态两种情形下的带有领导者的二阶多智能体系统一致性实现问题;针对不同情形,设计了不同的迭代学习控制协议和初始状态更新律,通过理论分析,获得了智能体实现对领导者跟踪同步的收敛条件,仿真结果表明了所设计的量化迭代学习协议的有效性。后续工作将在此基础上对高阶多智能体系统进行相关分析和讨论。