自动化学报
ACTA AUTOMATICA SINICA
1999年　第25卷　第5期　Vol.25 No.5 1999



大系统的递阶辨识1)
丁　锋　杨家本
摘　要　大系统的特点是维数高、待估计的参数数目多，使得辨识方法的计算量和存储量急剧增加，以致常规辨识算法难以实现.为了减少大系统辨识的计算量，提出了计算量较小的递阶辨识算法，并用鞅超收敛定理证明了它的收敛性.结果说明该算法可以给出大系统参数的一致估计.
关键词　大系统，辨识，参数估计，递阶辨识
HIERACHICAL IDENTIFICATION OF LARGE SCALE SYSTEMS
DING Feng　YANG Jiaben
(Department of Automation, Tsinghua University, Beijing　100084)
Abstract　Large scale systems have so many parameters that ordinary identification algorithms have too much computational burden to realize in computer. In order to reduce the computational burden we present a hierachical identification algorithm of large scale systems and apply the martingale hyperconvergence theorem to its convergence. The results show that the proposed algorithm may give the consistent parameter estimation of large scale systems.
Key words　Large scale system, identification, parameter estimation, hierachical identification.
1　引　言
　　考虑用线性回归模型描述的动态大系统
y(t)=φT(t)θ+v(t)，　(1)
其中y(t)为系统的输出，φ(t)∈Rn是由(t-1)时刻系统的输出y(t)和输入u(t)构成的回归信息向量，θ∈Rn为待辨识的参数向量，v(t)为零均值随机白噪声，维数n很大，上标T表示矩阵转置.
　　虽然常规递推辨识算法，如递推最小二乘法

　(2a)
　(2b)
P-1(t)=P-1(t-1)+φ(t)φT(t)，　(2c)
或
　(2b)
可用于大系统(1)的参数估计.但由于大系统的维数高，变量和待估计的参数数目多，使得估计方法的计算量和存储量急剧增加，以致在算法的实现上造成极大的困难，这就是所谓的“维数灾”［1］.因此，研究大系统的分解辨识算法，提出计算量小的辨识算法已成为必然.
2　递阶辨识算法
　　递阶辨识的基本原理是：首先将大系统分解为多个维数较小、变量数目较少的子系统，然后分别估计每个子系统的参数.但是，由于各子系统间存在关联变量，也就是说第i个子系统包含了其它一些子系统的未知参数向量θj(j≠i)，使得迭代计算难以进行，为了解决这一问题，在计算t时刻θi的估计时，其它子系统的未知参数θj(j≠i)用它们在(t-1)时刻的估计值(t-1)代替.具体做法是将大系统(1)的信息向量和参数向量分解为N个维数为ni的子信息向量和参数向量，即
　(3)
φi(t)∈Rni，　　θi∈Rni,　　　n1+n2+…+nN=n.　(4)
于是可以把系统(1)分解为N个虚拟子系统，它们可以表示为
yi(t)=φTi(t)θi+v(t),　i=1,2,…,N,　(5)
其中
yi(t)=y(t)-αi(t),　(6)
αi(t)=　(7)
αi(t)称为各子系统间的关联项.
　　由于v(t)是白噪声，故根据最小二乘原理，可获得参数θi的无偏估计.估计子系统(5)参数θi的递推最小二乘算法为
　(8a)
　(8b)
P-1i(t)=P-1i(t-1)+φi(t)φTi(t).　(8c)
但是(8a)式中yi(t)是关联变量αi(t)的函数，包含了其它子系统的未知参数向量θj(j≠i)，为了进行递推计算，可用它们在(t-1)时刻的估计值(t-1)代替.将(6)式代入(8a)式，并用　(t-1)代替θj，可得

或
　(9a)
　(9b)
P-1i(t)=P-1i(t-1)+φi(t)φTi(t).　(9c)
或
Pi(t)=［I-Li(t)φTi(t)］Pi(t-1)，　(9d)
(0)=很小实向量，
i=1,2,…,N.
算法(9)就是大系统(1)的递阶辨识算法.若定义
P-1(t)=diag［P-11(t),i=1,2,…,N］为分块对角阵，即
　(10)
　(11)
于是，算法(9)可以等价改写为
　(12a)
P-1(t)=P-1(t-1)+diag［φi(t)φTi(t),i=1,2,…,N］,　(12b)

　　下面比较常规辨识算法(2)和递阶辨识算法(9)的计算量.
　　常规辨识算法(2)和递阶辨识算法(9)每迭代计算一步的计算量大小如表1所示.表1中小括号里的数表示n=100，N=10，ni=10,i=1,2,…,N时，两种参数估计算法的计算量.从表1可以看出，常规递推最小二乘法的计算量很大，而递阶辨识算法(9)的计算量小得多.
表1　最小二乘辨识算法与递阶辨识算法计算量比较

参数估计方法乘法次数加法次数
递推最小二乘法2n2+4n
(20400)2n2+2n
(20200)
递阶辨识算法(2n2i+4ni)
(2400)(2n2i+2ni)
(2400)

3　递阶辨识算法的收敛性分析
　　设｛v　(t)｝是定义在概率空间(Ω,F,P)上的鞅(Martingale)差序列，且适应于递增σ-代数序列(Ft,t∈N)，其中Ft是由直到t时刻的观测生成的σ-代数，F0包含所有初始条件信息.
　　证明递阶辨识算法(9)的收敛性用到下列引理.
　　引理1.若对称矩阵

满足αI≤A≤βI，其中I为单位阵，α，β为常数，且0＜α≤β＜∞.则有

　　证明.证明很简单，这里从略.
　　引理2.　对于大系统(1)，如果存在常数p，α,β使下列强持续激励条件成立

　　设，那么协方差矩阵H(t)满足
H-1(t-p)+pαI≤H-1(t)≤H-1(t-p)+pβI
和
(t-p)αI≤H-1(t)≤［β(t+p)+a］I
　　证明.

利用持续激励条件(A1)，可得
H-1(t-p)+pαI≤H-1(t)≤H-1(t-p)+pβI.
令t=pi+k,0≤k＜p,于是有
H-1(t=pi+k)≤H-1［p(i-1)+k］+pβI=
　　　　　　　　　　　　　　　　　　H-1［p(i-2)+k］+2pβI=H-1(k)+ipβI≤
　　　　　　　　　　　　　　　　　　H-1(0)+(i+1)pβI≤H-1(0)+(t+p)βI.=
　　　　　　　　［β(t+p)+a］I.
同理
H-1(t=pi+k)≥H-1(k)+ipαI≥ipαI≥(t-p)αI，t＞p.
证毕.
　　定理1.对于大系统(1)，如果强持续激励条件(A1)成立，｛v(t)｝满足假设
　　(A2)　E［v(t)｜Ft-1］=0，　　a.s.
　　(A3)　E［v2(t)｜Ft-1］=σ2v(t)≤σ2v＜∞，　　a.s.
　　(A4)　
　　那么，递阶辨识算法(9)或(12)给出的参数估计(t)一致(a.s.)收敛于真参数θ，或参数估计误差一致收敛于零，即

或

　　鞅收敛定理和随机过程理论是分析常规辨识方法收敛性的主要工具［2―6］，下面用鞅超收敛定理［7］来证明这个定理.
　　证明.直接分析算法(12)的收敛性极其困难，我们需先简化算法(12)，然后证明其收敛性，就可间接说明原算法的收敛性.(12b)式协方差阵P(t)可以表示为

利用引理1和引理2，可得
(t-p)αI≤P-1(t)≤［β(t+p)+a］I,
或

由此可以把算法(12)修改为
　(13a)
　(13b)
只要证明算法(13)对任意γ∈［α,β］都收敛即可.
　　定义参数估计误差向量
　(14)
(13a)式两边减去θ，并将(1)式代入，得
　(15)
其中
　(16)
(15)式两边取范数，得

　(17)
条件(A1)两边取迹可得，‖φ(t)‖2≤npβ，当t充分大时，γt+c-‖φ(t)‖2＞0，故有
　(18)
利用假设(A1)―(A4)，由于与v(t)独立，并且是Ft-1可测的，(18)式两边对Ft-1取条件期望，得到
　(19)
或
　(20)
考虑集


注意到RtNε(Rt)，对于∈Ncε(Rt)［Ncε(Rt)是Nε(Rt)的补集］，有
　(21)
应用文献［7］中鞅超收敛定理，对于充分大t，有∈Nε(Rt)，由于ε是任意的，故有

或
　(22)
有了上式， 就可以得到参数估计一致收敛的结论，其推导过程如下：
令
　(23)
则由(15)式可得
　(24)
(16)式两边左乘以φ(t)，可得

即

或
　(25)
(25)式两边对i从i=0到i=p-1求和，得到
　(26)
上式两边取范数‖*‖，并利用持续激励条件(A1)，得
　(27)
利用公式(a+b)2≤2(a2+b2)，可得
　(28)
由于

利用条件(A2)―(A4)和(22)式，可得
　(29)
　(30)
(28)式两边取极限，并注意到(29)和(30)式，不难得到定理的结论.
4　结　语
　　大系统辨识算法的计算量大一直是辨识领域中有待解决的难题之一.本文提出的递阶辨识算法可以用于估计大系统的参数，具有计算量小，占用内存少，容易实现的特点.大系统辨识算法的收敛性分析极其困难，本文用鞅超收敛定理近似地分析了递阶辨识算法的收敛性，精确地分析它的收敛性以及收敛速率是今后有待攻克的课题.
1) 国家自然科学基金资助项目.
作者简介：丁　锋　男，1963年生.1990年和1994年在清华大学自动化系分别获得硕士学位和博士学位.现任清华大学副教授.研究兴趣为自适应辨识与控制及其应用，已发表学术论文四十余篇.
　　　　　杨家本　男，1935年生.现任清华大学自动化系教授，博士生导师.研究兴趣为复杂系统自组织和系统工程.
作者单位：清华大学自动化系　北京　100084
参考文献
1　席裕庚.动态大系统方法导论.北京：国防工业出版社，1988
2　丁　锋，谢新民.多变量系统递推增广最小二乘法的收敛性分析.控制与决策，1992，7(6)：443―447
3　丁　锋.多变量系统的辅助模型辨识方法的收敛性分析.控制理论与应用，1997，14(2)：192―200
4　丁　锋，谢新民.多变量系统的辅助模型辨识算法.清华大学学报(自然科学版)，1992，32(4)：100―106
5　丁　锋，谢新民，方崇智.时变系统辨识的多新息方法.自动化学报，1996，22(1)：85―91
6　Ding F, Xie X M, Fang C Z. The convergence of the forgetting factor algorithm for identifying time-varying systems.Control Theory and Applications,1994，11(5)：634―638
7　丁　锋，鞅超收敛定理与遗忘因子最小二乘算法的收敛性分析.控制理论与应用，1997，14(1)：90―95
收稿日期：1997-09-04
修稿日期：1998-02-25
