自动化学报
ACTA AUTOMATICA SINICA
1999年 第25卷 第6期 Vol.25 No.6 1999



离散Hopfield神经网络的
稳定性研究1)
廖晓昕　昌　莉　沈　轶
摘　要　推广了前人关于离散Hopfield神经网络的稳定性定理及周期为2极限环的存在定理，并从理论上给出了新的严格的证明.进一步，提出了关于部分变元稳定和部分变元为极限环的新概念，并给出了判别定理.最后给出了几个有趣的例子，揭示这类网络渐近行为的复杂性.
关键词　离散Hopfield神经网络，稳定性，周期解，平衡位置.
STUDY ON STABILITY OF DISCRETE-TIME
HOPFIELD NEURAL NETWORKS

LIAO Xiaoxin　　CHANG Li　　SHEN Yi
(Dept. of Control Science and Engineering,Huazhong Univ.of Science and Technology,Wuhan　430074)
Abstract　In this paper,we present some results for discrete-time Hopfield neural networks,which extend the stability results and existence criteria of 2-period limit cycles given by previous authors.These results are proved strictly here.Furthermore,we propose new conceps on the stability and limit cycles of part neurons in a network,and related criteria.Several examples are given to illustrate the complexity of the asymptoticall behavior of this kind of networks.
Key words　Discrete-time Hopfield neural network,stability,periodic solution,equilibrium.

1　引言
　　1982年美国生物物理学家Hopfield提出了如下的离散神经网络
　　(1)
其中Ii为阈值，W=(Wij)为权矩阵，Vi取值-1或1，且V(t)=col(V1(t),…Vn(t)).令,定义

　　如果从任意初始值Vj(0)(j=1,2,…,n)开始，经若干次迭代后恒有V(t+1)≡V(t)，则称网络(1)是稳定的.若V(t+2)=V(t)≠V(t+1),则称网络(1)具有周期为2的极限环.
　　网络的稳定性问题长期困扰人们，Hopfield引进能量函数
　　(2)
用
　　(3)
来证明网络的稳定性.但几乎所有文献都是由存在来判定存在，这在数学上一般是通不过的.本文提出一种新的证法，严格证明前人已有的结果成立，并予以推广.同时提出部分变元存在周期为2的周期解、部分变元稳定的新概念和新结果，且给出判定周期为2的周期解及平衡位置存在性的两个判别定理.既然神经网络模拟脑的功能，部分神经兴奋，部分神经抑制是常见现象.故这一概念是有意义的.最后，给出几个例子，有的完全不满足Hopfield以及Goles关于W对称的假定，仍有Hopfield意义下的稳定性；有的存在稳定的3周期、4周期解，以此说明简单的Hopfield离散神经网络隐藏着许多复杂的现象，供大家进一步研究参考.
2　对前人定理的推广及严格的新证法
　　定理1.若存在对角正定矩阵β=diag(β1,…，βn)，使得对称，且Wii≥0(i=1,2,…，n),则网络(1)串行稳定.
　　证明.令
　　(4)
　　(5)

根据函数的性质，有
　　(6)
这里
　　(7)
且当
　　(8)
　　作新的能量函数
　　(9)
则沿(6)式的解为

从而存在，等价于存在.故网络(6)是串行稳定的，从而网络(1)是串行稳定的.
　　推论1(前人结果).若W=WT,Wii≥0，则网络(1)串行稳定.这是定理1中βi=1(i=1,2,…,n)的结果.
　　例1.非对称，但取β1=2,β2=1,β3=4,则diag［β1,β2,β3］W对称.
　　定理2.若存在正定对角矩阵β=diag(β1,β2,…βn)使得对称，且半正定，则网络(1)是并行稳定的.
　　证明.因为网络(1)与网络(6)稳定性等价，故只须对网络(6)来研究它的并行稳定性.仍用能量函数(9)，设网络(6)为并行运动，沿(6)式的解有

故存在等价于存在，即网络(6)并行稳定，从而网络(1)是并行稳定的.
证毕.
　　推论2(前人结果).若W=WT,W半正定，则网络并行稳定.即在定理2中，β取单位矩阵.
　　定理3.若存在正定矩阵β=diag(β1,β2,…，βn)使得=βW对称，则(1)式在并行方式下，或收敛于稳定点，或收敛于周期为2的极限环.
　　证明.选一个能量函数
　　(10)
或写成矩阵形式为
　　(11)
于是沿着(6)式的解有

　　(12)
故ΔE=0,
　　当且仅当
　　当且仅当Vi(t+1)-Vi(t-1)=0.　　(13)
因为,于是有以下几种可能：
Vi(t)=Vi(t+1)=Vi(t-1),　　i=1,2,…，i0,0≤i0≤n,
Vi(t)≠Vi(t+1)=Vi(t-1),　　i=i0+1,…，n.
　　1)当i0=n，则网络收敛于稳定点；
　　2)当i0=0，则网络收敛于全变元为周期是2的极限环；
　　3)当1＜i0＜n,则网络收敛于部分变元稳定点Vi(i=1,2,…i0)，部分变元Vj(j=i0+1，…，n)为周期为2的极限环.
　　第3)种情况可视为第2)种情况的特殊情况.
　　推论3　(前人结果).若W对称，则定理3结论成立.
　　定理4.若定理3的条件加强为为半负定，则网络(1)在并行方式下收敛于周期为2的极限环.
　　证明.根据定理3，只须证明此时(1)式不具有稳定的极限点，用反证法.作能量函数
　　(14)
沿(6)式的解有
　　(15)
另一方面，如果t>>1有　V(t+1)=V(t)=V(t-1).
由于半负定，则有
　　(16)
(16)式与(15)式矛盾，故只能有周期为2的极限环.
　　推论4.若W负定，且I=0,则网络(1)在并行运行下只具有周期为2的极限环，这是定理4的特例.
　　至此，我们已严格地证明了前人常见的一切结果，且推广了.
3　两个新的判别准则
　　本节将研究2周期解及稳定点存在性及其数目，并给出一些简单实用的判别准则.
　　定义.若对于任意t,有V(t+1)≡V(t)，则称V为网络(1)的不动点或稳定点；若对于任意t有V(t+1)=V(t-1)≠V(t)，则称V为网络(1)的一个周期为2的全变元周期运动；若对于任意的t，有

则称V=col(V1,…,Vn)关于部分变元Vi(i=1,…,i0)为不动的，关于部分变元Vj(j=i0+1,…，n)为周期为2的周期解，V仍为周期解.
　　定理5.若满足条件

则
　　1)当Wii＜0,　i=1,2,…，n，则并行网络(1)有2n-1个周期为2的全变元周期运动；
　　2)当则并行网络(1)有2n-1个关于部分变元Vi(i=1,2，…,i0)不动，关于部分变元Vj(j=i0+1,…，n)周期为2的周期解；
　　3)当Wii＞0,　i=1,2,…,n，则网络(1)的每个状态都是不动点.
　　证明.
　　1)设Wii＜0(i=1,2,…，n)，由条件及函数snH的性质可知

故为一个周期为2的周期运动.由于任意选取的一组初始值［V1(0),…，Vn(0)］均可以找到对偶的［V1(2),…，Vn(2)］而构成周期运动，故共有2n-1个周期解.
　　2)设Wii＞0(i=1,2,…,i0),Wjj＜0(j=i0+1…n),仿照上面的推导，有

故共有2n-1个关于V1,…，Vi0不动，关于Vi0+1,…，Vn为周期为2周期的周期解.
　　3)这种情况是2)中i0=n的特例，故证明略.
　　由这个定理，可以从条件中迅速找到全变元为周期2的周期解，以及部分变元不动，部分变元为2周期的周期解来.
　　定理6.若满足下列条件
　　(17)
则并行网络(1)存在稳定点，或平衡位置.满足下列代数不等式组的点(V1,V2,…，Vn)均为(1)式的平衡位置.
　　(18a)
　　(18b)
　　证明.任意取满足上述条件(18)的点(V1,V2,…,Vn),于是有

故分量Vi(i=1,2,…，i0)总是不动的；




故满足条件(18)的点均为并行网络的平衡点.
4　例子
　　下面给出4个例子，从不同方面来说明各种可能性的存在，从而说明问题的复杂性.
　　设V(1)=(1,1,1),V(2)=(1,1,-1),V(3)=(1,-1,1),V(4)=(1,-1,-1),
V(5)=(-1,1,1),V(6)=(-1,1,-1),V(7)=(-1,-1,1),V(8)=(-1,-1,-1).
　　例1.
.
　　解.经计算V(1),V(8)为不动点，V(8)点为吸引点，它对V(2)，V(3),V(4),V(6),V(7)是吸引的，V(1)对V(5)是吸引的.然而，权矩阵既不是正定的，也不是负定的，即不满足已有的稳定性判别条件，但仍有Hopfield意义下的稳定性，故对稳定性而言，W的正定、半正定不是必要条件.
　　例2.
　　解.经计算V(1)对V(3)吸引，V(5)对V(2)，V(6)，V(7)吸引，而V(4)，V(8)是不动点.权矩阵不对称，更谈不上正定、负定，但仍有Hopfield意义下的并行稳定性，可见对于并行稳定性，W的对称性也不是必要的条件.
　　例3.　
　　　　　
　　权矩阵既不对称，更不是正定、负定，然而仍有两个周期为2的周期解，它们对其它情况是吸引的.
　　现在所有的文献都只涉及系统的稳定性及周期为2解的存在性，有没有不是周期为2的周期解呢?我们看看下面的例子.
　　例4.设有权矩阵为，阈值为的离散Hopfield型全并行神经网络.经计算，有一个3周期解，有三个4周期解.因此，离散Hopfield神经网络的渐近行为相当复杂，有待我们深入研究.
1)国家自然科学基金(69874016和69674008)、国家教委博士点专项科研基金(97048722)资助课题.
作者简介：廖晓昕　华中理工大学控制科学与工程系教授、博士生导师.主要研究方向为神经网络数学理论、非线性控制.
　　　　　昌　莉　华中理工大学控制科学与工程系硕士生.主要研究方向为神经网络、稳定性.
　　　　　沈　轶　华中理工大学控制科学与工程系博士生.主要研究方向为神经网络、随机稳定性.
作者单位：华中理工大学控制科学与工程系　武汉　430074
参考文献
　1　Hopfield J J.Neurons with graded response have collective computational properties like those of two-state neurons.In:Proc.Natl.Acad.Sci.USA,Biophysics,1984,81(4):3088～3092
　2　Hopfield J J.Neural networks and physical systems with emergent collective computational abilities.In:Proc.Natl.Acad.Sci.USA,Biophysics,1982.79(4):2554～2558
　3　焦李成.神经网络系统理论.西安：西安电子科技大学出版社，1990
　4　张立明.人工神经网络的模型及其应用.上海：复旦大学出版社，1993
　5　廖晓昕.Hopfield型神经网络的稳定性.中国科学，1993，23(10)：1025～1033
　6　Amit Bbaya et al.Existence and stability of a unique equilibrium in continuous-valued discrete-time asynchronous Hopfield neural networks.IEEE Trans.Neural Netoworks,1996,7(3):620～627
　7　Jennit Si et al.Analysis and synthesis of a class of discrete-time neural networks with multilevel threshold neurons.IEEE Trans.Neural Networks,1995,6(1):105～115
　8　郑君里，杨行峻.人工神经元网络.北京：高等教育出版社，1992
　9　阎平凡.人工神经网络研究的进展.计算机世界，1995，29(11)：127
　10　王永骥，涂健.神经元网络控制.北京：机械工业出版社，1998，80～95
收稿日期　1998-10-14　收修改稿日期　1999-03-04
