第31卷第1期 广东工业大学学报 Vo1.31 No.1 2014年3月 Journal of Guangdong University of Technology March 2O14 doi:10.3969/j.issn.1007—7162.2014.()1.006 带有随机时延和丢包的网络控制系统最优 控制策略研究 王溥希 ,冯 广 (广东工业大学1.自动化学院;2.网络信息与现代教育技术中心,广东广州510006) 摘要:通过对网络控制系统的结构分析,建立了带有时延和丢包的线性网络控制系统的数学模型.在此模型基础 上,对二次型性能指标下的网络控制系统的随机最优控制问题进行了分析,获得了相应的最优增益和最优性能指 标的表达形式.最后,通过仿真比较了不同丢包率下的网络控制系统的随机最优控制效果.Matlab仿真结果表明了 随机最优控制算法的有效性和丢包率临界值的范围. 关键词:网络控制系统;数据包丢失;最优控制 中图分类号:TP273.1 文献标志码:A 文章编号:1007—7162(2014)01—0032—04 A Study of Optimal Control Strategy for Networked Control Systems with Stochastic Delay and Packet Losses Wang Pu—xi‘.Feng Guang ’ (1.School of Automation;2.Center of Internet Information and Modern Education, Guangdong University of Technology,Guangzhou 510006,China) Abstract:Via the analysis of the structure of networked control systems,it presents the linear mathematic model with stochastic delay and packet losses.Based on the model,the stochastic control problem with quadratic criteria of the networked control systems was analyzed.The expressions of optimal gain and op— timal performance index were given.Ultimately,the stochastic control effect of networked control systems with delay and different probability of packet losses rate were compared by simulation.The simulation re— suits of Matlab show the effectiveness of the stochastic control algorithm and the range of the critical value of the packet loss rate. Key words:networked control systems;packet losses;optimal control 以网络作为通信传输介质的闭环反馈控制系统 题是网络诱导时延和数据包的丢失,它们极有可能成 称为网络控制系统,又称网络化控制系统(net— 为控制系统性能下降的诱因,甚至造成整个控制系统 worked control systems,NCS).网络控制系统的优点 的不稳定.因此,时延和丢包的问题在网络控制系统 主要在于节约成本、便于实现资源共享、系统可靠性 的数学模型建立中是不得不考虑的两大因素 . 和模块性较高等 td].正因如此,对于网络控制系统 网络控制系统的一般结构如图1所示.系统的 的研究在近年逐渐成为学术界的一大热点. 3个主要节点是传感器、控制器和执行器.而根据传 将网络引入控制系统在获得众多好处的同时, 感器节点、控制器节点和执行器节点工作方式的不 也使得对于其结构及数学模型的分析变得相对困 同,所建立的模型可以分为离散模型、连续模型和混 难.这是因为,含有网络模块的控制系统不得不面对 合模型 J.文献[6]在离散模型的基础上,对时延的 网络本身就存在的众多问题.而其中最主要的两个问 网络控制系统进行了分析,采用了针对二次型性能 收稿日期:2013—04—07 基金项目:国家自然科学基金资助项目(70971027) 作者简介:_E溥希(1988一),男,硕士研究生,主要研究方向为网络控制技术 第1期 王溥希,等:带有随机时延和丢包的网络控制系统最优控制策略研究 33 指标的最优控制策略.文献[7]对网络控制系统的 有界丢包进行了研究,并使用了两种控制方法,其一 保证了存在随机丢包时网络控制系统的大范围渐进 稳定,另一种则保证了存在丢包的马尔可夫模型下 的均方稳定性.然而,同时考虑时延和丢包因素的研 究却不多,文献[8]在数据包无时许错乱的前提下, 考虑时延和丢包的问题建立了网络控制系统的数学 模型并进行了控制器设计. 本文结合了影响网络控制系统的两大因素,建 立了时延和丢包的网络控制系统的离散数学模型, 采用随机最优控制算法计算最优的二次型性能指标 和相应的控制增益. 图1 网络控制系统结构图 Fig.1 Basic structure of the networked control system 1系统模型分析 假设被控对象为线性时不变系统,则系统模型 可表示为 x(t)=Ax(t)十Bu(t), (1) 其中X(t)∈R ,U(t)∈R 分别表示系统状态向量和 控制信号向量,而A∈R… ,B∈R 表示系统矩阵. 1.1假设 本文建立的带有时延和丢包的网络控制系统的 数学模型,需要作出如下假设: 1)传感器为时间驱动,控制器和执行器为事件 驱动; 2)传感器与控制器之间的时延和控制器与执 行器的之间的时延相互,且可以将两者之和作 为系统总时延进行分析,网络诱导总时延有界; 3)如果最近的控制信号被执行,则之前的控制 信号被丢弃 j. 1.2数学模型建立 考虑网络控制系统的丢包因素,文献[10]提出 了引入二元随机变量 来表示在采样周期内控制 命令是否传递给了被控对象,本文同样采用这种方 法.如果控制信号被接受到,则其为单位矩阵;反之 控制信号数据丢失则为零矩阵, ∈R …同时考虑 两种网络诱导时延之和 (t)=f ( )+ (t),则式 (1)在引入丢包和时延因子之后被重写为 X( )=Ax( )+曰 (t)U(t—r(t)). (2) 由于控制器的驱动方式为事件驱动,设采样周 期时长为 根据文献[6]引入的时延变量h(h 为大于等于1的整数),使得两种网络诱导时延之和 有界: 0≤r<hT. 考虑网络控制系统的驱动方式,将式(2)离散 化之后,带有时延和丢包的网络控制系统在采样周 期[KT,(K+1)T]内数学模型表示为 X +1 =A X +B bHA + lu l +… + 曰 h, (3) 其中,X =X(kT),U =U(kT),A =e . 系统控制信号时序图如图2所示,则系统在采 样周期内可能接收到控制信号的时刻为 kT+t , =f。一iT,i=0,1,…, . ( —h一2)T(K-h一1)71(K-h)T-・・(K-I)71 Kr ( +1)71 传感器 i\i、\\ 空制器 \- :! \ I ! j 图2网络控制系统信号传输时序图 Fig.2 Tuning diagram of signal transmitting in NCS 同时,由于最近的控制信号被执行时之前的控 制信号被丢弃,引入变量0( )判断在采样周期 [KT,(K+1)T]内控制信号是否可能被执行,那么 曰 :r(i-1)TeA(T_s)d B.O(T+ 0 r ). o(r 一iT), V i=0,1,…,h. 而对于本周期发出的控制信号,如果其时延大 于一个周期,则无法在本周期内执行.所以,其系数 应表示为 =f,e dsB・0(T—f ), = . f0,Uki在[kT,( +1)T]内接收, , {【 I ,Uki在[kT,( +1)T]内丢失. 引入新的状态向量为原状态向量与周期内控制 信号的增广矩阵得到 34 广东工业大学学报 第31卷 Xh 0 0 Uk1 其中Q 仍为半正定矩阵,而 。仍为正定矩阵. ;O 若不考虑网络控制系统的噪声,则其最优控制 ) 0 m)0;) o : 律可以写成 U =一Lz , (5) 参照式(3)的系统矩阵,由新状态向量Z 表示的系 ~ ~ ~ 0统模型为 Z +l=A z +B u , 一. 其中L称为最优增益,而由最优控制理论,随机代 ~ 价函数可以表示为 一 . 一 . (4) 一 . J =E[z P z ],P >10, 其中P 成为随机黎卡提方程的解. 其中 ~ ~ ~ ~ 0 8 0 0 O;A = 曰0h‰ Jm B^= 0 0 0 2随机最优控制 2.1假设 本文采用的随机最优控制算法的前提条件包 括:系统状态可以完全观测;时延的丢包之问相互独 立,且两者分布函数已知. 2.2随机最优控制算法 针对带有时延和丢包的网络控制系统的离散数 学模型,选取与文献[9]相同的二次型代价函数作 为最优控制的性能指标. 采样周期[KT,(K+1)T]内的性能指标可以表 示为 =E【∑(xTi Qx +uTRu )】,k=0,1,…, 其中Q为半正定矩阵,而R为正定矩阵. 引入增广矩阵z ,重写代价函数后性能指标表 示为 = ∑(z Q z +H ’R H )],k=0,1,…, 其中 Q o … 0 o R … 0 几 Q。= ,而R : . 凡 0 0 那么,由离散系统动态规划方法,原性能指标可 0 以被重写为 J =E一 TQ Z +HTR H +∑(zTQ Z + uTR U )]=E 一 TQ。z +uTR U +t, +1]=zTo.:Z + H R。u +E[z T+1P +1Z +1], 将式(4)代入后得到 + E([ ] [三 ]P + [三;] [ ])=[ ]一× 『Q +E(ATp A ) E(ATp B;)1『Z 1 【E(BTp + A:) R +E(BTp + B )J【zf J’ 根据动态规划方法,将., 对U 求偏微分,易求得最 优增益为 L=[R +E(B ̄P +lB )]一’E<nTP +lA ), 从而可以由式(5)计算出最优控制律. 3 仿真研究 3.1数值模型建立 为了便于对比加入丢包算子之后的响应曲线, 本文选择与文献[6]相同的数值模型,即线性化后 的倒立摆简化的状态方程¨ : x。== +Ax+ =Bu=[l【 。 J0 1 ]I x+[+I【 l ]J1 u. 以此不稳定的被控对象建立网络控制系统,设 定时延h=2,即0≤r<2T,采样周期T=0.1 S, 将网络控制系统离散化后得到模型: X +1 =A x +曰 0u + 1k lu 1 +… + k 22u 2, 其中, B =f.e dsB・ (T— ), 曰 f?e" dsB. (T+r 一 ). ( 一 ), 第1期 王溥希,等:带有随机时延和丢包的网络控制系统最优控制策略研究 35 =f e 卜 dsB・ (T+ 一 )・ ( 一 ;一2T 表明,丢包率约为0.1的系统模型在随机最优控制 算法的控制下效果明显好于丢包率约为0.2的系统 模型.事实上,当该模型中丢包率小于等于0.2时, 2 1. 选择仿真参数为Q=[ :],R:。.5,系统初 仿真实验都显示出一旦丢包率大于等于0.3,系统 值 =[一3 5] ,时延为[0,2T) =0.8T的泊 将无法达到稳定,状态发散.这是因为当系统丢包率 超过临界值后,随机黎卡提方程无解,文献[12]详 细地论证了随机黎卡提方程有解的条件,并给出了 系统状态均能逐渐达到稳定值并最终收敛.而多次 松分布序列,丢包服从伯努利分布. 3.2仿真结果分析 在本文的数值模型基础上,经过Matlab仿真得 到的图3(a)和图3(b)分别给出了一组丢包率约为 丢包率的临界值的分析.通过仿真结果和以上分析 不难得出结论:该倒立摆数学模型丢包率的临界值 应该在[0.2,0.3]的区问内. 5 0.1和约为0.2时的系统状态响应曲线.仿真结果 4 3 2 l 0 .1 2 —.3 5 t/s 1O 1 5 2O (a)丢包率 O1 (b)丢包率 0.2 图3时延和丢包的网络控制系统响应曲线 Fig.3 Curves of state response of NCS with delay and packet losses 4 结语 网络控制系统的时延和丢包问题在本文所描述 的数学模型中都得到了体现.在系统状态可完全观 测的前提条件下,本文针对二次型性能指标,采用随 大学学报:工程技术版,2005,5(3):24—27. Peng C,Yue D.A study of synthetic model of networked control systems[J].Journal of Nanjing Normal University: Engineering and Technology,2005,5(3):24—27. [4]Hespanha J P,Naghshtabrizi P,Xu Y.A survey of recent results in networked control systems[J].Proceedings of the IEEE,2007,95(1):138—162. 机最优控制算法得到了系统的最优增益的表达形 式.仿真结果表明了随机最优控制对于时延和丢包 [5]康冰,赵宏伟,任丽莉,等.网络控制系统的建模方法综 述[J].吉林大学学报:信息科学版,2006,24(1):42—49. Kang B,Zhao H W,Ren L L,et a1.Survey on modeling of 的网络控制系统的有效性和倒立摆模型的丢包率临 界值的范围.考虑系统白噪声时的数学模型和控制 算法还有待于进一步研究. 参考文献: [1]伟,王中杰.网络控制系统的研究综述[J].机电一 体化,2010,16(9):13—16,76. Zhang J W,Wang Z J.Survey on networked control systems networked control system[J].Journal of Jilin University: Information Science Edition,2006,24(1):42—49. [6]朱其新,胡寿松,刘亚,等.无限时间长时延网络控制系 统的随机最优控制[J].控制理论与应用,2004,21(3): 321—326. Zhu Q x,Hu S S,Liu Y,et a1.Infinite time stochastic opti— mal control of networked control systems with long delay [J].Mechatronics,2010,16(9):l3—16,76. [2]熊远生,钱苏翔,吴伟雄,等.网络控制系统的研究现状 综述[J].工业仪表与自动化装置,2006(1):11—14. Xiong Y S,Qian S X,Wu W X,et a1.A survey of the re— [J].Control Theory&Applications,2004,21(3):321— 326. [7]Xiong J L,James L.Stabilization of linear systems over net— works with bounded packet loss[J].Automatica,2007,43 (1):80—87. search status of networked control systems[J].Industrial Instrumentation&Automation,2006(1):l1—14. [3]彭晨,岳东.网络控制系统综合模型研究[J].南京师范 (下转第69页) 第1期 雷禹,等:基于改进SURF算法的SAR图像目标匹配 69 dar Images[M].Boston,uS:Artech House,1998:210—230. 1ikelihood and the EM algorithm[J].SIAM Review,1984, 26(2):195—239. [4]Pluim J P W,Maintz J B A.Viergever M A.Mutual—lnforma— tion—based registration of medical images:a survey[J]. IEEE Trans on Medical Imaging,2003,22(8):986—1004. [11]Bay H,Ess A,Tuytelaars T,et a1.Speeded—up robust lea— tures(SURF)[J].Computer Vision and hnage Under— standing,2008,110(3):346—359. [5]Candocia F.A similarity measure for stereo featur matching [J].IEEE Transactions on Image Processing,1997,6(10): 1460—1464. [12]Kim D,Dahyot R.Face components detection using SURF [6]Mikolajczyk K,Schmid C.An affine invariant interest poi‘nt detector[J].European Conference on Computer Vision, 1993,11(3):283—318. descriptors and SVMs[C]//The Proceedings of IEEE In— ternational Machine Vision and Image Processing Confer— ence.Portrush,U K:IEEE,2008:51—56. [7]Kitchen L,Rosenfeld A.Gray level corner detector[J].Pat— tern Recognition Letters,1982,3(1):95—102. [13]Oconaire C,Blighe M,Oconno N.SenseCam image local— isation using hierarchical SURF trees[J].Springer—Verlag Berlin Heidelberg,2009,9(1):15—26. [8]Smith S,Brady J.SUSAN—A new approach to low level im— age processing[J].International Journal of Computer Vi— sion,1997,23(1):45—78. [14]Gossow D,Pellenz J,Paulus D.Danger sign detection using color histograms and SURF matching[C]//IEEE lnterna— tional Workshop on Safety,Security and Rescue Robotics. [9]杨杨,张田文.角点检测算法评价方法的研究[J].哈尔 滨工业大学学报,1998,30(2):7—10. Yang Y,Zhang T W.Assessing criterion of conner finders Tohoku,Japanese:IEEE,2008:13—18. [15]Zhang Z Y,Huang Y L,Li C,et a1.Monocular vision sim— uhaneous localization and mapping using SURF[C]∥ World Congress on InteLligent Control andAutomation. [J].Journal of Harbin Institute of Technology,1998,30 (2):7—10. [10]Redner R A,Walker H F.Mixture densities,maximum Chongqing.China:[s.n.],2008:1651—1656. ’。 0 0 ● ●● ●●●●●● ●0■ 一, c 一c : c ()● ,● 一 ● )。<)●一 一 …。< ●、● >●‘‘0‘ ‘● ●、● ●‘:● ●,●●、●● ●‘● ● ● (上接第35页) [8]邱占芝,张庆灵,刘明,等.有时延和数据包丢失的网络 控制系统控制器设计[J].控制与决策,2006,21(6): 625—630,635. Xiao J,Xu H B,Zhu Y,et a1.Solvability conditions for ric— cati equations of optimal control with random packet losses [J].Acta Automatica Sinica,2007,33(4):372—377. [13]Nilsson J,Bernhardsson B,Wittenmark B.Stochastic anal— ysis and control of real—time systems with random time de— Qiu z z,Zhang Q L,¨u M,et a1.Controller design for net— worked control systems with time—delay and data packet dropout[J].Control And Decision,2006,1(6):625—630, 635. lays[J].Automatica,1998,34(1):57—64. [14]Matias G R,Antonio B.Analysis of networked control sys— tensr with drops and variable delays[J].Automatica, 2007,43(12):2054—2059. [9]xu H,Jagannathan S.Lewis F L.Stochastic optimal control of unknown linear networked control system in the presence of random delays and packet losses[J].Automatica,2012, 48(6):1017-1030. [15]魏玲,薛定宇,鄂大志,等.网络控制系统中网络时延与 建模分析[J].仪器仪表学报,2008,29(6):1323—1327. Wei L,Xue D Y,E D Z,et a1.Analysis of network—in— duced delay and modeling in networked control systems [10]Babak A S.Stability of networked control system in the presense of packet losses[C].Proceedings of IEEE 42nd Conference on Decision and Contro1.Maui,Hawaii2003,1:676—681. , [J].Chinese Journal of Scientiifc Instrument.2008,29 (6):1323—1327. [11]Marti P,Villa R,Fue ̄es J M.et a1.On real—time control tasks schedulability[C].Proc of European Control Confer— ence.Polo,Po ̄ugal:Springer—Verlag2001,9:2227— ,[16]谢林柏,冯宏伟,王艳,等.对丢失数据包的网络控制系 统的分析及最优控制[J].系统工程与电子技术,2008, 3O(7):1324—1327. Xie L B,Feng H W,Wang Yet a1.Analysis and optimal ,2232. [12]肖俊,徐红兵,祝颖,等.带有随机丢包的最优控制中 Riccati方程解存在的条件[J].自动化学报,2007,33 (4):373—377. control of networked control systems with data Dacket joss [J].Systems Engineering and Electronics,2008,30(7): 】324一】327