第33卷第12期 2010年12月 合肥工业大学学报(自然科学版) JOURNAI OF HEFEI UNIVERSITY OF TECHNOI OGY Vo1.33 No.12 Dec.2O10 Doi:10.3969/j.issn.1003—5060.2010.12.008 微网能量管理系统中数据 采集子系统的优化设计与应用 丁 明, 周 亮, 毕摘锐 230009) (合肥工业大学教育部光伏系统工程研究中心,安徽合肥要:在一个含分布式电源的微型电网中,数据采集系统的可靠性和数据实时性直接影响到能量管理系统 中控制系统作业的正确性和准确性。文章在数据采集系统的设计中,提出利用完成端口与线程池技术相结合 的优化通信模型和基于分层管理数据采集对象上下文思想的通信管道维护模型;首先介绍了在数据采集系 统中如何建立保证数据实时性以及系统可扩展性的网络硬件平台;其次,从软件的结构模型、数据模型和信息 模型3个方面设计软件系统的内部结构,并介绍结构的优化方法;最后,根据上述的硬件和软件系统设计思路 在物理平台上予以实现,并通过了专业测试软件的性能测试以及实验室内软件平台各功能模块联调实验。 关键词:微网;数据采集;完成端口;上下文 中图分类号:TM734 文献标志码:A 文章编号:1003—5060(2010)12 1790—07 Optimization for design and application of data acquisition subsystem in micro-grid energy management system DING Ming, ZHOU Liang, BI Rui (Research Center for Photovoltaic System Engineering of Ministry of Education,Hefei University of Technology,Hefei 230009,China) Abstract:In a micro—grid with distributed power,the reliability and real time property of data acquisi— tion system(DAS)directly affect the validity and accuracy of control system operation in energy man— agement system.In the process of designing DAS,the optimized communication model by the combi— nation of completion port and the thread pool is proposed,as well as the model of the communication pipeline which is maintained by hierarchical management of contexts of data acquisition obj ects.First— lY。this paper describes how to create a network hardware platform which ensures the real—time prop erty and scalability of DAS.Secondly,the internal structure of DAS is designed in regard to three as~ pects of the structure model,data model and information model,and the optimization of the structure is described.Lastly,based on the above software system design ideas,DAS is realized on the physical platform,and validated by the performance test by professional testing software and union-test experi ment with each functional module of the platform. Key words:micro—grid;data acquisition;completion port;context 含分布式电源的微型电网,与传统电网相比, 无论是从系统容量和采集点的规模上以及控制方 集系统的快速响应特性显得犹为重要 卜引。数据 采集系统作为微网管理控制系统基础平台的重要 法上都有较大区别。对于微型电网而言,数据采 收稿日期:2010 03 24;修回日期:2010:05 07 组成部分,负责完成与各远端lED(Intelligent E一 基金项目:国家863高技术研究发展计划资助项151(2007AA05Z240);国家自然科学基金资助项目(50607002)和教育部科学技术研 究重大资助项目(306004) 作者简介:丁明(1956),男,安徽合肥人,合肥工业大学教授,博士生导师. 第12期 丁 明,等:微网能量管理系统中数据采集子系统的优化设计与应用 1791 lectronic Device,简称IED)装置及分布式电源控 束,避免因此造成的不必要的系统延时ll8]。为保 制器的数据交换,同时为微网能量管理系统的上 证网关的灵活性,系统应该配备相应的网关外围 层高级应用提供可靠的数据源。数据采集系统不 参数修改软件。 但自身有着很强的硬件环境约束性,同时要求具 可靠的网络硬件平台应该提供冗余网路和互 有很高的稳定性和数据实时 。 为热备用服务器。通过划分一定的网络带宽,微网 数据采集系统周期性数据总召、对时等操作 系统中的SCAI)A(数据采集与监视控制系统)监控 会瞬时增大网络负荷量。经过eEye公司的专业 信息、继电保护故障信息和电能量信息,都可以根 网络数据流量监测软件Iris分析,总召周期内的 据相应的规约协议同时使用以太网络传输到监控 数据流量是正常状态下的3倍之多。这些都要求 层,这样可以充分利用网络资源和降低管理成本。 数据采集系统在处理这些重要数据时要具有较高 为提高系统通信的开放性、兼容性和可靠性,监控 的准确性、可靠性以及灵活性,能够对流量不稳定 层中的调度监控工作站与网关之间的远动数据传 的数据流具有较强的可伸缩处理能力。 输应遵循统一的基于TCP(Transmission Control 远动信息的采集将由集中采集向就地分布式 Protocol,简称TCP)的远动协议。文献I-9]介绍了 采集方向发展_4]。传统大电网所面临的庞大数据 通过修改同样支持应用服务数据单元(ASDU)的 通信问题可以借鉴微网中的数据采集系统解决方 I]EC60870—5—103规约,与IEC60870—5—104具有相同 案。系统的功能下放与测控设备分布化将大大提 的APCI(应用规约控制信息)传输接口,使前者同 高其自身的可靠性。 样可以支持以太网传输。 1硬件系统结构 2软件系统设计 基于目前网络系统普遍遵循的横向分布、纵 数据采集的软件系统设计中需要考虑到物理 向分层E 思想,应该优先选择建立一个标准的开 网络环境的特性。 采用以太网方式组建的数据采 放分布式网络硬件平台,平台结构如图1所示。 集系统,需要考虑TCP/IP协议与操作系统的配 合,并考虑采集系统作为客户端与各测控单元或 调度监控工作站l l故障信息管理工作站I 电源控制器链路的稳定性以及数据交互的可靠 I Il维 j一作站I ll数据库服务器I 性。对链路的稳定性和可靠性的合理维护须仔细 监控层 l ll 处理,否则会造成系统的性能大幅度降低[1。。。在 //一保证硬件系统具有较强可靠性的前提下,软件系 / \ 通信网络(一薹 10/1咬警 —\、00 M以太网) / ,统应该具有可靠的通信通道维护能力,同时保持 —— 接入设备(16El交换机)卜一一 l较大数据吞吐量。软件系统设计从软件的结构模 囝 … 圆 型、数据模型、信息模型3个方面实现以上要求。 网络层 2.1结构模型 0控装置1 I — 4控装置1I 继保装置1l 软件粒度的选择决定着各功能模块的大小。 — 控装置2I —嘲控装置2l 继保装置2l 由于规约的解析和打包功能模块是可重用性较高 设备层 -t ̄,J控装置nI _1测控装置 l 继保装置nl 的模块,软件采用模块化编程可以将各模块之间 图1硬件设备网络结构 的耦合程度降低,同时在今后软件扩展其它规约 时也会很方便。数据采集系统的软件框架如图2 通信网络的良好连接是保证数据实时性的物 所示,大致可以分为外部接口层、规约层、通信层 质基础[6]。由于RS485串行通信接口受到节点 等部分。 数目的以及考虑到对网络硬件资源的有效充 图2中实线箭头代表上行数据,虚线箭头代 分利用,采用以太网支撑的网络层是经济且实用 表下行数据。同步命名管道通过外部接口发布管 的选择。网关作为以太网络接口与RS485串行 道名称。微网能量管理系统数据处理模块根据管 接口的规约转化器,解决不同厂家设备的入网问 道名称请求写管道,然后按照约定的数据格式将 题,同时增加硬件系统的可扩展性。文献E7]提出 远动控制命令发送给数据采集系统。远动控制命 一种专用数字通信网关,通过简化网络结构保证 令将按照规约重新打包,通过通信平台直接发送 数据的实时I生,但是没有考虑优化网关的功能约 到对应的网关。网关程序将接收到的控制命令准 1792 确送到对应的装置。 合肥工业大学学报(自然科学版) 第33卷 收发,是应用程序使用线程池处理异步I/o(输入 输出)请求的一种成熟通信机制I1引。IOCP是一 种优化的多线程并发模型,通过有效的线程管理, 减少线程上下文的切换,避免多线程资源竞争,适 合于存在大量套接字I/o请求的场合。默认状 态下,线程池中预先创建的等待线程的数目稍大 于主机CPU数量l_1 。 系统启动后,主线程首先会初始化各线程,从 数据库服务器下装数据采集系统的配置信息参数 图2软件系统结构 表,然后创建内存实时数据库。主线程在程序正 常运行时负责数据显示和子线程控制。各线程之 问关系如图3所示。I/0端口监视线程将上行数 据包指针放人工作队列中等待逻辑工作线程的处 理。工作队列将规约层与通信层的耦合降到最 低,而不影响数据的实时传输。工作队列的 性越大,规约层与通信层的耦合也就越松。处于 规约层的逻辑工作线程同样采用线程池技术。为 避免数据流瓶颈的存在,2级线程池分别处于系 统不同的结构层,分摊系统负载从而保证数据流 的平稳过渡。重要的下行控制数据直接通过通信 平台提供的发送接口单独发送,保证控制命令或 规约交互数据帧的无延时下发,同时上行数据与 下行数据之间互不影响。 通信平台将接收的上行数据包放人一个工作 队列,规约处理模块对上行数据包逐帧预读取,并 按照规约将帧数据解析为系统生数据并存入内存 实时数据库。数据采集系统的外部接口是由拥有 优越安全性的内存实时库和同步命名管道共同实 现的,负责采集数据和控制命令的转发工作。 由于IEC60870—5~104等系列远动协议是基 于TCP连接,数据包有可能丢失、延迟、重复和乱 序,因此应用层协议必须使用超时和重传机 构ll 。规约处理模块和计时器模块共同负责相 应的数据传输按照严格的纠错机制运行。 2.2数据模型 数据采集系统中的动态数据信息交互采用线 程池[1 及其相关技术。如果以网关为单位建立 由于数据传输控制的需要,规约层需要向各 网关定时下发交互数据帧。这些下行数据发送请 求直接转发到完成端口的完成队列(Completion Queue)中,由I/O端口监视线程池中的线程实时 同步处理。 收发数据包线程,那么将会产生大量冗余的线程 上下文切换处理,占用大量系统资源,很难确保数 据的实时性、完整性和准确性。通用通信平台基 于IOCP(I/0完成端口)机制,实现高效的数据 应用层 规约层 网络层 连接监视线程 口 上行数据包、 连接状态变化 逻辑工作线程幽 }‘ _ l__l l{l l — ! lYO端口监视线程 IOCP 匿 网关状态变化 口 同步管道线程 下行控制命令 图3核心线程关系图 (1)I/O端口监视线程。网络层的数据收发 速度是系统性能的重要标志之一。完成端口监视 要流程如图4所示。由于对上行数据包只作简单 的转发处理,IOCP的工作负载能力足以满足系 统内所有网关的数据收发工作。 线程同步返回完成端口上的异步调用请求。其主 第12期 丁 明,等:微网能量管理系统中数据采集子系统的优化设计与应用 1793 系统。遥信变位事件的实时告警也是通过同步命 名管道告知数据处理模块,从而图形显示模块能 够根据遥信触发事件查询实时数据库中更新的遥 信信息,不需要定时扫描实时库,减轻了系统负 担,缩小了图形数据显示的延时。线程内部主要 流程如图6所示。 图4 t/o端口监视线程流程圈 (2)逻辑工作线程。逻辑工作线程主要处理 接收到的数据包,完成数据的分流,是数据采集系 统的枢纽。它的处理类似于I/O端口监视线程, 都采用线程池技术,但逻辑工作线程的激活个数 是由工作队列内的工作任务数量决定的。逻辑工 作线程处理工作队列中任务的效率将是决定采集 数据实时陛的一个关键因素。这种利用工作队列 任务量管理线程池的方法具有很强的灵活性。线 程内部主要流程如图5所示。上传的连接状态变 化任务Job—ConnecterStateChange将按照对应 的网关号创建或修改网关上下文GatewayCon 图6 同步命名管道线程流程图 text。网关上下文包含规约传输控制所需的所有 实时控制参数。 (4)计时器线程。延时连接、定时发送的控制 帧以及数据超时纠错机制都需要一个异步的定时 器。该定时器线程同样使用了和同步管道相同的 内核对象触发的等待线程技术。以100 ms为单 位,内核对象每次被触发之后,对每个有效网关上 下文中的所有定时器对象做相应的状态检查并作 相应的操作或置位,线程内部流程如图7所示。 图5逻辑工作线程流程图 (3)同步命名管道线程。命名管道能够保证 2个相互通信的进程之间互不干扰又协调一致工 作。为缩短重要远动控制命令响应周期,并且保 证遥控/遥调命令数据的性和安全性,下行数 据不经过实时数据库,而是单独建立一个同步等 待线程,以触发内核对象Named Pipe(命名管 道)读事件激活该线程。 图7计时器线程流程图 命名管道支持双向数据传输。在成功接收到 并成功发送数据处理模块的遥控/遥调命令后,同 (5)链接监视线程。通信过程中,需要可靠 步管道触发写管道事件,将原包内容回送给数据 的错误恢复机制。在出现数据异常时,规约层传 处理模块。后者则确认数据包准确到达数据采集 输控制可能会断开与某个网关的链接并立即重 1794 合肥工业大学学报(自然科学版) 第33卷 连。为减少阻塞型链接在延时连接过程中对其它 数据库中。通信类CCommunication基于IOCP 链接数据收发的影响,通信平台需要一个异步连 接机制。链接监视线程中分配各网关相应的 LinkContext(链接上下文),该上下文中保存了链 实现,对规约处理类提供通用通信接口。程序中 的异步套接字采用微软公司的封装类CAsync— Socket。异步套接字是为了避免在同一线程中的 阻塞问题。IOCP机制如前所述是通过管理多线 程的上下文切换改善效率,同时封装了异步套接 字的调用。数据操作类CIOCPBuffer基于 OVERLAPPED数据结构为IOCP通信提供各类 接对应的链接套接字、数据缓冲地址以及顺序控 制参数。当建立一个新的链接,线程调用关联函 数将当前链路套接字与IOCP关联后,这条链路 上的所有数据交互都会经过完成端口,线程内部 流程如图8所示。 数据操作。它是IOCP依赖的特定数据结构,与 CPtrQueue建立的数据缓存循环队列所属范畴不 同。工作队列操作类CJobProcess提供一个静态 工作队列链表JobQueueI ist以确保其唯一性,同 时提供对队列成员的具体操作。 系统静态对象如图9所示,其中Gateway— Context(网关上下文)和LinkContext的区分,不 仅降低了网络层与规约层耦合,同时方便了管理。 两者的对应点是网关号。连接成功并成功创建和 初始化的上下文将存放于ContextMap映射中, 图8链接监视线程流程图 以网关号作为对象主键。断开连接或删除网关 2.3信息模型 时,相应的上下文直接从映射中释放。LinkCon— 规约处理类CProtocol Process作为主干类 text中的链路状态分为可用状态USABLE和不 提供初始化通信平台、数据交互处理、管理计时器 可用状态UNUSABLE,GatewayContex中的网 以及返回自定义常见错误信息等操作。规约支持 关状态分为关闭CLOSED、连接CONNECTED、 类CPackFrame和CSolveFrame配合规约处理类 激活ACTIVE、待关闭CLOSING。链路状态的 提供打包和解包方法接口,完成数据收发工作,同 改变必须通知对应的网关上下文,而网关状态中 时CSolveFrame类将上行数据及时更新到实时 只有关闭和待关闭才会影响到链路状态。 图9系统静态对象 逻辑工作线程池中的线程接收到TCP数据包 数据的收发影响解析数据帧。根据分层解析原则, 之后,会将其转存到一个数据缓存循环队列QRec— 从QRecQueue队列中预读取的I帧将会被再次深 Queue中。这个数据缓存循环队列提供可靠的读 入解析,本文中把读取到的I帧写入解包缓存循环 写操作,不支持定点插入,能够很好地保证数据的 队列I_FrameBuf。它与QRecQueue同样都是数据 完整性和顺序性。引人数据循环队列是为了避免 缓存循环队列类CPtrQueue的对象。 第12期 丁 明,等:微网能量管理系统中数据采集子系统的优化设计与应用 1795 3数据采集系统的应用 和应用功能测试,目前软件已在合肥工业大学微 网实验平台通过各功能模块的联调实验,系统运 合肥工业大学微网实验平台基于上述网络硬 行正常、稳定可靠,达到设计的要求。基于HP公 件平台构建思想,采用专用测控装置和数字网关。 司的系统性能测试软件LoadRunner对主程序 系统内目前已有71个遥控点、609个遥测信息点 DAS MGEMS运行时,系统的CPU使用率变化 和266个遥信信息点。 和TCP数据包传输请求量变化的对比,如 根据软件系统设计的思路,编制系统主程序: 图10所示。网内数据流量因为系统周期事件所导 DAS—MGEMS。根据文献[15,1G]提供的测试原 致的瞬时剧烈波动对系统资源负载变化的影响不 则,经过专业测试软件的压力测试、配置参数测试 明显,系统运行画面如图11所示。 季 = =二二 — ,l-一、一 一 、 一….-。 、 \ ~ 、 ・、一一\~一 ,^\/ 至要三 曩 至 殛爱夏囊! 要 苎 图1O数据采集系统运行参数对比图 }##基麓量: 鍪:嚣j 叠;鼯{嚣:引Ii誊 :嚣iI嚣 裴器嚣畏 。oI—Ol 曩::2:g:拇嚣‘舞 基 } ;瓣蔼l 引瞄溜爱 J馐 h。14" 1 1嚣.霉 叭∞∞盟 黔;蛊器 ̄oi}_'罄o器‘o'嚣温譬,o i 嚣oa葛 鞭,器 鬻嚣 ≥ 母og: 器 I誊基 援+基 雕蔼憾滢 婺 燕》馐i 量景 1. ..j 。 I T行壤掂 、一 u 。 . m)e8 B.∞∞0・∞州 ∞∞照∞∞∞ l‘ ・ >"))e8 Be O‘矾 箍∞ O・∞ m 01埘m∞帕 饥0口01∞ 甜 舶 曲 珈再牲 I1 ¨ 》”瑚*)瑚O・砸如∞却嘶0・加“酊“墨.0I 01∞ mO 船雌00脚∞呻 饵 ∞ 轴 l 一 ))))B8 ∞∞0c僻舭Ol D6∞aI曲O0∞∞ II ‘神to .1O,l ̄1e3. 黼0・艟∞一0c∞暑1 0I口5∞Ol m、 ∞“ 、 ) 0・ ∞Oe∞“m 05∞0t m∞∞∞I‘ >> 堋O・麒B‘OI∞Ol∞oo 0 她”>>睢O・∞ ∞ o4 ol∞m nf硼a.∞∞∞ “ ∞ Oe∞∞∞ ∞It 'I 图11系统运行画面 4结 论 文机制,有效方便的管理确保了通信的准确性。 (3)同步等待线程的多处应用、上下文的合 本文首先介绍了数据采集系统运行的网络硬 理维护以及IOCP的引入共同促进了系统资源的 件环境,在此基础上提出建立基于IOCP机制和 大幅度节约。 优化的通信管道维护技术的软件模型,并对各关 键技术做了详细介绍。根据面向对象的建模思 [参考文献] 想,采用UMI 建立软件的对象模型,使用C++ 语言编制软件,软件在实验平台中应用效果良好。 [1]杨为,丁明,毕 锐,等.微电网实验平台的设计口]. 通过对系统深入分析,得到以下结论: 合肥工业大学学报:自然科学版,2010,33(1):38—41. (1)基于线程池技术实现的高效的通信机制 [2]王成山,肖朝霞,王守相.微网综合控制与分析[J].电力系 统自动化,2008,32(7):98—103. 已经很成熟,但结合完成端口,利用系统内任务的 [3],张玲,王伟,等.微网技术应用与分析EJ].电力 工作量实现系统的自我管理,可以进一步提高系 系统自动化,2009,33(2O):1O9—114. 统的灵活性和实时性。 [4] 洪宪平.走向网络化的远动系统[J].电力系统自动化, (2)系统中对通信通道的维护采用2级上下 2001,25(6):1—3. [5]田国政.变电站自动化系统的通信网络及传输规约选择 1796 合肥工业大学学报(自然科学版) 第33卷 (上接第1785页) _J].合肥工业大学学报:自然科学版,2008,31(i0): 影响,背压越大,试样的贴模性越好,变形后试样 1613—1616. 的横截面越规则。随着背压的增大,变形所需的 r-s]Beygelzimer Y E,Reshetov A,Synkov S,et a1.Kinematics of metal flow during twist extrusion investigated with a new 力也随之增大。本文还研究了摩擦对挤扭过程的 experimental method[J].Journal Materials Processing 影响,一定的摩擦条件能增大试样的等效应变,但 Technology,2008,209(7):365O一3656. 幅度不大,且使模具的受力状况急剧恶化,因此实 [6]Varyukhin V,Beygelzimer Y,Synkov S,et a1.Application of 际操作过程中,应尽可能降低摩擦的影响。 twist extrusion[.I].Materials Science Forum,2006,503/ 504:335—340. [7]Beygelzimer Y,Varyukhin V,Synkov S,et a1.Useful prop— [参考文献] erties of twist extrusion[J].Material Science and Engineer— ing A,2009,503(1/2):14—17. [1] Valiev R Z,Estrin Y,Horita Z,et a1.Producing bulk ultra— E8]吴战立,薛克敏,李萍,等.纯铝扭挤新型大塑性变形数值 fine-grained materials by severe plastic deformation[J]. 模拟_J].浙江科技学院学报,2009,21(3):239--242. JOM,2006,58(4):33—39. [9]薛克敏,王晓溪,李萍.超细晶材料制备新工艺:挤扭[J]. [23 Valiev R Z,Islamgaliev R K,Alexandroviv I V.Bulk nano 塑性工程学报,2009,16(5):l3O一136. structured materials from severe plastic deformation[J]. [10]李峰,刘晓晶,苑世剑.摩擦条件对铝合金挤压变形流动 Progress in Materials Science,2000,45:103 189. 行为的影响[J].中国有色金属学报,2008,18(11): [33 Beygelzimer Y E,Varyukhin V N,Synkovs G,et a1.New 20]4—2O]9 schemes of accumulation of large plastic deformation[J].Fiz Tekh Vys Dav,1999,14(3):109一H1. (责任编辑闫杏丽) [43 薛克敏,张君,李萍,等.高压扭转法的研究现状及展望