搜索
您的当前位置:首页正文

一种神经模糊系统在数据分类中的应用

来源:独旅网
维普资讯 http://www.cqvip.com

第28卷n l 28 第4期 №4 计算机工程 2002年4月 April 2002 Computer Engineering ・』、工智能及识别技术・ 文章编号:t000--3428(2002)04一I122— 2 一文献标识码: 中图分娄号 rpz74.2 种神经模糊系统在数据分类中的应用 刘 剐,项涅伍 摘一I一海 范^学数理信息学院汁算机系 l 海2002341 要:丹绍r用1 史观楗制丹娄的NEFCI ASS系统,它能从数据中莸啦丹娄趣则,得到 舰W4有良好的町解释性  ̄i:xJ它的纳构 l学-9尊 珐避打丁廿妍,; 皓r它的 个鹰用实例 关键词.圳l羟楼1槲系统 数槲分尝 模糊分类 NEFCLASS Application 0f a Neuro—fuzzySystem in Data Classiication f.LlU Gang.XIANG Shiwu (I)epa rtm ent ofComputer Scienc e,Shanehal Normal[Iniversity,Shanghai 200234) l ̄ ̄bstrart】I_h paper prescnls ̄EFCLASS.a lIrUr0一fazzy system fa r thc classiif cation of data The B1odd CItll deri,e fuⅢ lassiifcation riiles lf-31111【Iala一:od tirle I ales ha g0Dd interpretability.It also analyscs its stru ctliFe and learnlag aIgol ithln,and studyics ai1 appll catiOll example ol this s ̄stem fKe)“ordsl Nevrn—li ̄zzy system;Da elzssifieatloa;Fu皿y classifieatioa;NEFCL&SS 住橙糊系统n 开照- I 隶腾函数帕谓整和模糊推王Ij姚则 帕捷取魁‘个烦琐的过 。神经『词络舆 f强大的学习能力, 把它和模糊系统十n结肯,可 简化这‘过程,减少调整时问 个输九变量定义多少诳 C 摸糊子粜J,挑能麒 :旧的粒度 击观察数据,这样能有效 氐复杂问题的汁{ 成本 外还 ”r以¥ ̄1 J11已有领域专家生II 米铷!ci}化系统,加快 封速度 和计赞 世 从l J使模捌系统 备自学习和口适应能 神经 下面举一个模糊分娄的例于:打这样的分类们题,要把数据 模糊系统址神经网络和模剁逻辑十R互有机结台的产物。按站 ☆形式I J夫致分为两类:一类足模糊神经网络.即将种经削 络模捌化,使其能处理模糊信息,加怏网络学习速度;另一 向量) 一X )∈ ’分成In个类C.,i∈{1,2一 m} G是R“ 帕一个子集,此洲题n川卜‘个幽数表示: R_+{0,I 到中(xj I: 一 C )。当 =I和(;:o时Li∈{l,2 _II}'l≠i、、圳 类是神经模糊推理系统.即JH神经l碉络等价表示模捌系坑, 神野嘲络的框架 实现模糊推理 本文讨沧的神经模l糊系 统 j:J 类。 经楼糊系统最初生蛭为神经模糊控制而设 计,近年米1_{现r l:数据分类巾的新应用。 x属于娄C 如果问题的各个模式特 ̄lf!x|“fq.个语裔值戒币 ”。。 、,规则库钉k条规刚 ,每条规j1Iu形式为 1rx [so l and X istl .一.and x is L【 Then X=【x…X一・ )属 于娄C ,c 见这样曲模制系统可以实现分类。 ;过山』:数学 关系,模糊系统不能近近 t:帕两数,I『【『灶 l数中:R {0 1ro,卅式(p(Ⅺ f c×J 求转按。两数 丝列楼糊系统 输出的变换,采Hj赢者取t]{1:4\x.:inncr—Take—Al1)方法敬定C是0 还是1 1数据分类 数船分类_址数据分析领域中一个常见曲州题,1=_1标是从 数坩1I 泌分芟信息和知配。这些信息 莹¨识可咀用j牝制定 挑策 许多实际问题都可以转化为分雀问题.所以它的应用 范…较广 已经存在多利-呵 的数栅分类方法,如统计方 法、机器 习、班策树、神经网络分类等 构盐一个模制系 垃也能解决此问题,这称为模捌分类 模糊系统能表达和处 p 小 和不精确帕氍念,它通过{;l捌推理可以在所获得竹 模榭f 息l订攫F进行响教的翔断和泱筑,系统可解释为结构 化柚知识即一系列规则,j£推理过程和结果竿髓 被人理解, j IL1=_j_林 蚶,LL经成为智能信息处理的渖 霞要方法。将 它川1 数{i} 分类时,能M数捅 样本巾提取出有救的模糊分类 2神经模糊分类 模鞴 争类的It标足构造一个代表分类Ⅻ识的模制系统。 一个模制系统主要由规则库的结构和爹数决定.结构学习和 参数学习是系统设计外发曲两个可t要步骤。结构学 要确定 规则形式羽J数目 参数学习要确定隶属函数的形状和位置。 利用种经瑚络的学习尊社 能 虹这・设汁过程自动化.即用神 经网络增强横糊系统建立一种种经模糊系统这种系统充当 了从数据1 r获得模剁分类蜘识时I:具,学习结求后,出模糕 规则表示均分类器可单独Ii作。各 学者已 f究了多种神经 模糊系统模型米实例这一任务。倒如NEI CLASS i.FuNE Fuzzy RuleNet等 LI、 抛则 规 映射r输人输 变量关系 是一种知识表示。数 斟分娄的结果足产生规别库,这是一种可解释的模糊知识模 、它描迷了数据rlJ的内在关系 模糊分类虽然在分类绪粜 口 有以 几个特点 的H 确性I:迁不够理想, 日它有许多独特的优点。比如分类 知I}{的可解释性,楼捌[iZThcn规!l【lJ容易袱人理解车¨使用 l规 则帕 叮向 释性受 下几个 素影响如输入变量数,每个变 揖肿语寿f『|[数,J 一谱弃仙 能有多种隶属甬数表示,规则 数,1:仔 I:冲突昶『冗客的规则等 卫立¨模糊分类器易于实 现 阡发川J羽蜘 通过对输人空间的不同饪糊划分, 对每 l 22一一 神经杖糊系统是利刑种经阳结学爿针法对JC训练的模糊 系统一学j』过程不是基 =知烈而是数据驱曲 。艘J神经模糊系统可 作者简介:刘 RIJ(1977 ̄I 、倾I.:_=、¥1 ̄Jf智能化技术; 伍,教授 收耱It期200I.1 0-20 维普资讯 http://www.cqvip.com

看墟是 个特赇的多层前{】j}神经网络 (31神经模糊系统可以解释 为一系列模糊规则,并能用一些己知的经验知识韧始化系统。(41在 种经模糊系统的学习中,应 考虑檀糊系统内在表达的语义。 3 NEFCLASS NE] CLASS是在德国Braunschweig大学计算机系Nauck 教授提H{的模糊感知器 (Fuzzy Pcrceptron)模型基础上演变 而米的 图1是它的。个例子,它J_I=『5条语言规则把具有2个 挂式特征的数槲分成2_燮。系统为3层前馈网络,第一层(输 入层)的节点x代表输入即模'【I=N-Kx ;第二层(规则层) 的 点R代表模糊规则;第三层(输出层)的节点C代表输 出,即某个类c. 各层节点输出分别为0 Ur。输人层和 规则层之问连接权值是模糊集合W(x.R),即图I中u. 。等,对 应输入变量1 『一J的语 卣。规则层与输出层之间的连接权值 W(R.c悃定为1 每个规用4层节点仅连向一个唯一的输出层 节点,说l埘它属于哪一l燮。对于一个给定的输^数据P,输 九层节点x对输入不做任何变换印节点输出O,不变,规则层 节点R的输入为数据对语言值旧隶属度,。 点输出O =Min fW(x +O },取最小值.它计算模糊规则前提的适用度。输 出层节点输出 =Maxf O },取最大值 它计算模糊规则结 绝,阿络的特殊之处是共享杖值,图 椭圆表示如 , 等。缸一个语言值只有一‘个对应,内隶属函数,在各条规 则巾保持一致,这保证隐含枉阿络结构lf『的模糊规则具有良 好 ;义。嗣络实现娄似Marndmti型旧极大极3 ̄Max—Min模糊 推理 倒如有规则 :Irxl=lIl¨‘at'Jd X 2=u] 。Thet'J Y=C。 圉1一十2输入5条规剐2分类输出的NEFCI.ASS Nt".FC1 ASS系统可 在对输人数据已有的部分知识基础 上通过学习建立,或者完仝从头开始探索。在学习过程开始 前,必须先对输入空旧做模糊划分,定义初婚的模糊集,并 确定规则最大数Ej, 规则层节点数,然后用规则学习算法 确定规则(模糊系统蛳结构学习),再用模糊集学习算法调 整隶属函数(模糊系统的参数学习)。隶属函数通常采用三 角形。最终的规则 为每个类建立一‘蘩或几条规则。下面介 皇(;这两个学习算嵇: 第一步,规则学习算浩: 考虑前面提到的分类问题,现存在训练数据集L {{P- U( ),-f 、 )}、p∈ (∈lO、1) 共S个数据对,tg:--应属的 类。构造k条规刚的算法步骤如下: f】1从L中职一个数据样水对(n ;(2)把p的每一分量和各模糊 集 x,R)匹配,讣别哉出求 程度最』(的r1个模糊集,组成模糊规 则的前提,找到一荣胤则。t31若规则库原来j玉没有卡日阿前提的规 则, 幺增加规则层_廿点,井把它连接到对应的输出层类 点;(4) 若还有求处理的数据对,儿规则数少 k,则继续(I)。否则结求 根据以下方式,决定嫌规则。 {1谁 单方式保钾最前ink条规则,满k条停』l:学习 12i,最忧 规则方式把属于同一类的数据构成一组.再次处理遍S十抬 对,对于每十规刚节点,分别计算各个组对它的适应度(每个数拦 对的贡献景加),如果规则适应度最商对应的类和原 没定的类_1、 同,则改变连接=修改咧络后,再披处理s4-数据对,对于每十衄 则节点计算~ E0 。”eo{当 =1时数据p桩正确分类.c=0时0瑟 错谋。J即考察节点的分类正确率。把胀得最大 ∞k条规则倮 第二步,模糊集学习算法 采用监督的学习方式根据误差来不断地埘整模糊浆参 数,直到满足停止判据。具体步骤如F: (1)从L中取下一十数据对 p l ),输入嘲络圩掉输 fiI『 c (2l}卜算每十精出层节点的delb误差,6 .Oc;(3l反向传播列埘 则层,计算每十规则层节点的delta误差6 =Q.《1一 J 6¨',14:披 出此规则前提中隶属度盛小的连接权值W(x‘,R)(x幔定r前瑶的适 用度,因为采 ̄tMin算子).利用6 对此隶 函数参教i卜别进 r 正8 n 6 H fc—a)sgn( b1,6 =一q 8 H fc—a1 6、.5 ]0 (c-a)5 其中a,b.c是三角 隶属函数的参数,q是学-'d达率:I 5- 若满足退代敬数和停止条件,则结束,否则转向L1)。 模糊集学习算法是一种简单的启发式学习,类似J 的算法.但由于节点采用模糊算子,这里不存在梯度f 盥. 对参数的修正还可以定义约束,如模糊集之阿必须在0 5处 交叉,这样就在一定程度上保证了可解释性 停I 1槲通常 采用误差减小变化率。 4应用实侧 我们考 ̄NEFCLASS在实际分类问题中的应用情况.对 典型的I rlst ̄-集进行分析。数据集有l 50个样本,舟j}=lJ 3个不同的类Setosa Versicolour Virginica。数据有4个模』I= 特征即有4个输入变量。数据集被平均分为两部分: ,址 练集;二是测试集。开始前,每个输入变量平均划分战3千 语言值s m】,分别代表小、叫r、大。这样就共存 8『种前 提组合 采用最优规则学习算法,限定k=7,学习到最优 则后进行参数学习 经过126步后误差变化很小,可以停 止。最后得到的分类器对训练集75个样本中有3个分类 误,正确率为96%,对测试集75个样本中有2个分娄错嵌, 正确率为9’ 3%,总体正确率为96 67%。分类规则知戒I, 最终得到白匀阿络结构为输入层4个节点,规则层7个节点,蠕 出层3个节血。 袁1 Iris数据集的模糊分类规则 It"(1 s I n Then Virginiea If“n1 I I、The13 Virmnica If“n、s,ln m)Then Versicol0u 【f fm、s nl s1 Tl ll Ve ̄tcolou r 由于分类知识是用规则表示的,因此NEFCLASS很轻易 使用已有的经验知识,即规则,用这些规则先初婚化 NEFCLASS然后再训练。经验知识的获取可以用模糊聚娄的 方'法,通过投影方1法形成规则。也可以将第一次用 NEFCLASS分析所得到的规则知识作为初始规刚库,重新对 数据再次分类,以求更好的结果。和其他神经模糊分类系统 FuNE Fuzzy RuteNet等相比,NEFCLASS有更好的可解释 性,这体现在它的网络结构和学习算法中使用的约束。如采 (下转第1 56页) 一】23— 维普资讯 http://www.cqvip.com

用不同的.X分服务策略 ̄IIIPHB定义 设LSI健接两个区分服 务域A千¨B。出l I路由器需进行梳鼠调 以保证分组从A进 入B后其DSCP值是B可戳接受的 而若A、B使用相同的厦 特区分服务信息重新鳊码^新的分暂l头【Ji。 1,4对RsvP和LDP的扩展 为了在MPLS刚络巾建 支持 分服务的1 s M1 LS的 标签分发{办 ̄::ZRSVP和LDP ̄}进行扩胜。 分服务策略和PHB定艾l刖r叮免除出口路f}『器的流量调节 2支持区分服务的MPLS流量工程 支持区分服务的MP[ S流 工程li要解 的是在类捌的 级别上进行流量工程,缋定某‘类别的traffic trunk,可将其 映射至 合适的f 卯 ,同时允弹根 每个类别选择台适的故 障恢复机制。 相应地,划OSPF/ISIS.RSVIh'CR—1 DP基于约束的路 由,MPI—S~lIB以及Diff-Serv的调度等需作一些修改。 囤2管道模型应甩 为了减少厂播信息,可将类别聚台为类别类型(class一 pe),针对各类别类型 非各个类别广播疏{ j二程信息如最 大慢小带宽 需求等而各类别使用带宽的优先级町 『耐。 符道模型中分组携带的区分服务信息分为两类:I,sPIX 分服务信息和通道区分服务信息。l sP区分服务信息(如输 出PHB}封装在外层标签,_JI由于以后出口路由器丢弃外层 标签,救LSP区分服务信息只对q'l'tf7路由器有意义,离开出 7路由器后便不再有作用。不管中间节点是否修改了【15P区 3结论 MPI s为无连接的[ntcmot提供了 向连接的特性,对流 分服务信息,在离开¨|口路由器后便无任何影响 但该情息 需传递给出几路由器,出17路由器基于它进行转发处理。通 道区分服务信息(如输入PHB)封装在内层标签或IP头中,对 量工程的支持使其_正为未来核心j耐络的主导技术之一 MPI,S和厦分服务具有很多相似性,通过DSCP至MPLS封装 层的映射以及针对娄 8的流量工程,MPI S LSR可以 时实 现区分服务的功能 这不仅为MPLSJIE务质量保障提供 直 接的实现机制,而且可:IS,*IPLS的优势集成到匣斗服务中。 参考文献 l Faucheur F Wu L“Dayie B ct al M S Supporl oI Differelltiated Services lnte ̄net DmfLDraft—i ̄lGmpl¨.dil:fext一09 txt 209I一04 2 Paucheul F lllNadeau f D ChIH A ct al Reqtarements for Support of Dil:Ser ̄f -a a e MPLS Traffic Engineering 1nlcnlct Draft[)raPt-letl・ opits・dilf:t ̄・reqtsd}0 txt 2000・1 I 3 B[ack D Din s rcnlialed Services and runnels 1}1 F RFC2983 2000 中问路} 器无意义,而在l SP之外有意义,入口跚由器将其 传给出r=】路由器,由fn[【路f}1器将其继续向F游传送 管道 模型中,阿种信息都必须传递给LSP出口路由器,因而只适 甩十无倒数第二跳弹fH的场台。 其标签交换操作只在入1]路由器作PUSH ̄N出L_I路由器 或倒数第二跳路由器作Pop时和统 模型不同。八几路由器 作PUSll操作时,将对应输出P1 m的区分服务信息编码在传 输标签入14 L对成所压入的标箍)中,而对应辅入PIIB的区分 服务信息编码在内层封装层(空拽标鐾或lP头1中 出VI作 POPIb],原有标签弹J}J,原有的由层变成外层,管道模型 4吴江赵慧玲下一儿时【p骨1 阿 技术多 议杯鉴受换北京 ^民邮电出 社2001 ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★’r★★★★★★★★★★★★★★★★★★★★★★★ ( 接第1 23页) 释性。但模|瑚分类器不能完全代替其他分类方浩 应该注意 到,可解释性会在一定程度上牺牲分类结果的正确性 不过 可解释性干¨ 毽的语义使我们能检查系统的台理性,更好地 维护系统生命周期,对菜些应时尤j 重要。另外,神经模删 系统也不能使模糊系统的建 过程完全自动化,卅户应该监 督学习过程并对结果加以分析。综 所述,神经模糊系统在 P,lFuNE系统来对I ris数据集分类,正确率会较高,相同规则 数情 F总体正确率为98 5%,但系统的算法很复杂,且学 习时问长,FuNE.阚络中存在加权的规则,导致规则难以解 释。而NEI c L ASS规则层与输出层之间的连接权值w(R,C1 固定为1,I面不是模糊集台。具体选择何种分类方法时,要 考虑可解释性、计算成本、分类正确率等之I可的权衡 NEFCLASS已经在Windm,,s及MatLab环境下实现,它 提供r可视化的界面阻展示学习的整个过程。软件具有根强 数据分类领域会有很好的发展前景 参考文献 【Nauck D,K 711se R NEFCLASS—A Neuro-[uzz)Approach for the Cla. ̄siicalif ̄・n ofData In Georgc K Carml f H.editors Prc,c ofrite 1995 ACM Symposium 011 Applled Computing New York ACM Pmss I995:461 465 2 Nauck D A Fuzzy,Pcrcep ̄on as a Gencric Modet for Ncufo・fuzzy Approaches In rroc ofFuz ̄-Systeme94Munich t994 ,的人机交互性,如规则编辑器方便用户观察规则,检查规则 的车日容性,在遇到不相容的时候(规则的前提条件相同却有 不同的结 仓),让用户决定删除哪条规则。它对规则及模糊 集合制定了一套修剪调整策略,可由Ⅲ广交互式应坩, NI,;FC[ ASS提供5种修剪稠整策略:评价规则i删除输入变 量;删除规则;删除前提;删除模糊集 如_粜修改后性能有 所下降,坷户可取消此次修改。用户 可尝试各种策略,直至 获得最终可接受的性能和规则可解释性 3 Nauck D Data Anal, ̄sis with Neuro fozzy Methods hnD,^V、 v cs 1u— bs de nauck 4 Nauck D Kruse R What are Nt:ulo ̄[t'lZZX,Classilicr 7th International Fuzzy Syslcms Association World Congrcss I『FSA97)、Prague 1 997 228—233 5小结 神经模糊系统可 从数据中获取模l糊分类知识.i耋是一 种人机交互- E很强的方法,能年 尉已有知识,并有很好的解 一5王士同神经模删系统厦菇应用 ̄LZ:-IL京航空航天A学出版社, 『qqR 1 56一 

因篇幅问题不能全部显示,请点此查看更多更全内容

Top