总第２５０期 计算机与数字工程 Ｖｏ１．３８ Ｎｏ．８ ２０１０年第８期 Ｃｏｍｐｕｔｅｒ＆Ｄｉｇｉｔａｌ Ｅｎｇｉｎｅｅｒｉｎｇ １Ｏ７ 贝叶斯网络分类模型研究及其在信用评估中的应用 王学玲 （滨州学院计算机科学技术系滨州２５６６０３） 摘要基于概率估计的贝叶斯及贝叶斯网络分类模型，拥有其它数据挖掘工具所不具备的优势。在分析贝叶斯及贝 叶斯网络分类模型基础上，结合最小风险决策准则，提出了一种新的信用评估模型。在实际数据集上采用交叉验证方式进 行了测试。实验结果表明基于最小风险决策准则的贝叶斯及贝叶斯网络分类模型可以有效地减少信用评估风险。 关键词数据挖掘；贝叶斯网络；信用评估；风险 中图分类号Ｃ８１２ Ｓｔｕｄｙ ｏｆ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌｓ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｃｒｅｄｉｔ Ｓｃｏｒｉｎｇ Ｗａｎｇ Ｘｕｅｌｉｎｇ （Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｂｉｎｚｈｏｕ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｉｎｚｈｏｕ ２５６６０３） Ａｂｓｔｒａｃｔ Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒｓ ａｎｄ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ ｃｌａｓｓｉｆｉｅｒｓ ａｒｅ ｂａｓｅｄ ｏｎ ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｅｓｔｉｍａｔｅ，ｗｈｉｃｈ ｐｏｓｓｅｓｓｅｓ ｓｏｍｅ ｐｒｅｄｏｍｉｎａｎｃｅ ｔｈａｎ ｔｈｅ ｏｔｈｅｒ ｄａｔａ ｍｉｎｉｎｇ ｔｏｏｌｓ．Ｖｉａ ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒｓ ａｎｄ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ ｃｌａｓｓｉｆｉｅｒｓ，ｃｏｍｂｉｎｉｎｇ ｍｉｎｉｍｕｍ ｏｖｅｒａｌｌ ｒｉｓｋ ｒｕｌｅ，ａ ｎｅｗ ｃｒｅｄｉｔ ｓｃｏｒｉｎｇ ｍｏｄｅｌ ｉｓ ｐｒｏｐｏｓｅｄ ｏｎ ｔｈｅ ｒｉｓｋ ｃｌａｓｓｉｆｉｃａｔｉｏｎ． Ｔｈｅｙ ａｒｅ ｔｅｓｔｅｄ ｂｙ ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ ｗｉｔｈ ａ ｒｅａｌ ｄａｔａ ｓｅｔ ａｃｃｏｒｄｉｎｇ ｔＯ ｍｉｎｉｍｕｍ ｏｖｅｒａｌｌ ｒｉｓｋ ｒｕｌｅ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒｓ ａｎｄ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ ｃｌａｓｓｉｆｉｅｒｓ ｏｎ ｍｉｎｉｍｕｍ ｏｖｅｒａｌｌ ｒｉｓｋ ｒｕｌｅ ｃａｎ ｄｅｃｒｅａｓｅ ｔｈｅ ｒｉｓｋ ｏｆ ｃｒｅｄｉｔ ｓｃｏｒｉｎｇ ｅｆｆｅｃｔｉｖｅｌｙ． Ｋｅｙ Ｗｏｒｄｓ ｄａｔａ ｍｉｎｉｎｇ，Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ，ｃｒｅｄｉｔ ｓｃｏｒｉｎｇ，ｒｉｓｋ Ｃｌａｓｓ Ｎｕｍｂｅｒ Ｃ８】２ １ 引言 根结点不同分类性能会有明显不同。也就是说， Ｆｒｅｄｍａｎ的ＴＡＮ模型构造方法并没有真实地反 为了改进朴素贝叶斯分类器的性能，人们提出 映属性之间的依赖关系。我们曾经通过将依赖关 了许多方法和技术ｌ＿１ｑ］。其中，Ｆｒｉｅｄｍａｎ和Ｇｏｌｄ— 系设定方向，并将有向树算法引入ＴＡＮ分类器的 ｓｚｍｉｄｔ研究了具有树结构的ＴＡＮ分类器 ］，它放 构造，提出了一种新的ＴＡＮ模型构造方法一 松了朴素贝叶斯中的性假设条件，扩展了朴素 ＤＴＡＮＥ引。 贝叶斯的结构，允许每个属性结点最多可以依赖于 在分类的决策中，使错误概率达到最小是最重 一个非类结点。ＴＡＮ具有较好的综合性能，体现 要的，但实际上有些问题需要考虑一个比错误概率 了学习效率与分类精度之间的一种适当的折衷。 更为广泛的概念一风险。比如在商业银行的信用 然而，Ｆｒｉｅｄｍａｎ等人提出的ＴＡＮ算法是通过构造 评估中将“违约”类样本误判为“不违约”给银行带 一个以条件互信息为权的完全无向图，然后构造其 来的损失和将“不违约”类样本误判为“违约”给银 最大权生成树，最后任选一根结点把无向树变为有 行带来的损失显然是不同的。因此，本文在朴素贝 向树，从而得到ＴＡＮ模型。实验ｌ＿４］已证明，选的 叶斯分类模型和贝叶斯网络分类模型（ＴＡＮ与 ＊收稿日期：２０１０年３月１２日，修回日期：２０１０年４月１０日 作者简介：王学玲，女，硕士，讲师，研究方向：数据挖掘、人工智能。 ｌＯ８ 王学玲：贝叶斯网络分类模型研究及其在信用评估中的应用 第３８卷 ＤＴＡＮ）基础上引入最小决策风险分类准则［６］，并 错误分类后采用错误决策不同情况下损失函数 （ａ Ｉ Ｃｊ）显然是不一样的。结合考虑领域专家意见 把不同的损失函数 （ａ ｌ Ｃｊ）赋予合适的取值后，可 以考虑用最小风险准则作为我们的分类准则，即取 Ｒ（ｕｊ １．ｚ）一ｍｉｎ Ｒ（ ｌ ）最小的作为决策的准则。 ｚ—ｌ，…． 在实际数据集上进行了测试。实验结果表明，在引 入最小决策风险分类准则后，ＤＴＡＮ模型分类性 能最好。 ２理论基础 ，．假定Ｘ是一个有限实例集，Ａ一｛Ａ ，Ａｚ，…， ３ 引入最小决策风险分类准则后的 分类器算法 Ａ ｝是一个有 个属性的有限集。一个实例ｚ∈Ｘ 用向量＜口 ，ａ ，…，ｎ ＞来表示，这里ａ 是属性Ａ 的 一个值。假设共有ｍ个不同类别Ｃ一｛ｃ ，ｃ ，…， Ｃ ｝，对于给定的一个未知类别数据样本ｚ，分类器 根据贝叶斯定理计算样本ｚ属于类别ｃ 的后验概 率Ｐ（ １ｚ）。贝叶斯最大后验准则Ｌ７］将选择后验概 率ｐ（ｃ Ｉ ｚ）最大的类作为该实例的类标签。即Ｐ （ｃ ｚ）＝ｍａｘ Ｐ（ ｌ ），贝０ ０定ｚ属于Ｃ，。 在分类的决策中，使错误概率达到最小是最重 要的，但实际上有些问题需要考虑一个比错误概率 更为广泛的概念一风险。在个人信用评估中，对消 费者贷款的分类不仅要考虑尽可能做出正确的判 断，而且还要考虑到做出错误判断时会带来什么后 果。在信用评估中如果把“信用良好的客户”误判 为“信用差的客户”固然会使银行损失一笔利息收 益，然而如果把“信用差的客户”错判为“信用良好 的客户”，肯定会造成更大的损失，显然这两种错误 判断所造成后果的严重程度是有显著差别的。因 此，有必要在分类决策时采用一种使误判风险最小 化的准则一最小风险准则来代替最小错误概率准 则来进行分类。 要使误判风险最小化，就要考虑损失函数［６］。 损失函数是精确阐述每种决策行为所付出代价大 小的，令｛ａ ，ａ。，…，ａ ）表示有限的ｋ种可能采取的 行为集，损失函数ａ（ａ ｌ ｃｊ）描述类别状态为Ｃ，时采 取行动ａ。的风险。假定观测到某个特定模式 并 将其采取行为ａ ，如果其真实类别状态为Ｃｊ，定义 在类别状态为ｃ 时采取行动Ｏｔ 的损失为 （ Ｉ Ｃｊ）， ｚ属于类别Ｃ 的后验概率Ｐ（ｃｊ Ｉ ｚ）可以有贝叶斯 分类模型得出，那么与行为ａ 相关的条件期望损 失Ｐ（Ｇ Ｉｚ）为 ｍ Ｒ（ ｆｚ）一 （口 ｝ｃｊ）Ｐ（ｃｉ ｆ ） （１） 一１ 在实际应用中，式（１）中的损失函数 （ ｌ ｃ ）取 值是随ｚ得不同观测值不同而不一样的。例如：在 商业银行信用风险评估中，客户正确分类就意味采 用正确决策，那么 （∞ｌ ｃｊ）（ — ）就没有损失，客户 朴素贝叶斯分类模型和贝叶斯网络分类模型 （ 与ＤＴＡＮ）的工作原理是：选择后验概率ｐ（ｃ Ｊｚ）最大的类作为该实例的类标签。即Ｐ（ｃ ｌ ｚ）一 ｍａｘ Ｐ（ ｛ｚ），则判定ｚ属于ｃｊ。考虑在商业银行 信用风险评估中，可以将每一种决策对应于客户的 分类类别，那么 （ ｌ ｃ ）一 （ ｌ ｃｉ）。于是有Ｒ（ｃ Ｉｚ） 一∑ （ Ｉｑ）ｐ（ ｌｚ），取Ｒ（ｑ｛ｚ）＝ ｎ，Ｒ（ Ｉｚ） 』：１ “… 最小的作为决策的准则，即取Ｐ（ｃ ｌ ｚ）最小的类作 为该实例的类标签。可以看出，一旦获得贝叶斯分 类模型后，要进行最小决策风险准则分类就很容易 了。下面给出我们的算法步骤。 １）根据训练样本数据集训练分类模型Ａ，此 步可以计算出ＰＡ（ｃｉ ｌ ）。 ２）根据给出的损失函数对未知类别的样本 计算 Ｒ（ｃｉ ｆｚ）一 ａ（ｃ ｝Ｃｊ）ＰＡ（ ｌＬｚ） 』＝１ ３）比较Ｒ（ｃ ｌｚ），选择Ｒ（ｃ Ｉｚ）最小的Ｇ在作 为ｚ对应的类。 ４试验结果 我们的所有实验都是在ｗｅｋａ系统上完成的， 实验数据选自ＵＣＩ资源库中的德国信用数据 集嘲。德国信用数据集中由数据记录１０００条，定 义了两类人，第一类人（Ｇｏｏｄ Ｃｒｅｄｉｔ）样本７００个， 第二类人（Ｂａｄ Ｃｒｅｄｉｔ）样本３００个，每个样本有２１ 个属性。由于ＴＡＮ和ＤＴＡＮ不能处理连续属性， 因此，使用ｗｅｋａ中的“ｗｅｋａ．ｆｉｌｔｅｒｓ．ＤｉｓｃｒｅｔｉｚｅＦｉｌ～ ｔｅｒ”对连续型数值离散化，将所有包含非序数型数 据的数据集离散化，使得所有的数值属性值都转换 为序数型数值。而作为比较标准的Ｎａｉｖｅ Ｂａｙｅｓ分 类器的数据，则是在数据集未加处理的自然条件下 运行取得的。 实验的主要目的是为了比较ＤＴＡＮ与Ｎａｉｖｅ Ｂａｙｅｓ和ＴＡＮ分类器引入最小决策风险分类准则 ２０１０年第８期 计算机与数字工程 １Ｏ９ 前后在德国信用数据集上的分类精确率和风险损 失。其中损失函数在正确分类时取值为０，第一类 器的分类精确率是在测试集上错误预测的实例占 总实例的百分比，总损失为两类人错误分类实例数 与损失函数乘积之和。采用１０重交叉验证来估计 分类器的精确率，实验结果如表１、表２所示。 人误分成第二类人时损失函数取值为１，第二类人 误分成第一类人时损失函数取值为５。每个分类 表１ 引入最小决策风险分类准则前分类结果 混合矩阵Ｎａｉｖｅｔ￣ｙｅｓ ＴＡＮ ＤＴＡＮ ＧＯＯｄ Ｂａｄ Ｇ∞ｄ Ｂａｄ Ｇ∞ｄ ａＢｄ Ｇａ ６０５ ９５ ６３８ ６２ ６３８ ６２ Ｂａｄ １５１ １４９ １８１ １１９ １８１ １１９ 误分率 １３．５７％５０．３３ ＆８６％６５．７５％＆８６％６５．７５ 总损失８５Ｏ ９６７ ９６７ 总误分率２４＿４０ ２４．３Ｏ ２４．３０ 从表１、２我们可以得出以下结论： １）在采用了最小决策风险决策分类准则后， 所有贝叶斯分类模型的总误分类率都上升了。Ｎａ— ｉｖｅＢａｙｅｓ从２４．４Ｏ 上升到３１．５０ ，ＴＡＮ和 ＤＴＡＮ从２４．３Ｏ 上升到２６．５Ｏ 和２６．７Ｏ 。第 一类人Ｇｏｏｄ的误分类率上升，第二类人Ｂａｄ的误 分类率显著降低了，这正是我们所希望看到的。由 于两类人的误分类损失不同，那么通过增大第一类 人Ｇｏｏｄ的误分类率来减少第二类人Ｂａｄ的误分 类率而获得更低的总损失。 ２）分类器的误分类率低和总损失的大小并无 对应关系。例如在未采用最小决策风险决策分类 准则前，三分类器误分类率差别不大，但总损失最 小的是ＮａｉｖｅＢａｙｅｓ，采用最小决策风险决策分类准 则后，ＴＡＮ和ＤＴＡＮ的误分类率差别不大，但总 损失最小的是ＤＴＡＮ。 ３）不同的分类模型对最小决策风险决策分类 准则的敏感程度不同。ＮａｉｖｅＢａｙｅｓ采用最小决策 风险决策分类准则后误分类率增加７．１ ，总损失 减少２９５，ＴＡＮ采用后误分类率增加２．２ ９／６，总损 失减少３７０，ＤＴＡＮ采用后误分类率增加２．３％，总 损失减少４２４。 ５ 结语 结合个人信用评估实际在朴素贝叶斯分类模 型和贝叶斯分类网络分类模型基础上引人最小决 策风险决策分类准则，并将引入最小决策风险决策 分类前后的分类器模型在真实数据集上进行了测 试。实验结果表明，使用引入最小决策风险决策分 类准则确定根节点的贝叶斯网络分类模型进行个 人信用风险评估取得了较好的效果。由于贝叶斯 网络分类模型作为概率型分类器，容易结合最小风 表２ 引入最小决策风险分类准则后分类结果 混合矩阵ＮａｉｖｅＢａｙｅｓ ＴＡＮ ＤＴＡＮ ＧＯ０ｄ ａＢｄ（ ０（）ｄ Ｂａｄ Ｇ００ｄ Ｂａｄ Ｇｏ。ｄ ４４５ ２５５ ５１８ １８２ ５０２ １９８ Ｂａｄ ６０ ２４０ ８３ ２１７ ６９ ２３１ 误分类率３６．４３％２０．００％２６．００％２７．６７％２８．２９％２３．００％ 总损失 ５５５ ５９７ ５４３ 总误分率３１．５Ｏ ２６．５Ｏ ２６．７ｏ 险准则来进行分类，可以实现对信用评估中风险的 有效控制，便于银行在个人信用评估中进行风险管 理，是信用分类问题的理想选择，在个人信用评价 领域具有广阔的应用前景。 参考文献 Ｅ１］Ｗｉｔｔｅｎ Ｉ Ｈ，Ｆｒａｎｋ Ｅ．Ｄａｔａ Ｍｉｎｉｎｇ：Ｐｒａｃｔｉｃａｌ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｔｏｏｌｓ ａｎｄ ｔｅｃｈｎｉｑｕｅｓ，２ｎｄ Ｅｄｉｔｉｏｎ１－Ｍ］．Ｍｏｒ— ｇａｎ Ｋａｕｆｍａｎｎ，Ｓａｎ Ｆｒａｎｃｉｓｃｏ，２００５ －１２］Ｅ Ｊ Ｋｅｏｇｈ，Ｍ Ｊ Ｐａｚｚａｎｉ．Ｌｅａｒｎｉｎｇ ａｕｇｍｅｎｔｅｄ Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒｓ：Ａｃｏｍｐａｒｉｓｏｎ ｏｆ ｄｉｓｔｒｉｂｕｔｉｏｎ－ｂａｓｅｄ ａｎｄ ｃｌａｓ— ｓｉｆｉｃａｔｉｏｎ－ｂａｓｅｄ ａｐｐｒｏａｃｈｅｓ１－Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ ＡＩ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ，１９９９：２２５ ～２３Ｏ －１３］Ｎ．Ｆｒｉｅｄｍａｎ，Ｄ．Ｇｅｉｇｅｒ，＾／Ｌ Ｇｏｌｄｓｚｍｉｄｔ．Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ Ｃｌａｓｓｉｆｉｅｒｓ．Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｅ Ｊ］．Ｂｏｓｔｏｎ： Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，１９９７：１３１～１６３ ［４］Ｚｈｉｈａｉ Ｗａｎｇ，Ｇ．Ｉ．ｗｅｂｂ，Ｆ Ｚｈｅｎｇ．Ａｄｊｕｓｔｉｎｇ Ｄｅ— ｐｅｎｄｅｎｃｅ Ｒｅｌａｔｉｏｎｓ ｆｏｒ Ｓｅｍｉ－Ｌａｚｙ ＴＡＮ Ｃｌａｓｓｉｆｉｅｒｓ －１Ｃ］／／Ａｄｖａｎｃｅｓ ｉｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＬＮＡＩ ２９０３． Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ：Ｓｐｒｉｎｇ－Ｖｅｒｌａｇ，２００３：４５３￣４５６ －１５］王学玲，王志海，王建林．基于有向树算法构造的ＴＡＮ 分类器［Ｊ］．计算机工程与设计，２００８，２９（１３）：３４５１～ ３４５３ －１６］Ｊａｍｅｓ Ｏ．Ｂｅｒｇｅｒ．统计决策论及贝叶斯分析［Ｍ］．贾乃 光，译．北京：中国统计出版社，１９９８ ［７］Ｒｉｃｈａｒｄ Ｏ．Ｄｕｄａ，Ｐｅｔｅｒ Ｅ．Ｈａｒｔ，Ｄａｖｉｄ Ｇ．Ｓｔｏｒｋ． Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，２ｎｄ Ｅｄｉｔｉｏｎ［Ｍ］．北京：机械工业 出版社，２００４ Ｅ８］Ｎｅｗｍａｎ Ｄ Ｊ，Ｈｅｔｔｉｃｈ Ｓ，Ｂｌａｋｅ Ｃ Ｌ，ｅｔ ａ１．ＵＣＩ Ｒｅｐｏｓ— ｉｔｏｒｙ ｏｆ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｄａｔａｂａｓｅｓ１－ｈｔｔｐ：／／、】１） ｒｗ．ｉｃｓ． ｕｃｉ．ｅｄｕ／￣ｍｌｅａｒｎ／ＭＬＲｅｐｏｓｉｔｏｒｙ．ｈｔｍｌ￣．Ｉｒｖｉｎｅ，ＣＡ： Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，１９９８
