第１０卷第１期 ２０１２年２月 实验科学与技术 Ｅｘｐｅｒｉｍｅｎｔ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ＶＤＪ．１Ｏ Ｎｏ．１ Ｆｅｂ．２０１２ 利用Ｏｒｉｇｉｎ对数据异常值的剔除方法进行比较 张（华南师范大学璇，程敏熙，肖凤平 物理与电信工程学院，广州５１０００６） 摘要：介绍了采用拉依达准则、肖维勒准则、格拉布斯准则以及狄拉克准则４种剔除异常数据的方法，简述了各准则的数 理统计原理、处理步骤，并借助Ｏｒｉｇｉｎ软件对处理某次盐液体电导率实验的数据，对比了各准则剔除异常值后的处理结果 指出在大样本情况下较适合用拉依达准则，而肖维勒准则和狄拉克准则适用于样本容量较小的情况，格拉布斯准则则适 ．用性和剔除结果较为普遍。 关键词：Ｏｒｉｇｉｎ软件；异常值；拉依达准则；肖维勒准则；格拉布斯准则；狄克逊准则 中图分类号：ＴＰ３７；０４～３３；Ｇ６４２．４２３ 文献标志码：Ａ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２—４５５０．２０１２．０１．０２４ Ｏｒｉｇｉｎ Ｕｓｅｄ ｉｎ Ｃｏｍｐａｒｉｓｏｎ ｔｈｅ Ｍｅｔｈｏｄｓ ｏｆ Ｅｌｉｍｉｎａｔｉｎｇ ｔｈｅ Ｅｘｃｒｅｓｃｅｎｔ Ｄａｔａ ＺＨＡＮＧ Ｘｕａｎ，ＣＨＥＮＧ Ｍｉｎ－ｘｉ，ＸＩＡＯ Ｆｅｎｇ－ｐｉｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｐｈｙｓｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｏｕｔｈ Ｃｈｉｎａ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ ５ １０００６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｕｒ ｃｒｉｔｅｒｉｏｎｓ ａｒｅ ｉｎｔｒｏｄｕｃｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ ｔｏ ｅｌｉｍｉｎａｔｅ ａｎｄ ｄｉｓｔｉｎｇｕｉｓｈ ｔｈｅ ａｂｎｏｒｍａｌ ｖａｌｕｅｓ，ｔｈｅｙ ａｒｅ ＰａｕＴ ａ，Ｃｈａｕｖ—ｅｎｅｔ， Ｇｒｕｂｂｓ，ａｎｄ Ｄｉｘｏｎ．Ｔｈｅｉｒ ｍａｔｈｅｍａｔｉｃ ｓｔａｔｉｓｔｉｃｓ ｐｒｉｎｃｉｐｌｅｓ ａｎｄ ｃｏｎｃｏｒｄａｎｃｅｓ ｒｅａ ａｌｓｏ ｒｅｓｕｍｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｏｒｉｉｇｎ ｓｏｆｔｗａｒｅ ａｒｅ ｕｓｅｄ ｔｏ ｄｅａｌ ｗｉｔｈ ｅｘｐｅｒｉｍｅｎｔｌ ｄａｔａａ ｏｆ ｃｏｎｄｕｃｔｉｖｉｔｙ ｏｆ ｓｏｌｕｔｉｏｎ ａｎｄ ｔＯ ｃｏｍｐａｒｅ ｔｈｅ ｐｒｏｃｅｓｓｉｎｇ ｒｅｓｕｌｔｓ．Ｉｔ ｐｏｉｎｔｅｄ ｏｕｔ ｔｈａｔ ＰａｕＴ ａ ａｎｄ Ｃｈａｕｖ—ｅｎｅｔ ａｒｅ ｓｕｉｔａｂｌｅ ｆｏｒ ｌａｒｇｅ ｓａｍｐｌｅ ａｎｄ Ｇｒｕｂｂｓ，Ｄｉｘｏｎ ｉｓ ｓｕｉｔａｂｌｅ ｆｏｒ ｓｍａｌｌ ｓａｍｐｌｅ．Ｔｈｅ Ｇｒｕｂｂｓ ｃｒｉｔｅｒｉｏｎ ｉｓ ｉｎ ｃｏｍｍｏｎ ｕｓｅ． Ｋｅｙ ｗｏｒｄｓ：Ｏｒｉｇｉｎ ｓｏｆｔｗａｒｅ；ａｂｎｏｒｍａｌ ｖａｌｕｅ；ＰａｕＴ ａ；Ｃｈａｕｖ－ｅｎｅｔ；Ｇｒｕｂｂｓ；Ｄｉｘｏｎ 在处理实验数据时，如果其中混杂着若干异常 值，可能导致整个实验的可靠性降低，甚至实验结 Ｕｏ／Ｕｉ＝Ｌ／ＫＳＲ＝Ｂ／Ｒ （３） 式（３）中：Ｂ＝（ 如图ｌ所示。 ０．９ Ｏ・８ ），代人式（２），得 ＝（ ） 论的错误。若异常值是由于客观外界条件变动，测 量人员操作、记录错误以及仪器故障等方面得出则 考虑删除。对于还不能确定的异常数据，常采取增 加测量次数消除误差，如果仍无法判断其测量结果 中被怀疑含有的可疑误差，则需要根据数理统计原 理，采取一些剔除准则消除异常值 。 ｕ￣／ｖ，，把实验数据代入式ｕｏ／ｕ，＝Ｂ／Ｒ得到的关系 ０－７ ｏ，６ ０．５ １ 盐溶液电导率实验 本文以某次盐溶液电导率实验的测量为例，在 定的输人电压 范围内，并且液体的电导率ｏｒ ｏｒ＝Ｋ（Ｕ。／Ｕ。） 电压。 ０・４ Ｏ－３ ０．２ ０．１ 一处于一定范围内时， 与 ／ 成正比关系： （１） １／Ｒ 式中， 为比例系数；Ｕ 是输出电压；Ｕ；是输入 液体柱电阻为：Ｒ＝Ｌ／ｏｒＳ， ＝Ｌ／ＲＳ 比较式（１）和式（２）可得到： 收稿日期：２０１Ｉ一０３—０４；修订日期：２０１ｌ一０５—０４ 图１原始实验数据图 （２） 可以看到１／Ｒ：１．２５和１．６时，曲线趋势骤 式中， 为液体柱的长度；Ｓ为液体柱的截面积。 变，不符合公式推导的正相关趋向。但从仪器和实 验操作上无法排除，因此采取统计判别法。 在Ｏｒｉｇｉｎ中新建表Ｄａｔａｌ，列ｕ存放（Ｕ ／Ｕ．） 值；列ｒ存放（１／Ｒ）值，通过拟合工具得到图２。 作者简介：张璇（１９８７一），女，在读研究生，主要从事 拟合参数如表１所示，Ａ为截距，日为斜率，ＳＤ 为贝塞尔公式求得的标准差。 物理教育和物理实验设计研究。 第１０卷第１期 张璇，等：利用Ｏｒｉｏｎ对数据异常值的剔除方法进行比较 ・７５・ 大可疑误差，予以剔除 Ｊ。 在Ｄａｔａｌ中新增一列名为Ｃｏｎｔｒａｓｔｌ，该列为 Ｉ ｌ＝３０－与３０－的对比结果。根据３０－检验准则， 在Ｌａｂ Ｔａｌｋ程序窗口输入命令：Ｄａｔａｌ—Ｃｏｎｔｒａｓｔｌ ＝ａｂｓ（Ｄａｔａｌ—Ｖｄ）一３ ０．１０７ ９８；得至０ Ｃｏｎｔｒａｓｔｌ ０ ２ ４ １，Ｒ 图２原始数据线性拟合图 表１拟合参数表 在Ｌａｂ Ｔａｌｋ程序窗口，输人如下命令，对数据 集直接运算求出残差列 ： ＤａｔａｌＶｄ：０．１５２３５＋Ｄａｔａｌ——ｒ ０．２００３４一 Ｄａｔａｌ—ｕ；结果如表２所示。 表２ Ｏｒｉｇｉｎ数据列表 以下分别采取不同的判据剔除异常值。 ２拉依达检验 拉依达准则又称为３０＂准则： ＾√／ ｎ一１ ：＋／一 堑 ／＇ｔ一１ 为贝塞尔公式计算的标准差。根据正态分布理论， Ｉ ｌ≤３ 的概率约为９９．７ ，因此，在有限次 的测量中，某次观测的误差大于３ｏ＂时，该值有较 列的如表３所示。 表３ Ｏｒｉｇｉｎ数据列表 可以看到Ｃｏｎｔｒａｓｔｌ均小于０，即Ｊ Ｉ＜３０－， 没有需要剔除的异常数据。由表１，直线斜率Ｂ＝ ０．２００ ３４±０．０３９ ４５，相关系数Ｒ＝０．８４８ ８６；可 知（Ｕ ／Ｕｉ）与１／Ｒ线性关系一般。 当测量次数较少时，不宜用拉依达准则，特别 的当ｎ≤１０则完全不能使用拉依达准则剔除粗差。 但对于大样本情形（如：ｎ＞１８５），用３ｏ－准则作为 粗判别判据使用最简单方便…。 ３肖维勒准则 】 在ｎ次测量中，取不可能发生的数据个数为 １／２，这可以和舍人误差中的０．５相联系，那么对 正态分布而言，误差不可能出现的概率为 １ ｒ一 ， ２， 、， １ 卜 Ｊ Ｐ卜 ２一ｎ 由标准正态函数的定义，则有： （∞ ） Ｉ（ 一 １）＋０・５＝ｌ一 １ 利用标准正态函数表，根据等式右端的已知值 可求出肖维勒系数 。对于数据点 ，若其残差 满足Ｖｄ＞∞ ０－则剔除 Ｊ。查肖维勒系数表可 得，当ｒｔ为１２时， 为２．０３。在Ｄａｔａｌ中增加一 列，命名为Ｃｏｎｔｒａｓｔ２，该列为ｌ ｌ与 ０－的对 比结果即ｌ Ｉ一 ０－。在Ｌａｂ Ｔａｌｋ程序窗口输人 ・７６・ 实验科学与技术 ２０１２年２月 命令：Ｄａｔａｌ—Ｃｏｎｔｒａｓｔ２＝ａｂｓ（Ｄａｔａｌ—Ｖｄ）一２．０３｝ ０．１０７９８；剔除异常值如表４所示。 表４ 肖维勒准则剔除异常值表 Ｏ 图３剔除异常值后二次拟合图 在Ｃｏｎｔｒａｓｔ２列中，第３、７点为正值，即所以 应剔除。拟合参数如表５所示。 表５二次拟合后参数表 由表５知，直线斜率Ｂ＝０．２１０ ４７±０．００８ ８， 相关系数Ｒ＝０．９９３ ０８；可知（Ｕｏ／Ｕｉ）与１／Ｒ线性 关系很好，所以Ｂ值有应用意义。可以看出使用 肖维勒准则较为严格，剔除结果也较明显，对于测 量次数不是很多（如：凡＜１８５）的情况常采用此准 则。但在肖维勒系数表中当ｎ一∞，ｃｃ， 一∞时，则 所有数据均剔除不了，因此对于测量次数较多的情 况此准则不适用。 ４格拉布斯准则 Ｊ 若测量值 对应的残差 满足ｌ ｌ＝Ｉ Ｏ ０ Ｏ Ｏ ｌ＾， ０ ０ ０ ０ ０ ９ ８ ７ ６ ５ ４ ３ ２ １ 一 Ｉ＞ｇ。 ，则该值将舍去。式中ｇ。是一个取决 于测量次数ｎ和显著水平 的系数。当ｎ＝１２取 ＝０．０５，查格拉布斯准则表得ｇ 值为２．２８５。在 Ｄａｔａｌ新增一列名为Ｃｏｎｔｒａｓｔ３，该列为Ｉ Ｉ的对 比结果即Ｉ Ｉ—ｇ０ｏｒ。在ｌａｂ ｔａｌｋ窗口输入：Ｄａ— ｔａｌ—Ｃｏｎｔｒａｓｔｌ＝ａｂｓ（Ｄａｔａ１一Ｖｄ）一２．２８５％ ０．１０７９８；得到对比Ｃｏｎｔｒａｓｔ３列的值，结果第３个 数据ｌ Ｉ的值大于ｇ。 ，故需剔除，如表６所示。 表６格拉布斯准则剔除异常值表 ０．９ ０．８ ０・７ ０．６ ０．５ ０．４ ０．３ ０．２ Ｏ．１ ４ 图４剔除异常值后二次拟合图 第２次拟合参数如表７所示。 表７二次拟合后参数 由表７知，直线斜率Ｂ＝０．１９０ ９８±０．０２７ １７， 相关系数Ｒ＝０．９１９ ７６；可知（Ｕｏ／Ｕｉ）与１／Ｒ线性 关系较好，所以Ｂ值有应用意义。相比前两个检 验准则格拉布斯临界系数较为适中，弥补了拉伊达 （下转第１１８页） ・１ ｌ８・ 实验科学与技术 ２０１２年２月 解释此问题，可以举个例子：Ａ和Ｂ两人要赛跑， 析课程效果的探索［Ｊ］．中国教育发展研究杂志， 假设他们的场地环境不同，如一人在室内、另外一 ２０１０，７（８—９）：１０７—１０９． 人在室外跑，则很难判定其快慢。如存在第３个人 ［２］闫淑莲，何深知，段薇，等．仪器分析实验课教学中 ｓ，它分别与Ａ人和Ｂ人赛跑，分别求出Ａ人和Ｓ 存在的问题及改进方法分析［Ｊ］．首都医科大学学报： 人以及Ｂ人和ｓ人的速度比值，再把２个比值比较 社科版，２００８：１０３—１０４． 就可以判定以上２人赛跑速度的快慢。此法在一定 ［３］刘昭第，徐华杰，盛良全．仪器分析实验教学改革探 索［Ｊ］．实验科学与技术，２０１０，８（５）：８６—８８． 程度上消除了环境的影响因素。这种思想同样适用 ［４］吴纯，张列林，许晓娥．设计性实验教学法的探索 于相对定量校正因子上。 ［Ｊ］．实验室研究与探索，２００５，２４（４）：７４—７５． 本实验采用板书、计算机多媒体和实物相结合 ［５］朱明华．仪器分析［Ｍ］．３版．北京：高等教育出版 的方法，效果非常明显，通过约一个小时的讲解， 社，２０００：１—１０１． 可以把整个色谱法理论和实验讲透，即使还没有学 ［６］仪器分析实验编写组．仪器分析实验［Ｍ］．上海：复 过色谱法的人也能完全理解和牢固的掌握。 旦大学出版社，１９８７：２１３—２４５． ［７］尤努斯江・吐拉洪，肖开提・阿布力孜．提高气相色 参考文献 谱实验教学效果的探索［Ｊ］．实验室科学，２０１０，１３ （３）：２８—２９． ［１］尤努斯江・吐拉洪，彭秧．提高民族学生学习仪器分 ，ｌ： （上接第７６页） 准则的统计临界系数相对比较大不易及时发现异常 ６结束语 数据，而肖维勒准则易剔除仅含有较大正常误差的 除以上准则外，还有ｔ一检验准则 、罗曼诺夫 测量值，因此用于一般实验数据的处理较为普遍， 斯基准则 等。通过以上对比可以看到，虽然所有准 处理结果也较为理想 。 则都以数据按照正态分布为前提，但由于各准则的适 ５狄克逊准则 用性不同，在数据剔除时会得出不同结论，因此采取 哪种检验准则要依据实验要求、测量次数来综合衡 把数据样本 。， ，…， ，按从大到小顺序 量。本文主要探讨的是偶然误差的检验与剔除，为了 排列为 。， ，…， ，采取极差比的方法简化 完整的达到实验要求，还需要注意实验过程的系统误 计算公式，对于不同的测量次数采用不同的极差比 差，包括实验方法，测量手段等，从根源上遏制，从 公式，这里 ＝１２，因此构造统计量 过程上防范从而使实验尽可能完善。 Ｆ２１ 了 ： 兰孚，’ ， ：÷ ■ 一 ：１１ １３参考文献 若ｒ ｆ＞ｒ ｒ ＞Ｄ（ ，ｎ），则 为异常值。 ［１］熊万杰，黄振中．用Ｏｒｉｇｉｎ软件处理物理实验数据 若 ＜ｒ ｒ ＞Ｄ（ ，凡），则判断 为异常 ［Ｊ］．大学物理实验，２００４（１７）：６５—６７． 值。 ［２］张敏，袁辉．拉依达（ＰａｕＴａ）准则与异常值剔除［Ｊ］． 将Ｖｄ歹０从大至０／Ｊ、｛ｊＦ歹０ ：， ， 。，…， 郑州工业大学学报，１９９７（１）：８５—８８． 依次为，０．２２４ ４７，０．０２６ ９８，０．０２５ ２２，０．０２１ ［３］肖明耀．误差理论与应用［Ｍ］．北京：计量出版社． ，６２，０．０１７ ０４，０．０１１ ６２，０．Ｏ１１ ３１，一０．０１０ ３４， １９８５． ［４］邓勃．异常值的检验与处理方法［Ｊ］．中国石油和化工 一０．０１１ ６８，一０．０２８ ０４，一０．０４０ ９８，一０．２４７ ２。 标准与质量，１９８２（２）：６—２２． ｒ： ２１＝ 一 ，≥ ．－～ ，≥－ １ 一＝ ０ ＿－．２６ ５ ４５＝一０ｕ．’ ７５Ｊ０ｕ ６ｕｌ‘ ２，’ ［５］刘建，刘文金．应用格罗布斯准则判定测量结果中的 粗大误差［Ｊ］．设计与研究，２００６（２）：２０—２１． ｒｔ２１＝ 一 ， ÷ －１＿一 ≥， １＝一 ０Ｑ ．２ ７ ４—２ １＝一０ｕ．’ ７９９ ３Ｊ５一 １ ［６］王文周．未知 ，ｔ检验法剔除异常值最好［Ｊ］．四川 工业学院学报，２０００（３）：８５—８６． ｒ ２１＞ｒ２】，查表得Ｄ（０．０５，１２）＝０．５４６，ｒ ２１＞Ｄ， ［７］雷洪．粗差判别方法的比较与讨论［Ｊ］．石油仪器， 则判断 ，为异常值，应剔除。剔除后数据同格布 １９９７（１１）：５４—５６． 拉斯准则，适用次数较少时，可一次性剔除多个异 ［８］邵婷婷，张水利，张永波．两种剔除异常数据的方法 常值。 比较［Ｊ］．现代电子技术，２００８（２４）：１４８—１４９．
