-
tinyxml指南下的箱型图分析[中文版]
资源介绍
(2) 缺失值的影响
1) 数据挖掘建模将丢失大量的有用信息。
2) 数据挖掘模型所表现出的不确定性更加显著,模型中蕴涵的规律更难把握。
3) 包含空值的数据会使建模过程陷入混乱,导致不可靠的输出。
(3) 缺失值的分析
使用简单的统计分析,可以得到含有缺失值的属性的个数,以及每个属性的未缺失数、
缺失数与缺失率等。
缺失值的处理,从总体上来说分为删除存在缺失值的记录、对可能值进行插补和不处理
三种情况,将在下一章详细介绍。
6.1.2 异常值分析
异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是
十分危险的,不加剔除地把异常值包括进数据的计算分析过程中,对结果会带来不良影响;
重视异常值的出现,分析其产生的原因,常常成为发现问题进而改进决策的契机。
异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称为离群点,异
常值的分析也称为离群点分析。
(1) 简单统计量分析
可以先对变量做一个描述性统计,进而查看哪些数据是不合理的。最常用的统计量是最
大值和最小值,用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为
199 岁,则该变量的取值存在异常。
(2) 3 原则
如果数据服从正态分布,在3 原则下,异常值被定义为一组测定值中与平均值的偏差
超过三倍标准差的值。在正态分布的假设下,距离平均值3 之外的值出现的概率为
(| | 3 ) 0.003P x ,属于极个别的小概率事件。
如果数据不服从正态分布,也可以用远离平均值的多少倍标准差来描述。
(3) 箱型图分析
- 上一篇: 单位不统一-tinyxml指南[中文]
- 下一篇: 选择属性参数设置-tinyxml指南[中文]