题目

如何判断和处理离群值?

如何判断和处理离群值?

题目解答

答案

离群值一般通过频数分布表或直方图进行初步判断，若连续几个组段的频数均为0，之后出现特别大或小的数据，这样的数据往往是离群值；进-步可利用箱式图判断，若观测值距箱式图底线或顶线的距离大于或等于1.5倍四分位数间距，则可视为离群值；还可通过统计检验的方法，或结合其他变量信息进行判断。当出现离群值时，应慎重，应将专业知识和统计学方法结合起来，了解造成偏离的原因。若因为测量或记录过程中出现错误而产生，则应予以剔除；若无明确的理由剔除离群值，则可分别对资料进行离群值删除前后统计分析比较。若删除前后分析结果矛盾，则需要谨慎；必要时，也可采取稳健分析方法以降低离群值的影响。

解析

考查要点：本题主要考查离群值的判断方法及处理原则，涉及统计学中的数据清洗与分析基础。
核心思路：

  1. 判断离群值需结合图形法（频数分布、箱式图）、统计检验及领域知识；
  2. 处理离群值需权衡数据特性与分析目标，避免主观随意剔除。
    关键点：
  • 箱式图中离群值的判定标准（1.5倍四分位距）；
  • 处理原则的灵活性与严谨性平衡（错误数据剔除 vs 保留分析）。

判断离群值的方法

  1. 图形法

    • 频数分布表/直方图：若连续组段频数为0，后续出现异常数据，可能是离群值。
    • 箱式图：计算四分位数间距（IQR = Q₃ - Q₁），若数据点满足：
      $\text{数据 < Q₁ - 1.5 \times IQR} \quad \text{或} \quad \text{数据 > Q₃ + 1.5 \times IQR}$
      则判定为离群值。

  2. 统计检验法

    • 使用Grubbs检验、Dixon检验等方法，基于假设检验判断离群值是否存在。

  3. 领域知识结合

    • 结合数据背景（如物理量范围、业务逻辑）判断数据合理性。

处理离群值的原则

  1. 剔除条件：若为测量/记录错误，直接剔除。
  2. 保留分析：若无明确错误，需：
    • 保留离群值，进行带离群值的分析；
    • 剔除离群值，进行去离群值的分析；
    • 对比两种分析结果，若矛盾则需谨慎解释。
  3. 稳健分析：采用鲁棒方法（如中位数、分位数回归）降低离群值影响。