분산 동일성에 대한 로버스트 검정¶

Levene 검정과 Brown-Forsythe 검정¶

Levene 검정(집단평균 사용)과 Brown-Forsythe 검정(집단중앙값 사용)은 여러 집단에 걸친 분산의 동일성을 평가하는 로버스트한 통계검정이다. 정규성 이탈에 매우 민감한 F 검정과 달리 비정규 자료에 더 로버스트하다. 평균 대신 중앙값을 쓰는 Brown-Forsythe 검정은 자료에 이상점이 있을 때 특히 효과적이다.

왜 \(F\) 검정을 대신할 것이 필요한지는 5.9절이 표본분포 쪽에서 진단해 두었다. 요지는 이렇다. \(S_1^2/S_2^2\)이 \(F\) 분포를 따르는 것은 정규모집단에서뿐이고, 벗어나면 어긋남의 배율이 첨도로 정해지며 표본을 키워도 줄지 않는다. 명목 5% 검정이 지수모집단에서 27%, 로그정규에서 49%를 기각한다. 이 장은 그 진단을 받아 무엇을 대신 쓸 것인가에 답한다.

아래 검정들이 통하는 까닭도 거기서 나온다. 절대편차로 바꾸는 순간 4차 적률에 매여 있던 문제가 1차 적률 문제로 내려앉아 중심극한정리의 보호를 받게 된다.

가설¶

귀무가설 (\(H_0\)): 집단들의 모분산이 모두 같다.

대립가설 (\(H_1\)): 적어도 한 집단의 분산이 다른 집단과 다르다.

이 검정들은 본질적으로 여러 집단의 분산이 동질적인지 평가한다. 귀무가설이 기각되면 적어도 한 집단의 분산이 유의하게 다르다는 뜻이다.

가정¶

1. 독립성: 관측값이 집단 안에서도 집단 사이에서도 독립이어야 한다.
2. 확률표집: 자료가 확률표본에서 나와야 한다.

이 검정들은 정규성 가정을 요구하지 않으므로 분산 비교에서 F 검정보다 로버스트하다. 다른 가정이 충족되는 한 정규성에서 벗어난 자료에도 적용할 수 있다. Brown-Forsythe 검정은 자료에 이상점이 있을 때 F 검정이나 Bartlett 검정보다 로버스트하므로 특히 유용하다.

검정통계량¶

두 검정 모두 각 관측값과 집단 중심의 절대편차를 계산하여 자료를 변환한다. 중심은 Levene 검정에서는 평균, Brown-Forsythe 검정에서는 중앙값이다. 그런 다음 절대편차로 분산분석 형태의 검정통계량을 만든다.

여기서

• \(N\)은 전체 관측값의 수,
• \(k\)는 집단의 수,
• \(n_i\)는 집단 \(i\)의 관측값 수,
• \(Z_{ij}\)는 집단 \(i\)의 \(j\)번째 관측값과 집단 중심의 절대편차,
• \(\bar{Z}_i\)는 집단 \(i\)의 절대편차 평균,
• \(\bar{Z}\)는 모든 집단에 걸친 절대편차의 전체평균이다.

절대편차는 다음과 같이 계산한다.

여기서 \(X_{ij}\)는 원래 자료값이고 \(c_i\)는 집단 평균(Levene 검정) 또는 집단 중앙값(Brown-Forsythe 검정)이다.

네 검정의 차이는 결국 같은 자료를 어떤 렌즈로 보는가의 차이다. 세 집단을 모두 \(\mathcal{N}(0,1)\)에서 \(n = 12\)씩 뽑고(참으로 \(H_0\)이 옳다) 집단 1에만 \(4.6\)이라는 이상점을 하나 심었다. 같은 36개 관측값이 네 변환을 거치면 어떻게 보이는지 나란히 놓았다.

맨 위가 원자료다. 세 집단이 서로 뒤섞여 있고 오른쪽 끝에 파란 이상점 하나가 떨어져 있다. 이 하나 때문에 집단 1의 표본분산이 \(2.931\)이 되어 집단 2의 \(1.567\), 집단 3의 \(0.837\)과 크게 벌어진다.

둘째 줄이 바틀렛의 시야다. 편차를 제곱하므로 이상점이 \(18.7\)이라는 값으로 튀어 오른다. 나머지 35개 관측값이 모두 \(0\)에서 \(5\) 사이에 몰려 있는데 점 하나가 축의 절반을 차지한다. 이 한 점이 집단 1의 로그분산을 통째로 끌어올리고, \(p = 0.1339\)로 네 검정 중 가장 작은 값이 나온다.

셋째와 넷째 줄이 레빈과 브라운–포사이드다. 제곱을 벗기자 이상점의 값이 \(4.6\)으로 내려앉아 다른 관측값들과 같은 눈금 안에 들어온다. 제곱이 일차 영향력을 이차로 바꾸던 것이 여기서 멈춘다. 두 줄의 차이는 중심을 평균으로 잡느냐 중앙값으로 잡느냐뿐이며, 이상점이 하나뿐인 이 자료에서는 \(p = 0.5407\)과 \(0.5852\)로 큰 차이가 없다.

맨 아래가 플리그너–킬린이다. 편차를 순위로 바꾼 뒤 정규점수를 매기므로 이상점의 점수가 \(2.2\), 곧 36개 중 가장 큰 값이긴 해도 두 번째로 큰 값과 별로 다르지 않다. 점들이 \(0\)에서 \(2.2\) 사이에 고르게 퍼진 모양이 그 결과다. \(p = 0.7273\)으로 가장 관대하다.

네 \(p\)값이 \(0.134\)에서 \(0.727\)까지 벌어졌다는 사실을 새겨 두라. 자료는 하나이고 귀무가설도 참이다. 달라진 것은 관측값을 수로 요약하는 방식뿐인데 결론의 강도가 다섯 배 넘게 차이 난다. 어떤 변환을 쓸지는 취향이 아니라 이상점과 비정규성이 있을 때 어느 쪽이 거짓 양성을 덜 내는가로 결정해야 하며, 이 장의 나머지가 그 질문에 답한다.

판정규칙¶

보기와 풀이¶

보기: 어떤 연구자가 서로 다른 강사에게 배운 세 집단의 시험점수 분산이 다른지 검정하려 한다. 시험점수는 다음과 같다.

• 집단 1: \(65, 70, 75, 80, 85\)
• 집단 2: \(60, 65, 70, 75, 90\)
• 집단 3: \(55, 60, 65, 70, 95\)

Brown-Forsythe 검정으로 유의수준 5%에서 분산이 같은지 검정하라.

1단계 — 가설 설정:

• \(H_0\): 세 집단의 시험점수 분산이 같다.
• \(H_1\): 적어도 한 집단의 분산이 유의하게 다르다.

2단계 — 집단중앙값으로부터의 절대편차 계산:

• 집단 1 (중앙값 = 75): \(|65-75|=10\), \(|70-75|=5\), \(|75-75|=0\), \(|80-75|=5\), \(|85-75|=10\)
• 집단 2 (중앙값 = 70): \(|60-70|=10\), \(|65-70|=5\), \(|70-70|=0\), \(|75-70|=5\), \(|90-70|=20\)
• 집단 3 (중앙값 = 65): \(|55-65|=10\), \(|60-65|=5\), \(|65-65|=0\), \(|70-65|=5\), \(|95-65|=30\)

3단계 — 절대편차의 집단평균 계산:

• 집단 1: \((10 + 5 + 0 + 5 + 10) / 5 = 6\)
• 집단 2: \((10 + 5 + 0 + 5 + 20) / 5 = 8\)
• 집단 3: \((10 + 5 + 0 + 5 + 30) / 5 = 10\)

4단계 — 검정통계량 계산:

\(N = 15\), \(k = 3\)으로 \(W\) 공식을 적용하고 자유도 \(k - 1 = 2\), \(N - k = 12\)인 F 분포와 비교한다.

5단계 — 판정:

import numpy as np
from scipy import stats

g1 = [65, 70, 75, 80, 85]
g2 = [60, 65, 70, 75, 90]
g3 = [55, 60, 65, 70, 95]

print("variances:", [round(np.var(g, ddof=1), 2) for g in (g1, g2, g3)])
# 결과는 이름있는 튜플이다. 그대로 출력하면 유효숫자가 너무 많으므로
# 통계량과 p값을 꺼내 자리수를 맞춰 찍는다.
bf = stats.levene(g1, g2, g3, center='median')
lv = stats.levene(g1, g2, g3, center='mean')
fk = stats.fligner(g1, g2, g3)
bt = stats.bartlett(g1, g2, g3)
print(f"Brown-Forsythe:  W = {bf.statistic:.4f}, p = {bf.pvalue:.4f}")
print(f"Levene (mean):   W = {lv.statistic:.4f}, p = {lv.pvalue:.4f}")
print(f"Fligner-Killeen: H = {fk.statistic:.4f}, p = {fk.pvalue:.4f}")
print(f"Bartlett:        T = {bt.statistic:.4f}, p = {bt.pvalue:.4f}")
print(f"F critical (2, 12): {stats.f.ppf(0.95, 2, 12):.4f}")

출력:

variances: [62.5, 132.5, 242.5]
Brown-Forsythe:  W = 0.2824, p = 0.7589
Levene (mean):   W = 0.5451, p = 0.5935
Fligner-Killeen: H = 0.2408, p = 0.8866
Bartlett:        T = 1.5647, p = 0.4573
F critical (2, 12): 3.8853

6단계 — 결론:

\(W = 0.2824 < 3.8853\)이므로 \(H_0\)을 기각하지 못한다. 네 검정 모두 같은 결론이다.

Fligner-Killeen 검정¶

Fligner-Killeen 검정은 여러 집단의 분산을 비교하는 비모수 검정이다. Brown-Forsythe 검정처럼 집단중앙값으로부터의 절대편차를 산포의 측도로 쓴다. 그러나 원래의 편차를 그대로 쓰는 대신 순위로 변환하고, 다시 정규점수로 바꾸어 분석한다.

가설¶

귀무가설 (\(H_0\)): 집단들의 모분산이 모두 같다.

대립가설 (\(H_1\)): 적어도 한 집단의 분산이 다른 집단과 다르다.

검정통계량¶

1단계 — 절대편차 계산:

집단 \(i\)의 각 관측값 \(X_{ij}\)에 대해 집단중앙값 \(\tilde{X}_i\)로부터의 절대편차를 계산한다.

2단계 — 절대편차의 순위 매기기:

모든 집단의 절대편차 \(Z_{ij}\)를 합쳐서 순위를 매긴다(통합 순위).

여기서 \(R_{ij}\)는 결합된 자료에서 절대편차 \(Z_{ij}\)의 순위이다.

3단계 — 정규점수로 변환:

순위를 절반정규 점수로 바꾼다.

이 단계가 결정적이다. 순위를 그대로 쓰면 점수의 척도가 \(N\)에 의존하고, 아래 통계량이 카이제곱분포를 따르지 않는다.

4단계 — 검정통계량 계산:

여기서

• \(k\)는 집단의 수,
• \(n_i\)는 집단 \(i\)의 관측값 수,
• \(\bar{a}_i\)는 집단 \(i\)의 정규점수 평균,

• \(\bar{a}\)는 전체 정규점수 평균,

• \(V\)는 정규점수 전체의 분산이다.

\(N = \sum_{i=1}^k n_i\)는 전체 관측값의 수이다.

이 공식은 집단별 정규점수 평균 \(\bar{a}_i\)가 전체평균 \(\bar{a}\)에서 얼마나 벗어나는지를 집단 크기로 가중하여 재고, 점수 전체의 분산 \(V\)로 표준화한다.

5단계 — 분포 결정:

검정통계량은 자유도 \(k - 1\)인 카이제곱분포를 점근적으로 따른다.

가정¶

1. 독립성: 관측값이 집단 안에서도 집단 사이에서도 독립이어야 한다.
2. 확률표집: 자료가 확률표본에서 나와야 한다.

판정규칙¶

연습문제¶

import numpy as np
from scipy import stats

# 원자료: 퍼짐이 집단마다 관측값 하나에 몰려 있다
orig = ([65, 70, 75, 80, 85], [60, 65, 70, 75, 90], [55, 60, 65, 70, 95])

# 다시 짠 자료: 분산비는 같되 퍼짐이 고르게 나뉘어 있다
# 표준편차의 비는 1 : sqrt(2.12) : sqrt(3.88) 로, 분산 62.5 : 132.5 : 242.5 에 해당한다
base = np.array([-2, -1, 0, 1, 2])
new = tuple((75 + base * s).tolist()
            for s in (np.sqrt(62.5 / 2.5), np.sqrt(132.5 / 2.5),
                      np.sqrt(242.5 / 2.5)))

for label, groups in [("original", orig), ("restructured", new)]:
    v = [round(np.var(g, ddof=1), 1) for g in groups]
    p_bf = stats.levene(*groups, center='median')[1]
    print(f"{label:>14}: vars = {v}, Brown-Forsythe p = {p_bf:.4f}")

      original: vars = [62.5, 132.5, 242.5], Brown-Forsythe p = 0.7589
  restructured: vars = [62.5, 132.5, 242.5], Brown-Forsythe p = 0.3840

정리하며¶

레빈과 브라운–포사이드를 함께 정리했다.

• 둘은 같은 검정의 두 판본이다. 절대편차의 중심을 평균으로 잡으면 레빈, 중앙값으로 잡으면 브라운–포사이드다.
• \(H_0\) 은 모든 집단의 분산이 같다는 것이고, 변환 후 일원배치 분산분석을 수행한다.
• 이상치가 있으면 중앙값 판본이 뚜렷이 낫다. 평균이 이상치에 끌리면 그 집단의 절대편차가 왜곡되기 때문이다.
• 등분산 확인의 표준 도구로 쓰이며, 11장 분산분석과 9장 합동 \(t\) 검정의 가정 확인이 주된 용도다.
• 다만 사전 검정의 함정을 기억한다. 검정 결과로 후속 방법을 고르면 전체 오류율이 왜곡된다.

다음 절 Levene 검정 (코드) 로 넘어간다.