t 검정과 분산분석에서의 정규성¶
1. 가정이 들어오는 지점¶
들어가는 이야기 — 집단별로는 통과하고 합치면 기각된다
평균이 \(4\), \(9\), \(14\) 이고 표준편차가 모두 \(1.4\) 인 정규분포에서 집단당 \(60\) 개씩 뽑은 자료가 있다. 집단별로 샤피로–윌크를 돌리면 \(p\) 가 \(0.97\), \(0.41\), \(0.46\) 으로 아무 문제가 없는데, 세 집단을 합쳐 놓고 같은 검정을 걸면 \(p = 1.2 \times 10^{-5}\) 로 정규성(normality)이 기각된다. 가정을 하나도 어기지 않은 자료가 그렇다.
그러면 확인은 어디에 걸어야 하는가. 집단 안이다 — 더 정확히는 집단평균을 뺀 잔차다. 그런데 집단별로 따로 세 번 검정하는 것도 좋은 길이 아니다. 아래 그림의 설계(세 집단, 집단당 \(30\) 개)라면 자료를 \(30\) 개씩 쪼개 쓰면서 수준마저 \(0.05/3 = 0.0167\) 로 낮춰야 하니 남는 검정력이 거의 없다. 잔차를 한데 모으면 \(n = 90\) 을 다 쓰고 수준도 \(0.05\) 를 그대로 쓴다.
어긋났을 때 어느 쪽으로 틀어지는지는 가정의 모양이 아니라 설계가 정한다. 균형 설계 \((20, 20)\) 에서는 두 표본을 맞바꾸는 것만으로 귀무분포가 \(0\) 에 정확히 대칭이 되므로, 왜도(skewness)를 \(1\) 에서 \(31\) 로 올려도 실제 수준이 \(0.0483\) 에서 \(0.0284\) 로 내려간다. 흔히 적히는 「명목 \(0.05\) 에 실제 \(0.06\)–\(0.08\)」 은 불균형 설계의 이야기이고, \((5, 20, 35)\) 에서는 \(0.0586\) 까지 오른다.
그러면 두 검정이 요구하는 정규성은 서로 무엇이 다르며, 확인은 어디에 걸고 결과는 어떻게 읽어야 하는가. 그리고 불균형과 이분산이 함께 올 때 수준은 어디까지 가는가. 이 쪽이 가정이 들어오는 지점을 절차마다 짚고 \(\S 6\) 에서 그 경계를 수로 적는다.
확인을 어디에 거는가가 검정력을 가른다. 집단별로 세 번 거는 길은 자료를 집단당 \(30\) 개씩 쪼개 쓰면서 수준마저 \(0.05/3 = 0.0167\) 로 낮춰야 하고, 잔차를 한데 모으는 길은 \(n = 90\) 을 다 쓰면서 수준도 \(0.05\) 를 그대로 쓴다. 그 값이 자유도 \(5\) 인 꼬리에서 \(0.504\) 대 \(0.426\), 자유도 \(3\) 에서 \(0.830\) 대 \(0.743\) 이다. 이탈이 클수록 벌어지는 폭도 커진다. 세 집단으로 갈린 자료에 합친 채로 검정을 거는 것이 왜 안 되는지는 \(\S 2\) 가, 거는 자리를 잔차로 옮긴 뒤 남는 설계 문제는 \(\S 6\) 이 다룬다. 반복은 자리마다 \(20{,}000\) 회다.
\(t\) 검정과 분산분석(analysis of variance) 모두 정규성을 요구하지만 가정의 정확한 형태는 둘이 다르다. \(t\) 검정에서는 바탕 모집단(들)이 정규분포를 따른다고 가정한다. 분산분석에서는 각 집단 안의 관측값이 정규 모집단에서 뽑혔다고 가정한다. 두 경우 모두 정규성 가정이 검정통계량(test statistic)의 표집분포(sampling distribution)가 정확히 \(t\) 분포·\(F\) 분포가 되도록 보장하여 \(p\) 값과 임계값이 정확해진다.
그런데 정규성이 어긋날 때 어느 쪽으로 틀어지는지는 가정의 모양만으로 정해지지 않는다. \(\S 6\) 의 상자가 그것을 수로 보인다 — 균형 설계에서는 두 표본을 맞바꾸는 것만으로 귀무분포가 \(0\) 에 정확히 대칭이 되므로, 왜도가 수준을 부풀리는 것이 아니라 보수적으로 만든다. 그 보호가 사라지는 것은 불균형일 때다.
2. 일표본 t 검정¶
평균 \(\mu\), 분산 \(\sigma^2\)인 모집단에서 뽑은 표본 \(X_1, X_2, \ldots, X_n\)에 대해 일표본 \(t\) 검정은 다음을 가정한다.
이 가정 아래에서 검정통계량
는 자유도 \(n - 1\)의 \(t\) 분포를 정확히 따른다. \(X_i\)의 정규성이 두 성질을 동시에 보장한다. \(\bar{X}\)가 정규분포를 따른다는 것과, \(\bar{X}\)와 \(S^2\)이 독립이라는 것이다. \(t\) 분포가 성립하려면 둘 다 필요하다.
3. 이표본 t 검정¶
독립인 이표본 \(t\) 검정은 두 모집단의 정규성을 가정한다.
분산이 같으면 스튜던트 \(t\) 통계량이 자유도 \(n_1 + n_2 - 2\)의 \(t\) 분포를 따른다. 웰치 \(t\) 검정은 등분산 가정을 완화하지만, 근사 자유도가 타당하려면 여전히 각 집단의 정규성이 필요하다.
4. 일원배치 분산분석¶
집단이 \(k\)개인 일원배치 분산분석(one-way analysis of variance)의 모형은
\(i = 1, \ldots, k\)이고 \(j = 1, \ldots, n_i\)이다. 정규성 가정은 오차항(error term) \(\varepsilon_{ij}\)에 적용되며, 이는 각 집단 안의 관측값이 집단 평균 주위에서 정규분포를 따른다고 가정하는 것과 같다. \(F\) 통계량
는 \(H_0\)과 정규성 가정 아래에서 자유도 \(k - 1\)과 \(N - k\)의 \(F\) 분포를 따른다.
5. 실무에서의 정규성 확인¶
t 검정의 경우¶
\(t\) 검정은 원자료(또는 각 집단의 자료)의 정규성을 가정하므로 확인도 표본값에 직접 적용해야 한다.
- 표본값의 정규분위수에 대한 Q-Q 그림.
- 표본값에 대한 샤피로–윌크 검정.
- 대칭성과 꼬리 거동을 눈으로 평가하는 히스토그램.
분산분석의 경우¶
분산분석에서 정규성은 잔차 \(\hat{\varepsilon}_{ij} = X_{ij} - \bar{X}_{i\cdot}\)에 대한 가정이다. 여기서 \(\bar{X}_{i\cdot}\)는 집단 평균이다. 진단 절차는
- 각 관측값에서 집단 평균을 빼서 잔차를 계산한다.
- 합쳐진 잔차의 정규분위수에 대한 Q-Q 그림.
- 합쳐진 잔차에 대한 샤피로–윌크 검정.
원자료가 아니라 잔차를 확인하는 것이 중요하다. 모든 집단이 정규여도 원자료는 (평균이 다른) \(k\)개 분포의 혼합이기 때문이다.
분산분석에서는 원자료가 아니라 잔차를 확인하라
집단 평균이 크게 다르면 각 집단이 완벽하게 정규여도 합친 원자료는 (다봉으로 보이는 등) 정규가 아닌 것처럼 보일 수 있다. 언제나 잔차를 확인하라. 잔차는 집단 평균의 차이를 제거하여 분포 가정만 분리해 준다.
봉우리가 셋인데 각 집단은 완벽한 정규다¶
아래 자료는 평균이 \(4\), \(9\), \(14\)이고 표준편차가 모두 \(1.4\)인 정규분포에서 집단당 60개씩 뽑은 것이다. 세 모집단 모두 정확히 정규이고 분산도 같으므로 분산분석의 가정을 하나도 어기지 않았다. 집단별로 샤피로–윌크를 돌려도 각각 \(p = 0.97\), \(0.41\), \(0.46\)으로 아무 문제가 없다.

그런데 왼쪽 칸처럼 세 집단을 합쳐 놓으면 봉우리가 셋인 분포가 된다. 여기에 샤피로–윌크를 걸면 \(p = 1.2 \times 10^{-5}\)로 정규성을 기각한다. 자료 자체에는 아무 잘못이 없는데 검정만 보고 "정규성 위배"라고 적게 되는 것이다. 흔히 저지르는 실수이며, 집단 평균의 차이가 클수록 — 다시 말해 분산분석이 기각할 가능성이 높을수록 — 이 착시도 심해진다는 점이 특히 고약하다.
오른쪽 칸은 각 관측값에서 제 집단의 평균을 뺀 잔차 \(\hat\varepsilon_{ij} = X_{ij} - \bar{X}_{i\cdot}\)이다. 세 봉우리가 원점 하나로 포개지고 샤피로–윌크 \(p = 0.65\)로 정규성과 잘 맞는다. 빨간 정규밀도 곡선과도 잘 겹친다. 모형이 가정한 것이 정확히 이 \(\varepsilon_{ij}\)였으므로, 확인해야 할 대상도 이것이다.
한 가지 덧붙일 것이 있다. 왼쪽의 \(p = 1.2 \times 10^{-5}\)는 봉우리가 눈으로도 뚜렷이 셋인 것치고는 그리 작지 않다. 샤피로–윌크를 포함한 대부분의 정규성 검정이 다봉성에 특별히 강하지 않기 때문이다. 그래서 잔차를 쓰는 습관과 함께 히스토그램을 한 번 그려 보는 습관이 필요하다. 만약 잔차의 히스토그램에서도 봉우리가 둘 이상 보인다면, 그것은 정규성 문제가 아니라 모형에 넣지 않은 집단 변수가 남아 있다는 신호일 가능성이 높다.
정규성은 통과했는데 t 검정이 기각하지 못한다¶
보기 1. 정규성은 통과했는데 \(t\) 검정이 기각하지 못한다. \(\mathcal{N}(0,1)\)과 \(\mathcal{N}(0.5,1)\)에서 각각 50개를 뽑아, 두 집단의 정규성을 확인한 뒤 이표본 \(t\) 검정을 수행한다.
(1) 두 집단의 샤피로–윌크 \(p\) 값과 \(t\) 검정의 \(p\) 값을 구하시오. 참 평균차가 \(0.5\)인데도 5% 수준에서 기각하지 못한다. 이 설계의 이론 검정력을 비중심 \(t\) 분포로 계산해 그것이 뜻밖의 일이 아님을 보이시오. 검정력 80%를 얻으려면 집단당 몇 개가 필요한가.
(2) 이 코드는 정규성 검정의 결과에 따라 \(t\) 검정과 비모수(nonparametric) 검정 가운데 하나를 고른다. 널리 쓰이는 관행이지만 무엇이 문제인가.
풀이
(1) 먼저 코드를 그대로 돌린다.
import numpy as np
from scipy.stats import ttest_ind, shapiro
np.random.seed(0)
# 두 집단 모두 실제로 정규분포에서 나왔다.
group1 = np.random.normal(0, 1, 50)
group2 = np.random.normal(0.5, 1, 50)
# 집단마다 따로 검정한다. t 검정이 요구하는 것은 각 집단의 정규성이다.
_, p_value_group1 = shapiro(group1)
_, p_value_group2 = shapiro(group2)
# 검정 결과에 따라 다음 절차를 고르는 흐름이다. 다만 이렇게 자료를 보고
# 검정을 고르면 실제 유의수준이 명목수준에서 벗어난다는 점은 알고 있어야 한다.
if p_value_group1 > 0.05 and p_value_group2 > 0.05:
stat, p_value = ttest_ind(group1, group2)
print(f"Two-sample t-test: p-value={p_value}")
else:
print("One or both groups fail the normality test. Consider using a non-parametric alternative.")
출력:
Two-sample t-test: p-value=0.09856078338184512
두 집단의 샤피로–윌크 \(p\) 값은 각각 \(0.877\)과 \(0.837\)로 정규성 확인을 가뿐히 통과하고, 이어진 \(t\) 검정의 \(p\) 값은 \(0.0986\)이다. 정규성은 문제가 아니었다. 자료는 실제로 정규분포에서 나왔고 검정도 그렇게 말한다. 기각하지 못한 것은 전혀 다른 이유다.
이론 검정력을 계산해 보자. 참 효과크기(effect size)는 \(d = (\mu_2 - \mu_1)/\sigma = 0.5\)이고, 등표본 이표본 \(t\) 검정의 표준오차는 \(\mathrm{SE} = \sigma\sqrt{2/n}\)이므로 대립가설(alternative hypothesis) 아래 통계량은 비중심모수
를 갖는 자유도 \(2n-2\)의 비중심 \(t\) 분포를 따른다. \(n = 50\), \(d = 0.5\)에서
이고, 양쪽 검정의 임계값은 \(t_{0.975,\,98} = 1.9845\)이다. 따라서 검정력은
이다. 곧 이 설계는 애초에 열 번 가운데 세 번은 놓치도록 되어 있었다. 이번 표본이 그 세 번 가운데 하나였을 뿐이다.
import numpy as np
from scipy import stats
np.random.seed(0)
group1 = np.random.normal(0, 1, 50)
group2 = np.random.normal(0.5, 1, 50)
W1, p1 = stats.shapiro(group1)
W2, p2 = stats.shapiro(group2)
print(f"Shapiro group1: W = {W1:.4f}, p = {p1:.4f}")
print(f"Shapiro group2: W = {W2:.4f}, p = {p2:.4f}")
t, p = stats.ttest_ind(group1, group2)
diff = group2.mean() - group1.mean()
sp = np.sqrt((group1.var(ddof=1) + group2.var(ddof=1)) / 2)
se = sp * np.sqrt(2 / 50)
print(f"표본 평균차 = {diff:.4f} (참값 0.5), SE = {se:.4f}")
print(f"t = {t:.4f}, p = {p:.4f}")
# 이론 검정력: 비중심 t 분포
d, n, df = 0.5, 50, 98
ncp = d * np.sqrt(n / 2)
tc = stats.t.ppf(0.975, df)
power = stats.nct.sf(tc, df, ncp) + stats.nct.cdf(-tc, df, ncp)
print(f"ncp = {ncp:.2f}, t_crit = {tc:.4f}, 이론 검정력 = {power:.4f}")
for m in range(10, 300):
nc, dd = d * np.sqrt(m / 2), 2 * m - 2
q = stats.t.ppf(0.975, dd)
if stats.nct.sf(q, dd, nc) + stats.nct.cdf(-q, dd, nc) >= 0.80:
print(f"검정력 80% 에 필요한 집단당 표본 = {m}")
break
출력:
Shapiro group1: W = 0.9876, p = 0.8766
Shapiro group2: W = 0.9866, p = 0.8366
표본 평균차 = 0.3385 (참값 0.5), SE = 0.2030
t = -1.6677, p = 0.0986
ncp = 2.50, t_crit = 1.9845, 이론 검정력 = 0.6969
검정력 80% 에 필요한 집단당 표본 = 64
손으로 구한 \(\delta = 2.50\), \(t_{0.975,98} = 1.9845\), 검정력 \(0.6969\)가 코드와 그대로 맞는다. 표본에서 실제로 관측된 평균차는 \(0.3385\)로 참값 \(0.5\)보다 작게 나왔고, \(\mathrm{SE} = 0.2030\)으로 나누면 \(0.3385/0.2030 = 1.668\)이 되어 임계값 \(1.9845\)에 미치지 못한다. 검정력 80%를 원하면 집단당 64개가 필요하다.
(2) 자료를 보고 검정을 고르면 최종 수준이 명목값에서 벗어난다. 보고되는 \(p\) 값은 "\(t\) 검정을 쓰기로 미리 정했을 때"의 귀무분포에서 계산된 것인데, 실제로 수행된 절차는 "샤피로–윌크를 먼저 돌려 통과하면 \(t\) 검정, 아니면 만–휘트니"라는 두 단계 복합 절차다. 복합 절차의 귀무분포는 \(t\) 분포도 아니고 만–휘트니의 귀무분포도 아니다. 1단계의 선택이 같은 자료에 의존하므로 두 단계가 독립이 아니고, 그래서 최종 제1종 오류율이 \(0.05\)에서 비껴난다.
더 실용적인 문제도 있다. 1단계의 검정력은 \(n\)에 지배되므로 작은 표본에서는 무엇을 뽑아도 통과하고 큰 표본에서는 실무상 무해한 이탈도 걸러 낸다. 곧 이 분기 규칙은 "자료가 정규인가"가 아니라 "표본이 큰가"에 따라 갈라진다. 정작 비모수 대안이 절실한 작은 표본에서 가장 쓸모가 없는 셈이다.
실무에서는 ① 분석 방법을 자료를 보기 전에 정하거나, ② 두 결과를 모두 보고하거나, ③ 애초에 정규성에 덜 의존하는 절차(부트스트랩(bootstrap), 웰치 \(t\))를 기본값으로 두는 편이 낫다.
위 코드가 보인 것은 널리 쓰이는 관행이지 권하는 절차가 아니다. 「한 집단이라도 정규성 검정을 통과하지 못하면 만–휘트니로 간다」는 분기가 왜 문제인지는 바로 아래에 적는다.
정규성 검정 결과로 분석을 분기하는 것의 위험
위 코드처럼 "정규성 검정을 통과하면 \(t\) 검정, 아니면 비모수 검정"으로 자동 분기하는 것은 널리 쓰이는 관행이지만 문제가 있다. 최종 검정의 선택이 같은 자료에 의존하게 되어 실제 제1종 오류율이 명목값에서 벗어난다. 실무에서는 사전에 분석 방법을 정하거나, 두 결과를 모두 보고하는 편이 낫다.
6. 비정규성에 대한 로버스트성¶
t 검정¶
일표본과 이표본 \(t\) 검정은 다음 조건에서 중간 정도의 정규성 이탈에 로버스트하다.
- 분포가 대칭일 때(꼬리가 두꺼워도 괜찮다).
- 집단당 표본크기가 최소 \(n \geq 20\)일 때.
- 이탈이 왜도가 아니라 꼬리에서 일어날 때.
치우친 모집단에서 \(t\) 검정이 어느 쪽으로 틀어지는지는 설계가 정한다. 이표본에서 두 집단의 크기가 같으면 두 표본을 맞바꾸는 것만으로 \(T \overset{d}{=} -T\) 가 되므로 귀무분포가 모집단이 무엇이든 정확히 \(0\) 에 대칭이고, 그래서 왜도가 수준을 부풀리는 것이 아니라 보수적으로 만든다 — 왜도를 \(1\) 에서 \(31\) 로 올리면 \((20, 20)\) 에서 실제 수준이 \(0.0483\) 에서 \(0.0284\) 로 내려간다. 흔히 적히는 「명목 \(0.05\) 에 실제 \(0.06\)–\(0.08\)」 은 불균형 설계의 이야기다. 아래 상자가 두 꼬리를 따로 세어 그것을 보인다.
분산분석¶
분산분석의 \(F\) 검정은 다음 조건에서 비정규성에 중간 정도로 로버스트하다.
- 집단 크기가 같을 때(균형 설계).
- 분포가 대칭일 때.
- 집단당 관측값이 최소 15–20개일 때.
불균형 설계와 비정규성이 겹치면 더 문제가 된다. 그런 경우 (등분산을 가정하지 않는) 웰치 분산분석과 더 큰 표본크기가 더 나은 보호를 제공한다.
그림으로 보는 통계학 1. 목록에 없는 조건이 제일 크다
바로 위 \(t\) 검정 쪽 목록은 대칭 · \(n \ge 20\) · 꼬리를 든다. 그리고 흔히들 「치우친 모집단에서 제1종 오류율이 부풀려질 수 있고, 명목 \(0.05\) 일 때 실제로 \(0.06\)–\(0.08\) 정도」라고 적는다. 로그정규 모집단에서 \(H_0\) 를 참으로 두고 \(40{,}000\) 번씩 재어 보았다.

① 균형 설계에서는 방향이 반대다. \((20,20)\) 에서 모집단 왜도를 \(1\) 에서 \(31\) 로 올리면 실제 수준이 \(0.0483\) 에서 \(0.0284\) 로 내려간다. 부풀려지는 것이 아니라 보수적이 된다. 흔히 적히는 \(0.06\)–\(0.08\) 범위에 닿는 것은 불균형 설계뿐이다.
까닭은 근사가 아니라 정리다. \(n_1 = n_2\) 이고 두 표본이 같은 분포에서 나오면, 두 표본을 맞바꾸는 것만으로 \(\bar X_1 - \bar X_2\) 의 부호가 뒤집히고 합동 \(S^2\) 은 그대로다. 그러므로
이고, \(t\) 통계량의 귀무분포는 모집단이 무엇이든 정확히 \(0\) 에 대칭이다. 큰 표본에서 근사적으로가 아니라, 어떤 \(n\) 에서든 정확히 그렇다. 왜도가 두 꼬리를 서로 다르게 밀어낼 길이 아예 없는 것이다.
② 균형이 깨지면 그 보호가 사라진다. 왜도 \(31\) 에서 두 꼬리를 따로 세면
| 설계 | 아래꼬리 | 위꼬리 | 비 | 양측 합 |
|---|---|---|---|---|
| \((20, 20)\) | \(0.0133\) | \(0.0151\) | \(1.1\) | \(0.0284\) |
| \((10, 30)\) | \(0.0020\) | \(0.0405\) | \(20.5\) | \(0.0425\) |
| \((5, 35)\) | \(\mathbf{0.0001}\) | \(\mathbf{0.0678}\) | \(\mathbf{904}\) | \(0.0679\) |
각 꼬리의 명목은 \(0.025\) 다. \((5,35)\) 에서 아래꼬리는 \(10{,}000\) 번에 한 번 기각한다 — \(250\) 번을 약속한 자리에서다. 위꼬리는 명목의 \(2.7\) 배다.
그리고 그 양측 합 \(0.0679\) 는 흔히 적히는 \(0.06\)–\(0.08\) 안에 정확히 들어온다. 그 수가 틀린 것이 아니라, 그 수가 \(904\) 배의 비대칭을 덮고 있다. 여기서 단측검정을 하는 사람은 \(0.025\) 가 아니라 \(0.0001\) 이거나 \(0.068\) 인 검정을 하고 있고, 양측 수준만 보고 있으면 그것을 알 길이 없다.
③ 분산분석에는 덮을 꼬리가 없다. \(F\) 는 생김새부터 단측이라 상쇄가 일어나지 않는다. 균형 \((20,20,20)\) 은 \(0.0490 \to 0.0281\) 로 보수적이 되고, \((5,20,35)\) 는 \(0.0586\) 까지 오른다. 바로 위 분산분석 쪽 목록은 균형을 첫 조건으로 적어 두었다. 같은 조건이 \(t\) 검정 쪽 목록에는 빠져 있는데, 재어 보면 거기서도 \(n \ge 20\) 보다 균형이 크게 작용한다.
한 가지 이어 둘 것이 있다. 일표본 \(t\) 에는 맞바꿀 짝이 아예 없다. 그래서 \(9\) 장 일표본 \(t\) 검정이 잰 대로 오른쪽으로 치우친 모집단에서 왼쪽 단측검정의 오류율이 세 배가 되고, 양측에서만 부분적으로 상쇄된다. 두 표본 균형 설계가 유난히 튼튼한 것은 표본이 둘이어서가 아니라 둘이 같아서다.
덧붙이면, 위는 로그정규 한 집안에서 잰 것이다. 균형 설계의 대칭성은 모집단이 무엇이든 정확히 성립하지만, 보수적으로 기우는 정도는 분포에 따라 달라진다.
보기 2. 잔차에 검정을 걸 때 자유도는 몇인가. 평균 \(5.0\), \(5.5\), \(6.0\)에 공통 표준편차 \(1.5\)인 세 정규 집단에서 각각 30개를 뽑아, 집단중심화 잔차에 샤피로–윌크를 걸고 일원분산분석을 수행한다.
(1) 출력의 \(F = 6.3788\)을 분산분해로 손계산해 맞추시오. \(\hat\sigma = \sqrt{\mathrm{MSW}}\) 는 참값 \(1.5\)에서 얼마나 떨어져 있는가.
(2) 중심화하지 않고 그냥 통합한 자료에 샤피로–윌크를 걸면 어떻게 되는가. 이 자료에서는 통과한다. 본문은 "집단 평균이 크게 다르면 다봉으로 보인다"고 했는데, 왜 여기서는 그렇게 되지 않는가.
(3) 잔차는 90개이지만 집단마다 합이 0이라는 제약 3개를 받으므로 독립이 아니다. 샤피로–윌크는 독립 표본을 가정한다. 그러면 검정의 실제 크기가 명목 \(0.05\)에서 벗어나는가? 모의실험으로 재고, 집단 수 \(k\)를 늘리면 어떻게 되는지 보이시오.
풀이
쪽의 코드를 먼저 그대로 돌린다.
import numpy as np
from scipy import stats
# ===================================================================
# 분산분석 잔차의 정규성 확인
#
# 집단마다 평균이 다르므로 자료 전체를 한 번에 검정하면 안 된다.
# 각 관측값에서 제 집단의 평균을 뺀 것이 잔차이고, 정규성은 여기에 요구된다.
# ===================================================================
np.random.seed(42)
# 평균이 조금씩 다른 세 집단. 분산은 모두 같다.
group1 = np.random.normal(loc=5.0, scale=1.5, size=30)
group2 = np.random.normal(loc=5.5, scale=1.5, size=30)
group3 = np.random.normal(loc=6.0, scale=1.5, size=30)
# 집단별 평균을 빼면 세 집단이 같은 중심으로 모인다. 이렇게 모은 뒤라야
# 하나의 검정으로 정규성을 물을 수 있다.
residuals = np.concatenate([
group1 - np.mean(group1),
group2 - np.mean(group2),
group3 - np.mean(group3),
])
# 잔차에 대한 Shapiro-Wilk 검정
sw_stat, sw_p = stats.shapiro(residuals)
# 가정을 확인했으니 본 검정으로 넘어간다.
f_stat, f_p = stats.f_oneway(group1, group2, group3)
if __name__ == "__main__":
print("Normality check on ANOVA residuals:")
print(f" Shapiro-Wilk: W = {sw_stat:.4f}, p = {sw_p:.4f}")
print(f"\nOne-way ANOVA:")
print(f" F = {f_stat:.4f}, p = {f_p:.4f}")
if sw_p > 0.05:
print("\n Residuals are consistent with normality (p > 0.05).")
else:
print("\n Evidence of non-normality in residuals (p <= 0.05).")
출력:
Normality check on ANOVA residuals:
Shapiro-Wilk: W = 0.9925, p = 0.8948
One-way ANOVA:
F = 6.3788, p = 0.0026
Residuals are consistent with normality (p > 0.05).
(1) 분산분해. 집단이 \(k = 3\), 전체 \(N = 90\), 집단당 \(n_i = 30\)이다. 집단평균은 \(4.7178\), \(5.3183\), \(6.0193\)이고 대평균은 \(\bar x_{\cdot\cdot} = 5.3518\)이다.
자유도는 각각 \(k - 1 = 2\)와 \(N - k = 87\)이므로
로 출력의 \(6.3788\)과 소수 넷째 자리까지 맞는다. 임계값 \(F_{0.95}(2, 87) = 3.1013\)을 두 배 넘게 넘으므로 \(p = 0.0026\)이다. (보기 2의 분산분석은 이 쪽 보기 3 의 \(F = 3.3415\)처럼 아슬아슬하지 않다. 집단당 30개에 표준편차 \(1.5\), 평균 간격 \(0.5\)라 효과가 뚜렷하다.)
\(\mathrm{MSW}\) 는 \(\sigma^2\) 의 불편추정량이므로 \(\hat\sigma = \sqrt{1.9957} = 1.4127\)이다. 참값 \(1.5\)보다 \(5.8\%\) 작다. 이것도 표본변동이다. \((N-k)\mathrm{MSW}/\sigma^2 \sim \chi^2_{87}\)이므로 \(\hat\sigma/\sigma\) 의 상대 표준오차는 약 \(1/\sqrt{2(N-k)} = 1/\sqrt{174} = 0.0758\)이고, 관측된 \(-0.0582\)는 \(-0.77\) 표준오차다.
(2) 여기서는 통합해도 통과한다(\(p = 0.5458\)). 본문의 다봉 그림은 평균이 \(4\), \(9\), \(14\)이고 표준편차가 \(1.4\)인 자료였다. 간격을 표준편차로 재면 \(5/1.4 = 3.6\)이다. 반면 이 보기는 간격 \(0.5\)에 표준편차 \(1.5\)이므로
에 지나지 않는다. 열 배 이상 좁다. 성분이 이만큼 겹치면 혼합은 단봉이고 정규와 거의 구별되지 않는다. 본문의 경고가 틀린 것이 아니라, 경고가 발동하는 조건이 간격 대 표준편차의 비라는 뜻이다. 간격이 \(\sigma\) 의 세 배쯤 되어야 비로소 통합 자료가 기각되기 시작한다.
그러므로 "중심화하지 않아도 통과했으니 괜찮다"고 읽으면 안 된다. 통과한 것은 효과가 작아서이고, 효과가 클 때 — 곧 분산분석이 기각할 때 — 정확히 그때 통합 검정이 오작동한다. 통과 여부와 무관하게 중심화하는 것이 옳다.
(3) 제약 3개는 거의 아무 일도 하지 않는다. 그러나 \(k\)가 커지면 달라진다.
import numpy as np
from scipy import stats
np.random.seed(42)
gs = [np.random.normal(loc=m, scale=1.5, size=30) for m in (5.0, 5.5, 6.0)]
N, k = 90, 3
grand = np.concatenate(gs).mean()
print("(1) 분산분해로 F 를 손계산")
SSB = sum(30 * (g.mean() - grand)**2 for g in gs)
SSW = sum(((g - g.mean())**2).sum() for g in gs)
MSB, MSW = SSB / (k - 1), SSW / (N - k)
print(f" 집단평균 {np.round([g.mean() for g in gs], 4)}, 대평균 {grand:.4f}")
print(f" SSB = {SSB:.4f}, SSW = {SSW:.4f}")
print(f" MSB = {MSB:.4f}, MSW = {MSW:.4f}")
print(f" F = MSB/MSW = {MSB/MSW:.4f} scipy = {stats.f_oneway(*gs)[0]:.4f}")
print(f" p = {stats.f.sf(MSB/MSW, k-1, N-k):.4f}, 임계 F = {stats.f.ppf(0.95, k-1, N-k):.4f}")
print(f" sigma-hat = sqrt(MSW) = {np.sqrt(MSW):.4f} (참 1.5,"
f" 상대편차 {(np.sqrt(MSW)-1.5)/1.5:+.4f} = {((np.sqrt(MSW)-1.5)/1.5)*np.sqrt(2*(N-k)):+.2f} SD)")
print("\n(2) 중심화의 효과")
resid = np.concatenate([g - g.mean() for g in gs])
print(f" 잔차 shapiro p = {stats.shapiro(resid)[1]:.4f} (집단별 합 모두 0)")
print(f" 중심화 안 한 통합 p = {stats.shapiro(np.concatenate(gs))[1]:.4f}")
print(f" 평균간격 / sigma = 0.5/1.5 = {0.5/1.5:.4f}")
print("\n(3) 잔차에 샤피로를 걸면 크기가 명목값을 지키는가 (명목 0.05, R = 20000)")
rng, R = np.random.default_rng(2026), 20000
print(f" 몬테카를로 SE = {np.sqrt(0.05*0.95/R):.4f}")
cnt = sum(stats.shapiro(rng.normal(0, 1, 90))[1] < 0.05 for _ in range(R))
print(f" iid n=90 (제약 없음) 크기 = {cnt/R:.4f}")
for kk, m in [(3, 30), (9, 10), (30, 3)]:
c = 0
for _ in range(R):
x = rng.normal(0, 1, (kk, m))
c += stats.shapiro((x - x.mean(axis=1, keepdims=True)).ravel())[1] < 0.05
print(f" 잔차 k={kk:<2d} 집단당 {m:<2d} (k/N = {kk/90:.3f}) 크기 = {c/R:.4f}")
출력:
(1) 분산분해로 F 를 손계산
집단평균 [4.7178 5.3183 6.0193], 대평균 5.3518
SSB = 25.4610, SSW = 173.6298
MSB = 12.7305, MSW = 1.9957
F = MSB/MSW = 6.3788 scipy = 6.3788
p = 0.0026, 임계 F = 3.1013
sigma-hat = sqrt(MSW) = 1.4127 (참 1.5, 상대편차 -0.0582 = -0.77 SD)
(2) 중심화의 효과
잔차 shapiro p = 0.8948 (집단별 합 모두 0)
중심화 안 한 통합 p = 0.5458
평균간격 / sigma = 0.5/1.5 = 0.3333
(3) 잔차에 샤피로를 걸면 크기가 명목값을 지키는가 (명목 0.05, R = 20000)
몬테카를로 SE = 0.0015
iid n=90 (제약 없음) 크기 = 0.0496
잔차 k=3 집단당 30 (k/N = 0.033) 크기 = 0.0500
잔차 k=9 집단당 10 (k/N = 0.100) 크기 = 0.0482
잔차 k=30 집단당 3 (k/N = 0.333) 크기 = 0.0316
명목 \(0.05\)에 몬테카를로(Monte Carlo) 표준오차가 \(\sqrt{0.05 \times 0.95/20000} = 0.0015\)이므로, \(0.05\)에서 \(\pm 0.003\) 밖으로 나가면 유의한 차이다.
| 설계 | \(k/N\) | 실제 크기 | 명목값과의 차 |
|---|---|---|---|
| iid \(n = 90\) | — | \(0.0496\) | \(-0.3\,\mathrm{SE}\) |
| \(k = 3\), 집단당 30 | \(0.033\) | \(0.0500\) | \(0.0\,\mathrm{SE}\) |
| \(k = 9\), 집단당 10 | \(0.100\) | \(0.0482\) | \(-1.2\,\mathrm{SE}\) |
| \(k = 30\), 집단당 3 | \(0.333\) | \(0.0316\) | \(-12\,\mathrm{SE}\) |
이 보기의 설계(\(k = 3\), 집단당 30)에서는 걱정할 것이 없다. 크기가 \(0.0500\)으로 명목값과 구별되지 않는다. 자유도 90 가운데 3을 쓴 것뿐이라 잔차가 \(\mathrm{iid}\) 표본과 거의 다르지 않다.
그러나 \(k\)를 늘리면 이야기가 달라진다. \(k = 30\)에 집단당 3개면 실제 크기가 \(0.0316\)으로 명목값의 63%에 지나지 않는다. 몬테카를로 표준오차의 12배나 벗어난 것이니 우연이 아니다. 검정이 지나치게 보수적이 되어 실제로 비정규인 자료도 통과시키게 된다.
까닭은 이 장 전체를 꿰는 주제와 같다. 모수를 추정한 뒤 남은 잔차는 실제보다 더 정규처럼 보인다. 집단당 \(m\)개에서 평균 하나를 뺐으니 집단 안의 자유도가 \(m\)에서 \(m-1\)로 줄고, 그 손실 비율이 \(1/m\)이다. \(m = 30\)이면 \(3\%\)라 무시할 수 있지만 \(m = 3\)이면 \(33\%\)다. 모수를 추정하고도 추정하지 않은 경우의 임계값을 쓰면 검정의 크기가 명목값 아래로 내려앉는다는 것, 그것이 콜모고로프–스미르노프에 릴리포스 보정이 필요한 이유와 정확히 같은 구조다.
실무 지침은 간단하다. 집단당 관측값이 넉넉하면(\(m \gtrsim 10\)) 잔차에 그대로 검정을 걸어도 좋고, 집단은 많은데 집단당 관측값이 몇 개뿐이면 잔차 기반 정규성 검정의 \(p\) 값을 그대로 믿지 말아야 한다. 후자라면 모의실험으로 귀무분포를 직접 만들거나 Q-Q 그림으로 눈으로 보는 편이 낫다.
잔차가 정규성과 잘 맞고(\(p = 0.895\)) 분산분석은 집단 평균의 차이를 유의하게 탐지한다(\(p = 0.0026\), 표본평균(sample mean)은 각각 4.72, 5.32, 6.02). 정규성 진단은 통과하고 관심 있는 검정은 기각하는, 이상적인 상황이다.
집단별로 세 번 검정하는 것과 잔차 하나를 검정하는 것¶
보기 3. 집단별로 세 번 검정하는 것과 잔차 하나를 검정하는 것. \(\mathcal{N}(0,1)\), \(\mathcal{N}(0.5,1)\), \(\mathcal{N}(1,1)\)에서 각각 30개를 뽑아 집단마다 샤피로–윌크를 돌린 뒤 일원분산분석을 수행한다.
(1) 세 집단의 \(p\) 값과 분산분석의 \(F\), \(p\)를 구하시오. 분산분석이 요구하는 정규성은 집단별 자료가 아니라 잔차의 것이다. 집단평균을 뺀 잔차 하나(\(n = 90\))에 검정을 걸면 결론이 같은가.
(2) 중심화하지 않고 그냥 통합한 자료에 검정을 걸면 어떻게 되는가. 이 자료에서는 통과한다. 왜 그런지 설명하고, 집단 평균을 간격 \(d\)로 벌려 가며 언제 깨지는지 수로 보이시오.
(3) 간격이 \(d\)인 등간격 3성분 정규혼합의 초과첨도를 닫힌 꼴로 구하고 (2)의 모의값과 맞추시오.
풀이
(1) 쪽의 코드를 그대로 돌린다.
import numpy as np
from scipy.stats import f_oneway, shapiro
np.random.seed(0)
# 세 집단의 평균은 다르지만 분산은 같다.
group1 = np.random.normal(0, 1, 30)
group2 = np.random.normal(0.5, 1, 30)
group3 = np.random.normal(1, 1, 30)
# 분산분석에서도 정규성은 잔차에 요구된다. 집단마다 평균을 뺀 값이
# 곧 잔차이므로, 집단별로 검정하는 것이 그 일을 대신한다.
_, p_value_group1 = shapiro(group1)
_, p_value_group2 = shapiro(group2)
_, p_value_group3 = shapiro(group3)
# 자료가 정규인지 확인한다
if p_value_group1 > 0.05 and p_value_group2 > 0.05 and p_value_group3 > 0.05:
# 분산분석 수행
stat, p_value = f_oneway(group1, group2, group3)
print(f"ANOVA test: p-value={p_value}")
else:
print("One or more groups fail the normality test. Consider using a non-parametric alternative.")
출력:
ANOVA test: p-value=0.039981492411499175
(3) 닫힌 꼴 먼저. 세 집단의 평균이 \(-d\), \(0\), \(d\)이고(위치 이동은 첨도(kurtosis)를 바꾸지 않으므로 간격만 중요하다) 각 성분이 분산 1인 정규라 하자. 집단을 고르는 확률변수를 \(M\)(\(\{-d,0,d\}\)에 각각 \(1/3\)), 집단 안 변동을 \(Z \sim \mathcal{N}(0,1)\)이라 두면 통합 자료는 \(X = M + Z\)이고 둘은 독립이다. \(E[M] = E[M^3] = 0\), \(E[M^2] = \tfrac23 d^2\), \(E[M^4] = \tfrac23 d^4\)이므로
이고, 홀수 적률이 사라지는 것을 쓰면
이다. 따라서 초과첨도는
\(d = 0\)이면 \(3/1 - 3 = 0\)으로 정규가 되고, \(d \to \infty\)이면 \(\tfrac23 d^4 / \tfrac49 d^4 - 3 = \tfrac32 - 3 = -\tfrac32\)로 간다. 하한이 \(-1.5\)라는 것이 요점이다. 간격을 아무리 벌려도 초과첨도는 \(-1.5\) 아래로 내려가지 않는다. 평균을 벌려 통합하면 꼬리가 두꺼워지는 것이 아니라 가운데가 평평해진다. 비정규성이 납작한 쪽으로 생긴다.
(1)(2) 수치 확인.
import numpy as np
from scipy import stats
np.random.seed(0)
g1 = np.random.normal(0, 1, 30)
g2 = np.random.normal(0.5, 1, 30)
g3 = np.random.normal(1, 1, 30)
for name, g in [("group1", g1), ("group2", g2), ("group3", g3)]:
W, p = stats.shapiro(g)
print(f"{name}: W = {W:.4f}, p = {p:.4f}, 평균 = {g.mean():+.4f},"
f" 표준편차 = {g.std(ddof=1):.4f}")
F, p = stats.f_oneway(g1, g2, g3)
print(f"F = {F:.4f}, p = {p:.4f}, 임계 F(2, 87) = {stats.f.ppf(0.95, 2, 87):.4f}")
# 분산분석이 요구하는 것은 집단평균을 뺀 잔차의 정규성이다.
resid = np.concatenate([g - g.mean() for g in (g1, g2, g3)])
print(f"집단중심화 잔차 (n = {resid.size}): shapiro p = {stats.shapiro(resid)[1]:.4f}")
# 중심화하지 않고 그냥 통합하면?
raw = np.concatenate([g1, g2, g3])
print(f"중심화 안 한 통합자료: shapiro p = {stats.shapiro(raw)[1]:.4f}")
# 평균 간격을 d, 2d 로 벌려 가며 본다.
print("\n평균간격 d 통합자료 shapiro p 표본 g2 닫힌꼴 초과첨도")
for d in [0, 1, 2, 3, 4]:
pooled = np.concatenate([resid[:30], resid[30:60] + d, resid[60:] + 2 * d])
closed = ((2 / 3) * d**4 + 4 * d**2 + 3) / (1 + (2 / 3) * d**2) ** 2 - 3
print(f" {d} {stats.shapiro(pooled)[1]:>10.2e} "
f"{stats.kurtosis(pooled):+.3f} {closed:+.3f}")
출력:
group1: W = 0.9695, p = 0.5254, 평균 = +0.4429, 표준편차 = 1.1003
group2: W = 0.9835, p = 0.9085, 평균 = +0.2105, 표준편차 = 0.9142
group3: W = 0.9763, p = 0.7204, 평균 = +0.8663, 표준편차 = 0.9650
F = 3.3415, p = 0.0400, 임계 F(2, 87) = 3.1013
집단중심화 잔차 (n = 90): shapiro p = 0.9106
중심화 안 한 통합자료: shapiro p = 0.8701
평균간격 d 통합자료 shapiro p 표본 g2 닫힌꼴 초과첨도
0 9.11e-01 -0.023 +0.000
1 9.00e-01 +0.281 -0.240
2 8.11e-01 -0.549 -0.793
3 6.25e-02 -0.989 -1.102
4 2.49e-03 -1.194 -1.254
(1) 결론은 같다. 집단별 \(p\) 값은 \(0.525\), \(0.909\), \(0.720\)이고 집단중심화 잔차 하나(\(n = 90\))의 \(p\) 값은 \(0.911\)로, 모두 넉넉히 통과한다. 분산분석은 \(F = 3.3415\)로 임계값 \(F_{0.95}(2,87) = 3.1013\)을 겨우 넘어 \(p = 0.0400\)을 준다. 5% 수준에서 기각하지만 임계값과의 여유가 \(0.24\)뿐이라 결론이 단단하다고 말하기는 어렵다. 집단 표준편차도 \(1.100\), \(0.914\), \(0.965\)로 가장 큰 쪽이 가장 작은 쪽의 \(1.20\)배에 그쳐 등분산 가정에 무리가 없다.
집단별 세 번과 잔차 한 번 가운데 원칙에 맞는 것은 잔차 한 번이다. 분산분석 모형 \(y_{ij} = \mu + \alpha_i + \varepsilon_{ij}\)에서 정규성을 요구받는 것은 \(\varepsilon_{ij}\)뿐이다. 실무적 차이도 있다. 집단별로 세 번 검정하면 세 번 다 통과해야 하므로 전체 제1종 오류율이 부풀고(독립이라 가정하면 \(1 - 0.95^3 = 14.3\%\)), 집단 수가 늘면 더 나빠진다. 게다가 집단마다 \(n = 30\)으로 쪼개므로 검정력도 낮다. 잔차를 모아 한 번 검정하면 \(n = 90\)을 다 쓰고 검정도 한 번이다.
(2) 중심화하지 않아도 이 자료에서는 통과한다(\(p = 0.870\)). 집단 평균이 \(0.211\)부터 \(0.866\)까지, 곧 \(\sigma = 1\)에 비해 \(0.66\)만큼만 떨어져 있어서다. 성분이 이렇게 겹치면 혼합이 단봉인 정규와 거의 구별되지 않는다. (3)의 닫힌 꼴에 등간격 근사 \(d = (0.8663 - 0.2105)/2 = 0.328\)을 넣으면 \(\gamma_2 = -0.0067\)로, 정규에서 사실상 떨어져 있지 않다.
간격을 벌리면 깨진다. 표에서 \(d = 2\)까지는 \(p\)가 \(0.8\) 위에 머물다가 \(d = 3\)에서 \(0.0625\)로 내려오고 \(d = 4\)에서 \(0.0025\)로 기각된다. \(\sigma\)의 세 배쯤 떨어져야 비로소 샤피로–윌크가 알아챈다는 뜻이고, \(n = 90\)에서도 그렇다. 그런데 중심화한 잔차는 이 모든 경우에 똑같다 — 집단 평균을 어디로 옮기든 잔차는 변하지 않으므로 \(p = 0.9106\)이 그대로다. 이것이 중심화해야 하는 이유다. 중심화하지 않으면 집단 평균의 차이, 곧 분산분석이 찾으려는 바로 그 효과를 비정규성으로 오인한다.
(3) 닫힌 꼴과 모의값의 대조. 표의 마지막 두 열이다.
| \(d\) | 닫힌 꼴 \(\gamma_2\) | 표본 \(g_2\) (\(n=90\)) |
|---|---|---|
| 0 | \(+0.000\) | \(-0.023\) |
| 1 | \(-0.240\) | \(+0.281\) |
| 2 | \(-0.793\) | \(-0.549\) |
| 3 | \(-1.102\) | \(-0.989\) |
| 4 | \(-1.254\) | \(-1.194\) |
추세가 맞고 \(d \ge 2\)에서는 값도 가깝다. \(d = 1\)의 \(0.52\) 차이가 눈에 걸리지만 \(n = 90\)에서 초과첨도의 귀무 표준오차가 \(\sqrt{24/n} = \sqrt{24/90} = 0.516\)이므로 1 표준오차 안이다. 표본 하나로 첨도를 재면 이만큼 흔들린다. 추세를 보려면 표본 하나가 아니라 닫힌 꼴이 필요하다는 것이 이 대조의 교훈이다.
(닫힌 꼴은 몬테카를로로도 확인했다. \(4\times10^6\)개를 뽑으면 \(d = 1,2,3,4\)에서 각각 \(-0.2388\), \(-0.7946\), \(-1.1023\), \(-1.2536\)이 나와 닫힌 꼴 \(-0.2400\), \(-0.7934\), \(-1.1020\), \(-1.2539\)와 소수 둘째 자리까지 맞는다.) 표본 \(g_2\)는 scipy.stats.kurtosis의 기본값이므로 보정하지 않은 초과첨도다.
세 집단의 샤피로–윌크 \(p\) 값은 각각 \(0.525\), \(0.909\), \(0.720\)으로 모두 정규성 확인을 통과하고, 분산분석은 \(p = 0.040\)으로 5% 수준에서 집단 평균의 차이를 탐지한다.
정규성을 보려면 집단마다 따로 검정하지 말고 잔차 하나로 본다(\(5\) 절). 집단별로 세 번 돌리면 전체 1 종 오류율이 부풀고(\(1 - 0.95^3 = 14.3\%\)), 더 중요하게는 그 수를 문지기로 삼아 비모수로 갈아타는 분기 자체가 실제 오류율을 명목에서 벗어나게 만든다(보기 1 의 (2)). 꼬리가 걱정되면 검정 결과와 무관하게 처음부터 로버스트한 절차를 고르는 것이 낫다.
7. 정규성이 무너졌을 때¶
\(t\) 검정이나 분산분석 상황에서 진단이 비정규성을 드러내면 몇 가지 대안이 있다. 넷을 나란히 놓고 위반별 처방으로 정리한 쪽이 따로 있다 — 10.6절 가정 위반의 처리다. 여기서는 어느 쪽으로 갈 것인지만 적는다.
- 표본크기를 늘린다. 3.5절 중심극한정리가 평균 기반 검정에 점근적 보호를 제공한다. 다만 수렴 속도는 이탈의 모양에 달려 있고, 분산에 관한 절차는 이 보호를 받지 못한다.
- 변환을 적용한다. 로그나 제곱근 변환이 왜도를 줄일 수 있다. 변환한 척도에서 검정한 뒤 되돌린 값은 되돌리기 전에 추정하던 양과 다르다 — 14.6절 정규성을 위한 변환이 다룬다.
- 비모수 검정을 쓴다. 16.4절 윌콕슨 순위합검정이 이표본 \(t\) 검정을, 16.5절 크러스컬–월리스 검정이 일원배치 분산분석을 대신한다. 검정하는 대상이 평균에서 분포의 위치로 바뀐다는 점을 기억할 것.
- 순열검정(permutation test)을 쓴다. 순열 기반 \(p\) 값은 분포 가정을 요구하지 않는다. 17.4절 이표본 위치에 대한 순열검정을 볼 것.
고를 때 두 가지를 주의해야 한다. 첫째, 진단이 통과시켰다는 것이 절차가 정확하다는 뜻은 아니다 — 14.5절 표본크기가 검정력에 미치는 영향은 샤피로–윌크가 놓치기 시작하는 표본크기가 \(t\) 검정의 크기가 아직 어긋나 있는 영역과 겹친다는 것을 수로 보인다. 둘째, 같은 자료를 보고 검정을 고르면 그 고른 행위가 실제 유의수준을 바꾼다 — 14.5절 올바른 검정 선택하기를 볼 것. 같은 꼴이 등분산성(homoscedasticity) 쪽에도 있고, 두 단계 절차의 실제 오류율을 재어 둔 곳은 15.7절 분산분석 등분산성 사전검정이다.
연습문제¶
연습문제 1. 어떤 연구자가 중간 정도로 오른쪽으로 치우친 관측값 \(n = 12\)개에 t 검정을 적용한다. 정규성 가정을 걱정해야 하는가?
풀이
\(n = 12\)이면 중심극한정리(central limit theorem)의 보호가 제한적이므로 중간 정도의 왜도도 걱정거리이다. t 검정은 정확한 타당성을 위해 정규성을 가정한다. 치우친 자료와 작은 \(n\)에서는 실제 제1종 오류율이 명목 \(\alpha\)에서 벗어날 수 있고 신뢰구간의 포함확률도 틀릴 수 있다.
연구자는 (1) Q-Q 그림으로 왜도의 정도를 평가하고, (2) 비모수 대안(윌콕슨 부호순위 검정)을 고려하고, (3) 자료가 양수이고 오른쪽으로 치우쳤다면 로그 변환을 시도해야 한다. 왜도가 가벼우면 t 검정도 근사적으로 타당할 수 있지만, 민감도 분석을 함께 보고하는 것이 좋은 관행이다.
연습문제 2. 분산분석은 흔히 "비정규성에 로버스트하다"고 기술된다. 이 서술을 한정하라. 분산분석은 언제 로버스트하고 언제 그렇지 않은가?
풀이
분산분석이 로버스트한 경우: (1) 표본크기가 클 때(집단당 \(n_j \geq 20\)–\(30\)). 중심극한정리가 집단 평균을 정규화한다. (2) 집단 크기가 같을 때(균형 설계). 분산의 이질성에 대한 보호가 된다. (3) 정규성 이탈이 중간 정도일 때(가벼운 왜도, 극단적 이상치(outlier) 없음).
분산분석이 로버스트하지 않은 경우: (1) 표본크기가 작고 불균등하며 분산이 이질적일 때, (2) 작은 표본에서 자료가 심하게 치우쳤거나 이상치가 있을 때, (3) 자료가 심하게 비정규일 때(예: 이봉, 두꺼운 꼬리). 이런 경우 F 검정의 제1종 오류율이 크게 부풀려지거나 축소될 수 있다.
연습문제 3. 정규성이 의심스러울 때의 대안으로 웰치 \(t\) 검정과 만–휘트니 U 검정을 비교하라. 각각은 언제 선호되는가?
풀이
웰치 \(t\) 검정: 등분산을 가정하지 않지만 여전히 근사적 정규성(또는 큰 \(n\))을 가정한다. 평균이 다른지를 검정한다. 자료가 근사적으로 정규이거나 \(n\)이 크고 연구 질문이 평균에 관한 것일 때 선호된다.
만–휘트니 U 검정: 정규성을 가정하지 않는 비모수 검정이다. 분포의 모양이 같다는 가정 아래에서 한 집단이 더 큰 값을 갖는 경향이 있는지(확률적 우위)를 검정한다. 자료가 순서형이거나 심하게 치우쳤거나 이상치가 있거나 \(n\)이 작을 때 선호된다.
핵심 차이: 웰치 검정은 평균에 관한 것이고, 만–휘트니는 분포 전체(대칭이면 중앙값)에 관한 것이다. 분포의 모양이 다르면 만–휘트니는 위치 이동이 아닌 다른 것을 검정하게 된다.
연습문제 4. 집단이 \(k = 4\)개이고 집단당 \(n_j = 8\)인 일원배치 분산분석이 \(H_0\)을 기각했다(\(p = 0.02\)). 잔차에 대한 샤피로–윌크 검정은 \(p = 0.04\)를 준다. 분산분석 결과를 믿어야 하는가?
풀이
샤피로–윌크의 기각(\(p = 0.04\))은 우려를 낳지만 그 자체로 분산분석을 무효화하지는 않는다. \(n_j = 8\)(작은 집단)이면 t/F 분포 근사가 비정규성에 더 민감하다.
권장 조치는 이렇다.
- 잔차의 Q-Q 그림과 히스토그램을 살펴 비정규성의 정도를 평가한다.
- 민감도 확인으로 비모수 대안(크러스컬–월리스 검정)을 수행한다. 그것도 기각하면 분산분석의 결론이 뒷받침된다.
- 비정규성이 이상치 때문이라면 로버스트 분산분석이나 절사평균을 고려한다.
- 정규성에 대한 우려를 명시하면서 분산분석과 크러스컬–월리스 결과를 모두 보고한다.
크러스컬–월리스도 \(p < 0.05\)를 준다면 결론에 대한 신뢰가 높아진다. 결과가 갈리면 정규성 위배가 원인일 수 있다.
연습문제 5. 연습문제 4의 설계(\(k = 4\), 집단당 \(n_j = 8\))에 보기 2의 (3)에서 얻은 표를 적용해 보자. 그 표는 균형 설계에서 \(k/N\) 이 커질수록 잔차에 건 샤피로–윌크의 실제 크기가 명목 \(0.05\) 아래로 내려앉는다고 말한다.
(1) 균형 설계에서는 \(k/N\) 이 집단당 관측값 \(m\) 만으로 정해진다는 것을 보이고, 연습문제 4의 설계에서 그 값을 구하시오. 표의 두 행 \(k = 9\)(집단당 10)과 \(k = 30\)(집단당 3) 사이에서 선형보간하여 실제 크기를 근사하시오.
(2) 그 근사값이 맞다면, 연습문제 4에서 관측된 \(p = 0.04\) 는 정규성에 대한 증거를 과대평가하는가 과소평가하는가. 연습문제 4의 결론이 바뀌는가.
(3) 같은 설계에서 \(F\) 검정 쪽은 어떤가. 6절의 로버스트성 조건과 견주어, 이 설계에서 더 걱정해야 할 것이 진단의 왜곡인지 \(F\) 검정의 왜곡인지 판단하시오.
풀이
(1) 균형 설계에서 \(k/N\) 은 곧 \(1/m\) 이다. 집단이 \(k\) 개이고 집단당 \(m\) 개면 \(N = km\) 이므로
이다. 표의 세 행이 실제로 그렇다. \(k = 3\), \(m = 30\) 에서 \(1/30 = 0.033\), \(k = 9\), \(m = 10\) 에서 \(1/10 = 0.100\), \(k = 30\), \(m = 3\) 에서 \(1/3 = 0.333\). 그러니 표의 \(k/N\) 열은 집단 수가 아니라 집단당 관측값이 쥐고 있는 양이다. 보기 2의 풀이가 "손실 비율이 \(1/m\)"이라고 적은 것과 같은 수다.
연습문제 4는 \(k = 4\), \(m = 8\), \(N = 32\) 이므로
다. 표의 \(1/10 = 0.100\)(크기 \(0.0482\))과 \(1/3 = 0.333\)(크기 \(0.0316\)) 사이, 왼쪽 끝에 바싹 붙어 있다. 선형보간하면
로 명목값의 \(93\%\) 다. 실제로 이 설계를 \(40000\) 번 모의하면 크기가 \(0.0477\)(몬테카를로 표준오차 \(0.0011\))로 나온다. 보간값이 왜곡을 조금 크게 본 셈인데, 크기가 \(1/m\) 에 대해 볼록하게 떨어지기 때문이다. \(1/m\) 이 작은 쪽에서는 거의 평평하고 \(1/3\) 근처에서 급히 꺾인다.
(2) 과소평가한다. 연습문제 4의 결론은 바뀌지 않고 오히려 조금 강해진다. 검정이 보수적이라는 말은 귀무가설(null hypothesis, 참된 정규성) 아래에서 \(p\) 값이 균등분포보다 크게 쏠린다는 뜻이다. 즉 \(H_0\) 아래에서 \(\Pr(p \le 0.04) < 0.04\) 다. 같은 모의실험에서 이 설계의 \(\Pr(p \le 0.04) = 0.0380\) 이 나오므로, 관측된 \(p = 0.04\) 는 정확한 귀무분포로 환산하면 \(p \approx 0.038\) 에 해당한다.
그러므로 "제약 때문에 \(p\) 값이 작게 나온 것일 뿐"이라는 반론은 성립하지 않는다. 왜곡의 방향이 정반대다. 자유도를 추정에 쓰고 나면 잔차는 실제보다 더 정규처럼 보이므로, 그런 잔차가 \(p = 0.04\) 까지 내려갔다는 것은 비정규성의 증거가 액면가보다 조금 세다는 말이다. 다만 \(0.04\) 와 \(0.038\) 의 차이는 실질적으로 무의미하므로, 연습문제 4의 권고(Q-Q 그림을 보고 크러스컬–월리스로 민감도를 확인하라)는 그대로 유효하다.
(3) 걱정해야 할 것은 진단이 아니라 \(F\) 검정이다. 6절은 분산분석의 로버스트성 조건으로 균형 설계, 대칭성, 집단당 최소 \(15\)–\(20\)개를 들었다. 이 설계는 균형은 맞지만 집단당 \(8\)개로 세 번째 조건을 한참 밑돈다. 중심극한정리가 집단평균을 정규로 끌어올 여지가 거의 없으므로, 잔차가 실제로 비정규라면 \(F\) 통계량의 표집분포가 어긋나고 \(p = 0.02\) 도 믿을 수 없게 된다.
두 왜곡의 크기를 나란히 적으면 분명하다.
| 대상 | 명목 | 실제 | 왜곡 |
|---|---|---|---|
| 잔차의 샤피로–윌크 | \(0.05\) | \(0.0477\) | \(-5\%\), 보수적 |
| 집단당 8개의 \(F\) 검정 | \(0.05\) | 비정규성의 정도에 따라 \(0.05\) 를 크게 벗어날 수 있다 | 방향도 크기도 보장 없음 |
진단의 \(5\%\) 보수성은 어느 쪽으로 틀리는지 알고 그 크기도 작다. \(F\) 검정의 왜곡은 어느 쪽으로 틀리는지조차 모른다. 아는 왜곡보다 모르는 왜곡이 무섭다.
연습문제 6. 보기 2의 풀이 (2)는 통합 자료가 기각되기 시작하는 조건이 "평균 간격 대 표준편차의 비"이며 그 임계값이 "\(\sigma\) 의 세 배쯤"이라고 적었다. 이 임계값을 밀도의 모양이 바뀌는 임계값과 견주어 보자. 가장 단순한 경우로 집단이 둘이고 크기가 같은 설계를 생각한다. 통합 원자료의 분포는
이고 \(\varphi_\sigma\) 는 \(N(0, \sigma^2)\) 의 밀도, \(d\) 는 두 집단평균의 간격이다.
(1) \(f\) 가 봉우리를 둘 갖는 것이 \(d > 2\sigma\) 와 동치임을 보이시오. \(d \le 2\sigma\) 일 때는 \(f\) 가 단봉임도 보여야 한다.
(2) \(\sigma = 1\) 로 두고 \(d = 2.2\) 와 \(d = 2.5\) 에서 봉우리의 위치와 골의 깊이 \(f(0)/f(x^*)\) 를 구하시오(\(x^*\) 는 봉우리의 위치).
(3) \(n = 180\) 에서 샤피로–윌크가 \(\alpha = 0.05\) 로 기각하는 확률은 \(d = 2.0\) 에서 \(0.21\), \(d = 2.2\) 에서 \(0.34\), \(d = 2.5\) 에서 \(0.66\), \(d = 3.0\) 에서 \(0.97\) 이다. (1)과 (2)의 결과로 이 수들을 설명하고, 보기 2의 "세 배" 임계값과 밀도의 임계값 \(2\sigma\) 가 왜 다른 자리에 있는지 말하시오.
(4) 보기 2의 자료는 \(d/\sigma = 0.333\) 이었다. (1)에 비추어, 그 자료의 통합 검정이 통과한 것이 "다봉성을 놓쳤다"는 증거가 되는가.
풀이
(1) 임계값은 정확히 \(d = 2\sigma\) 다. \(f\) 는 원점에 대해 대칭이므로 \(f'(0) = 0\) 이다. 따라서 원점이 극소인지 극대인지만 보면 된다. \(\varphi_\sigma'(u) = -(u/\sigma^2)\varphi_\sigma(u)\) 이므로
이다. \(x = 0\) 을 넣으면 \(\varphi_\sigma(a) = \varphi_\sigma(-a)\) 이므로 두 항이 포개져
가 된다. \(\varphi_\sigma(a) > 0\) 이니 \(f''(0) > 0 \iff a > \sigma \iff d > 2\sigma\) 다. 즉 \(d > 2\sigma\) 이면 원점이 극소이고, 대칭성과 \(f(\pm\infty) = 0\) 에 의해 양쪽에 봉우리가 하나씩 생긴다.
역방향, 곧 \(d \le 2\sigma\) 이면 단봉이라는 것도 보여야 한다. \(x > 0\) 에서 \(f'(x) < 0\) 임을 보이면 된다. \(x \ge a\) 이면 위 \(f'\) 의 대괄호 안 두 항이 모두 \(\ge 0\) 이므로 \(f'(x) < 0\) 이다. \(0 < x < a\) 에서는 \(\varphi_\sigma(x-a) = \varphi_\sigma(a-x)\) 이므로
다. 마지막 등호는 \((x+a)^2 - (a-x)^2 = 4ax\) 에서 나온다. 그러므로
가 \((0, a)\) 에서 양수인지만 보면 된다. \(L(0) = 0\) 이고
이다. \(a \le \sigma\) 이면 \(0 < a^2 - x^2 < a^2 \le \sigma^2\) 이므로 \(L'(x) > 0\) 이고, 따라서 \(L(x) > L(0) = 0\) 이다. 곧 \(f\) 는 \((0, \infty)\) 에서 강하게 감소하여 단봉이다. (반대로 \(a > \sigma\) 이면 \(L'(0) = 2(\sigma^2 - a^2)/(a\sigma^2) < 0\) 이라 원점 바로 오른쪽에서 \(L < 0\), 즉 \(f' > 0\) 이 되어 다시 (1)의 결론이 나온다.) \(\square\)
(2) 봉우리는 생겼지만 골이 거의 없다. \(f'(x^*) = 0\) 은 (1)의 동치식에서 등호를 취한 것이므로 \(0 < x^* < a\) 는
를 푼 값이다. \(\sigma = 1\) 에서 수치로 풀면 다음을 얻는다.
| \(d\) | \(a = d/2\) | 봉우리 \(x^*\) | \(f(0)\) | \(f(x^*)\) | 골의 깊이 \(f(0)/f(x^*)\) |
|---|---|---|---|---|---|
| \(2.0\) | \(1.00\) | \(0\) | \(0.2420\) | \(0.2420\) | \(1.0000\) |
| \(2.2\) | \(1.10\) | \(0.7369\) | \(0.2179\) | \(0.2237\) | \(0.9740\) |
| \(2.5\) | \(1.25\) | \(1.0997\) | \(0.1826\) | \(0.2098\) | \(0.8704\) |
| \(3.0\) | \(1.50\) | \(1.4632\) | \(0.1295\) | \(0.2018\) | \(0.6418\) |
| \(3.571\) | \(1.786\) | \(1.7793\) | \(0.0810\) | \(0.1998\) | \(0.4055\) |
확인해 보자. \(d = 2.2\), \(x^* = 0.7369\) 에서 좌변은 \(1.8369/0.3631 = 5.059\), 우변은 \(e^{2 \times 1.1 \times 0.7369} = e^{1.6212} = 5.059\) 로 맞는다. 골의 깊이는 \(f(0) = \varphi(a) = \varphi(1.1) = 0.2179\) 와
에서 \(0.2179/0.2237 = 0.9740\) 다. \(d = 2.5\) 에서는 \(f(0) = \varphi(1.25) = 0.1826\), \(f(1.0997) = 0.2098\) 로 \(0.8704\) 다.
요점은 임계값을 갓 넘은 쌍봉은 쌍봉이라 부르기 민망하다는 것이다. \(d = 2.2\sigma\) 에서 골은 봉우리보다 \(2.6\%\) 낮을 뿐이다. 관측값 \(180\) 개의 히스토그램에서 칸마다 \(\sqrt{\text{도수}}\) 정도의 요동이 있는데, \(2.6\%\) 의 골이 그 요동을 넘어 보일 이유가 없다.
(3) 두 임계값은 "모양이 바뀌는 자리"와 "자료가 그 모양을 증언할 수 있는 자리"로 서로 다르다. 검정력 \(0.21\), \(0.34\), \(0.66\), \(0.97\) 을 (2)의 골 깊이 \(1.000\), \(0.974\), \(0.870\), \(0.642\) 와 나란히 놓으면 둘이 같이 움직인다.
| \(d/\sigma\) | 골의 깊이 | 샤피로–윌크 검정력(\(n = 180\)) |
|---|---|---|
| \(2.0\) | \(1.000\)(골 없음) | \(0.21\) |
| \(2.2\) | \(0.974\) | \(0.34\) |
| \(2.5\) | \(0.870\) | \(0.66\) |
| \(3.0\) | \(0.642\) | \(0.97\) |
\(d = 2\sigma\) 에서 검정력이 \(0\) 이 아니라 \(0.21\) 인 것은, 그 자리에서 밀도가 아직 단봉이어도 이미 정규가 아니기 때문이다. 초과첨도가 \(-2a^4/(\sigma^2 + a^2)^2 = -0.5\) 로 평평해져 있고 샤피로–윌크는 봉우리가 아니라 순서통계량의 모양을 보므로 그 평평함을 조금은 집어낸다. 그리고 \(d\) 가 \(2\sigma\) 에서 \(3\sigma\) 로 가는 동안 골이 \(0\%\) 에서 \(36\%\) 로 깊어지면서 검정력이 \(0.21 \to 0.97\) 로 올라간다.
그러므로 밀도의 임계값은 \(2\sigma\) 지만 검정의 임계값은 \(3\sigma\) 다. 그 사이 구간 \(2\sigma < d < 3\sigma\) 가 이 쪽에서 가장 조심할 자리다. 자료는 진짜로 쌍봉인데 \(n = 180\) 의 샤피로–윌크가 \(d = 2.2\sigma\) 에서는 세 번에 두 번, \(d = 2.5\sigma\) 에서도 세 번에 한 번 놓친다. "검정이 통과했으니 단봉이다"라고 읽으면 이 구간에서 틀린다. 5절이 "대부분의 정규성 검정이 다봉성에 특별히 강하지 않다"고 적고 히스토그램을 함께 보라고 권한 것이 바로 이 구간을 겨눈 말이다. 다만 골이 \(2.6\%\) 인 \(d = 2.2\sigma\) 라면 히스토그램으로도 보이지 않으니, 끝까지 남는 보호 장치는 집단 변수를 모형에 넣는 것 하나뿐이다.
(4) 증거가 되지 않는다. 그 자료의 통합분포는 애초에 단봉이다. \(d/\sigma = 0.333\) 은 임계값 \(2\) 의 \(6\) 분의 \(1\) 밖에 안 된다. (1)에 따라 \(f\) 는 엄밀히 단봉이고, 초과첨도도 \(-2(0.1667)^4/(1 + 0.1667^2)^2 = -0.0015\) 로 정규와 사실상 구별되지 않는다. 그러니 샤피로–윌크의 \(p = 0.5458\) 은 검정이 무엇을 놓친 결과가 아니라 놓칠 것이 없었던 결과다.
이 구별이 중요하다. 보기 2의 풀이가 "통과한 것은 효과가 작아서"라고 한 말을 (1)이 정량화해 준다. 통합 검정이 오작동할 수 있는 영역은 \(d > 2\sigma\) 이고, 보기 2의 자료는 그 영역에 들어가 있지도 않다. 그래도 중심화해야 하는 까닭은 지금의 \(d\) 가 작기 때문이 아니라, \(d\) 가 커지는 쪽 — 곧 분산분석이 기각하는 쪽 — 으로 갈 때만 통합 검정이 망가지기 때문이다. 진단의 타당성이 검정하려는 효과의 크기에 달려 있으면 그 진단은 쓸 수 없다.
연습문제 7. 2절은 \(X_i\) 의 정규성이 두 성질을 동시에 보장한다고 했다. \(\bar X\) 가 정규분포를 따르는 것과 \(\bar X \perp S^2\) 이라는 것이다. 중심극한정리는 첫째만 고쳐 준다. 둘째가 얼마나 어긋나는지 재어 보자. \(X_1, \ldots, X_n\) 이 평균 \(\mu\), 분산 \(\sigma^2\) 인 분포에서 뽑은 iid 표본이고 \(\mu_3 = E(X - \mu)^3\), \(\mu_4 = E(X - \mu)^4\), \(\gamma_1 = \mu_3/\sigma^3\), \(\beta_2 = \mu_4/\sigma^4\) 라 한다.
(1) 다음을 보이시오.
(2) \(n \to \infty\) 일 때 \(\operatorname{Var}(S^2) = (\mu_4 - \sigma^4)/n + O(n^{-2})\) 임을 받아들이고, 상관계수의 극한을 구하시오. 그 극한이 \(n\) 에 의존하지 않음을 지적하고, 지수분포(exponential distribution, \(\gamma_1 = 2\), \(\beta_2 = 9\))에서 값을 구하시오.
(3) (2)에서 얻은 식이 \(\lvert \rho \rvert \le 1\) 을 만족해야 한다는 것만으로 2장의 부등식 \(\beta_2 \ge 1 + \gamma_1^2\) 이 따라 나온다는 것을 보이시오.
(4) (1)–(3)을 써서 6절의 로버스트성 조건 중 "분포가 대칭일 때(꼬리가 두꺼워도 괜찮다)"가 왜 그런 모양인지 설명하시오. 왜 왜도는 \(n\) 을 늘려도 꼬리처럼 쉽게 사라지지 않는가.
풀이
(1) 일반성을 잃지 않고 \(\mu = 0\) 으로 둔다(공분산은 평행이동에 불변이다). 그러면 \(E\bar X = 0\) 이므로 \(\operatorname{Cov}(\bar X, S^2) = E[\bar X S^2]\) 이다. 항등식
을 쓰면
이다. 첫째 항은
이다(\(E[X_j] = 0\) 이라 교차항이 모두 죽는다). 둘째 항은
인데, 세제곱을 펼쳤을 때 살아남는 항은 세 첨자가 모두 같은 \(n\) 개뿐이기 때문이다. 따라서
이다. \(\square\)
이 식은 정확식이고 근사가 아니다. 그리고 \(\mu_3 \ne 0\) 이면 모든 \(n\) 에서 공분산이 \(0\) 이 아니므로 \(\bar X \perp S^2\) 가 깨진다. 거꾸로 \(\mu_3 = 0\) 이면 공분산은 \(0\) 이지만, 그것은 무상관이지 독립이 아니다. 독립은 정규분포만의 성질이다.
(2) \(\operatorname{Var}(\bar X) = \sigma^2/n\) 은 정확하고 \(\operatorname{Var}(S^2) \approx (\mu_4 - \sigma^4)/n\) 이므로
이다. \(\mu_3 = \gamma_1\sigma^3\) 과 \(\mu_4 - \sigma^4 = \sigma^4(\beta_2 - 1)\) 을 넣으면
이다. \(n\) 이 식에서 완전히 사라졌다. 분자의 공분산과 분모의 두 표준편차가 모두 \(1/n\) 또는 \(1/\sqrt{n}\) 의 같은 차수로 줄어들어 비가 남지 않는다. 지수분포에서는
이다. \(n = 20\) 에서 정확한 \(\operatorname{Var}(S^2) = \mu_4/n - (n-3)\sigma^4/(n(n-1)) = 0.4053\sigma^4\) 로 계산하면 \(0.7025\) 이니 극한값과 거의 같다. 즉 지수분포 자료에서 \(t\) 통계량의 분자와 분모는 \(n\) 을 얼마로 키워도 상관계수 \(0.7\) 로 붙어 있다.
(3) (2)의 \(\rho\) 는 상관계수의 극한이므로 \(\lvert \rho \rvert \le 1\) 이어야 한다. 그러면
이다(\(\beta_2 - 1 > 0\) 은 자명하지 않은 분포에서 성립한다). \(\square\)
2장에서 코시–슈바르츠로 얻은 부등식이 여기서는 \(\bar X\) 와 \(S^2\) 의 상관계수가 \(1\) 을 넘을 수 없다는 말로 다시 나타난 것이다. 등호 \(\beta_2 = 1 + \gamma_1^2\) 는 두 점 분포에서만 성립하고, 그때 \(\lvert \rho \rvert = 1\) 이므로 \(S^2\) 이 \(\bar X\) 의 함수가 된다. 두 점 분포에서는 표본평균을 알면 두 값의 개수가 정해지고 따라서 표본분산(sample variance)도 정해지니 과연 그렇다.
(4) 6절의 조건이 왜 "대칭이면 꼬리가 두꺼워도 괜찮다"는 비대칭적인 모양인지가 (1)–(3)으로 설명된다.
\(t\) 통계량 \(t = (\bar X - \mu_0)/(S/\sqrt{n})\) 이 \(t_{n-1}\) 을 따르려면 분자가 정규이고 분모가 분자와 독립이어야 한다. 두 요구가 서로 다른 속도로 회복된다.
- 분자의 정규성은 중심극한정리가 고쳐 준다. 베리–에센 정리(Berry–Esseen theorem, 정규근사의 오차 한계)에 따라 오차가 \(O(n^{-1/2})\) 이고, 왜도든 두꺼운 꼬리든 분산이 유한하면 사라진다.
- 분자와 분모의 독립성(independence)은 고쳐지지 않는다. (2)에 따라 상관계수가 \(\gamma_1/\sqrt{\beta_2 - 1}\) 로 \(n\) 에 무관한 상수에 머문다.
그런데 이 남는 상관계수를 켜는 스위치가 왜도 하나다. \(\gamma_1 = 0\) 이면 \(\rho = 0\) 이고, \(\beta_2\) 가 아무리 커도 — 꼬리가 아무리 두꺼워도 — 분자는 분모와 적어도 무상관이다. \(\gamma_1 \ne 0\) 이면 \(\beta_2\) 가 크든 작든 \(\rho \ne 0\) 이 상수로 남는다. 6절의 두 문장이 정확히 이 구조다. "대칭일 때 로버스트하다"는 \(\gamma_1 = 0\) 이 \(\rho\) 를 끄기 때문이고, "꼬리가 두꺼워도 괜찮다"는 \(\beta_2\) 가 \(\rho\) 의 분모에만 들어가 오히려 상관을 약화시키기 때문이다.
왜곡의 방향까지 읽을 수 있다. 오른쪽으로 치우친 분포는 \(\mu_3 > 0\) 이라 \(\bar X\) 가 클 때 \(S^2\) 도 크다. 그러면 \(t\) 의 분자가 양수로 큰 경우에 분모도 함께 커져 \(t\) 가 오른쪽으로 덜 뻗고, 반대로 분자가 음수일 때는 분모가 작아 \(t\) 가 왼쪽으로 더 뻗는다. 한쪽 꼬리가 기준 \(t\) 분포보다 두꺼워지는 것이니 양측검정(two-sided test)의 실제 크기가 명목값을 넘는다. 6절이 불균형 설계의 이야기라 적은 "명목 \(0.05\) 일 때 실제로 \(0.06\)–\(0.08\)"이 바로 이 비대칭에서 나오는 값이며, \(n\) 을 늘려 사라지는 속도가 \(O(n^{-1/2})\) 로 느린 까닭도 같다.
연습문제 8. 3절은 "웰치 \(t\) 검정은 등분산 가정을 완화하지만, 근사 자유도가 타당하려면 여전히 각 집단의 정규성이 필요하다"고 적었다. 그 두 문장이 어디서 갈라지는지 수로 보자. 두 집단이 정규이고 \(\sigma_1^2 = 1\), \(\sigma_2^2 = 9\) 이며 총 \(N = n_1 + n_2 = 50\) 이다. 스튜던트 \(t\) 검정은 분모로 \(S_p^2(1/n_1 + 1/n_2)\) 를 쓰는데, 여기서
이다.
(1) 배분 \((n_1, n_2)\) 가 \((25, 25)\), \((10, 40)\), \((40, 10)\) 인 세 경우에 참값 \(\operatorname{Var}(\bar X_1 - \bar X_2)\) 와 합동 분모의 기댓값 \(E[S_p^2](1/n_1 + 1/n_2)\) 를 각각 구하시오.
(2) 일반적으로 두 양의 차가
임을 보이시오. 이로부터 스튜던트 \(t\) 검정이 정확해지는 조건과, 보수적이 되는 조건·과대기각하는 조건을 각각 읽어 내시오.
(3) \((40, 10)\) 에서 웰치 자유도
를 구하고, 합동 자유도 \(48\) 과 견주시오. 웰치가 고친 것과 고치지 못한 것을 6절의 조건에 비추어 말하시오.
풀이
(1) \(E[S_1^2] = \sigma_1^2\), \(E[S_2^2] = \sigma_2^2\) 이므로
이고 참값은 \(\operatorname{Var}(\bar X_1 - \bar X_2) = \sigma_1^2/n_1 + \sigma_2^2/n_2\) 다. 세 배분에 넣는다.
\((25, 25)\) 에서는
\((10, 40)\) 에서는
\((40, 10)\) 에서는
정리하면 다음과 같다. 마지막 열은 명목 \(0.05\) 양측검정의 실제 크기를 \(200000\) 번 모의해 얻은 값이다.
| \((n_1, n_2)\) | 참 \(\operatorname{Var}\) | 합동 분모 기댓값 | 비 | 표준오차의 비 | 스튜던트 \(t\) 의 실제 크기 |
|---|---|---|---|---|---|
| \((25, 25)\) | \(0.4000\) | \(0.4000\) | \(1.000\) | \(1.000\) | \(0.054\) |
| \((10, 40)\) | \(0.3250\) | \(0.9375\) | \(2.885\) | \(1.698\) | \(0.001\) |
| \((40, 10)\) | \(0.9250\) | \(0.3125\) | \(0.338\) | \(0.581\) | \(0.257\) |
분산이 \(9\) 배나 다른데도 균형 설계에서는 합동 분모가 참값과 정확히 같다. 불균형이 되면 참값의 \(2.9\) 배가 되기도 하고 \(0.34\) 배가 되기도 하며, 후자에서는 명목 \(5\%\) 검정의 실제 크기가 \(25.7\%\) 로 다섯 배가 된다.
(2) 공통분모 \((N-2)n_1n_2\) 로 묶는다. \(1/n_1 + 1/n_2 = N/(n_1n_2)\) 이므로 좌변은
이다. 분자에서 \(\sigma_1^2\) 의 계수는 \(N(n_1 - 1) - (N-2)n_2\) 이고, \(N = n_1 + n_2\) 를 넣으면
이다. \(\sigma_2^2\) 의 계수는 \(1 \leftrightarrow 2\) 를 바꾼 것이므로 \((N-1)(n_2 - n_1)\) 이다. 따라서 분자는
이고 주어진 식이 나온다. \(\square\)
검산해 보자. \((10, 40)\) 에서 \(49 \times (-30) \times (1 - 9)/(48 \times 400) = 11760/19200 = 0.6125\) 이고 \(0.3250 + 0.6125 = 0.9375\) 로 (1)의 값과 맞는다.
식이 곱 \((n_1 - n_2)(\sigma_1^2 - \sigma_2^2)\) 하나로 결정된다는 것이 핵심이다.
- \(n_1 = n_2\) 이면 분산이 아무리 달라도 차가 \(0\) 이다. 등분산 가정이 틀렸어도 합동 분모가 옳은 양을 추정한다. 6절이 분산분석의 로버스트성 조건으로 균형 설계를 앞세운 까닭이 여기 있다. 균형은 등분산 위배를 상쇄한다.
- \(\sigma_1^2 = \sigma_2^2\) 이면 불균형이어도 차가 \(0\) 이다. 가정이 맞으면 당연한 이야기다.
- \((n_1 - n_2)(\sigma_1^2 - \sigma_2^2) > 0\), 곧 큰 표본이 큰 분산에 붙으면 합동 분모가 참값보다 크다. 검정이 보수적이 되어 실제 크기가 명목값 아래로 간다(\((10, 40)\) 의 \(0.001\)).
- \((n_1 - n_2)(\sigma_1^2 - \sigma_2^2) < 0\), 곧 큰 표본이 작은 분산에 붙으면 합동 분모가 참값보다 작다. 과대기각이다(\((40, 10)\) 의 \(0.257\)).
두 위배가 함께 올 때 더 나쁘다는 6절의 말이 이렇게 수식 하나로 요약된다. 불균형만으로도, 이분산만으로도 아무 일이 없고, 둘이 겹칠 때만 틀어진다.
(3) \(a = \sigma_1^2/n_1 = 1/40 = 0.025\), \(b = \sigma_2^2/n_2 = 9/10 = 0.9\) 이므로
다. 합동 자유도 \(48\) 의 \(5\) 분의 \(1\) 이다. 임계값도 \(t_{0.975}(48) = 2.011\) 에서 \(t_{0.975}(9.505) = 2.244\) 로 올라간다. 모의실험에서 웰치의 실제 크기는 세 배분 모두 \(0.050\) 전후(\(0.0501\), \(0.0495\), \(0.0507\))로 명목값을 지킨다.
웰치가 고친 것. 분모가 추정하는 대상을 \(\sigma^2(1/n_1 + 1/n_2)\) 에서 \(\sigma_1^2/n_1 + \sigma_2^2/n_2\) 로 바꾸었다. (2)의 차가 통째로 사라지므로 불균형과 이분산이 겹쳐도 크기가 유지된다.
웰치가 고치지 못한 것. \(\nu = 9.5\) 라는 수 자체다. \(b \gg a\) 이면 \(\nu\) 의 분모가 \(b^2/(n_2 - 1)\) 에 지배되어
가 된다. 다시 말해 유효 표본크기가 분산이 큰 쪽 집단의 크기로 떨어진다. \(40\) 개를 더 모았지만 검정은 사실상 \(10\) 개짜리 표본으로 돌아가는 것이다. 그런데 6절은 \(t\) 검정의 로버스트성 조건으로 "집단당 최소 \(n \ge 20\)"을 요구했다. \(\nu = 9.5\) 는 그 절반이다.
그래서 3절의 두 문장이 갈라지는 자리가 보인다. 웰치는 분산의 문제를 정규성의 문제로 바꾼다. 등분산 위배는 완전히 처리하지만, 그 대가로 자유도를 큰 분산 쪽 집단의 크기까지 끌어내리므로 이제 그 작은 집단이 얼마나 정규인지가 결정적이 된다. 새터스웨이트 근사(Satterthwaite approximation, 웰치 자유도 \(\nu\) 를 주는 근사)가 \(S_1^2\), \(S_2^2\) 이 카이제곱이라는 데 기대고 있는데 그 성질이야말로 정규성에서만 나오는 것이고, \(n_2 = 10\) 에서는 중심극한정리가 메워 줄 여지도 없다. 설계 단계에서 할 수 있는 최선은 간단하다. 분산이 클 것으로 예상되는 집단에 관측값을 더 배분하라. \((10, 40)\) 으로 뒤집으면 \(\nu = 43.8\) 로 올라가 자유도의 손실이 거의 없다.
연습문제 9. 5절은 통합 원자료의 샤피로–윌크 \(p = 1.2 \times 10^{-5}\) 가 "봉우리가 눈으로도 뚜렷이 셋인 것치고는 그리 작지 않다"고 적고, 그 까닭을 "대부분의 정규성 검정이 다봉성에 특별히 강하지 않기 때문"이라 했다. 3차·4차 적률만 보는 검정에서는 이것을 정확히 계산할 수 있다. 그림의 자료는 평균 \(4\), \(9\), \(14\), 공통 표준편차 \(\sigma = 1.4\), 집단당 \(60\) 개이므로 통합분포는 간격 \(d = 5\) 인 등가중 혼합
이다(중심을 옮겼다). 자크–베라 통계량은 \(\mathrm{JB} = n\big[\gamma_1^2/6 + (\beta_2 - 3)^2/24\big]\) 이고 귀무분포는 \(\chi^2_2\), 임계값은 \(5.991\) 이다.
(1) \(F\) 의 왜도를 구하고, 초과첨도가
임을 보이시오. \(d = 5\), \(\sigma = 1.4\) 에서 값을 구하시오.
(2) \(n = 180\) 에서 \(\mathrm{JB}\) 와 그 \(p\) 값을 구하고, 본문의 샤피로–윌크 \(p = 1.2 \times 10^{-5}\) 와 견주시오. 또 이 혼합에서 자크–베라가 \(\alpha = 0.05\) 로 기각하려면 \(n\) 이 최소 얼마여야 하는가.
(3) \(d \to \infty\) 로 보내시오. 초과첨도의 극한을 구하고, 세 집단을 아무리 멀리 떼어 놓아도 자크–베라가 기각하려면 \(n\) 이 최소 얼마여야 하는지 구하시오.
(4) 2장의 \(\beta_2 \ge 1 + \gamma_1^2\) 를 써서, 대칭이면서 평평한(\(\beta_2 < 3\)) 어떤 분포에 대해서도 자크–베라가 \(n\) 이 어느 수 미만이면 결코 기각할 수 없음을 보이시오. 이것이 적률 기반 검정이 다봉성에는 약하고 두꺼운 꼬리에는 강한 구조적 까닭임을 설명하시오.
풀이
(1) \(F\) 는 원점에 대해 대칭이므로 \(\mu_3 = 0\), 곧 \(\gamma_1 = 0\) 이다. 세 성분의 중심이 \(-d, 0, d\) 로 대칭이고 척도가 같으니 홀수 차 중심적률이 모두 \(0\) 이다.
적률은 성분별 적률의 평균이다. 중심 \(c\) 와 \(Z \sim N(0, \sigma^2)\) 에 대해 \(E[(c + Z)^2] = c^2 + \sigma^2\) 이고 \(E[(c + Z)^4] = c^4 + 6c^2\sigma^2 + 3\sigma^4\) 이므로, \(c \in \{-d, 0, d\}\) 를 각각 \(1/3\) 로 평균하면
이다. 한편
이므로 두 식을 빼면 \(\sigma^4\) 항과 \(\sigma^2 d^2\) 항이 통째로 사라지고
만 남는다. 양변을 \(\mu_2^2\) 로 나누면 주어진 식이다. \(\square\)
초과첨도는 모든 \(d > 0\) 에서 음수다. 집단을 떼어 놓는 일은 분포를 뾰족하게 하는 것이 아니라 평평하게 하는 것이다. \(d = 5\), \(\sigma = 1.4\) 를 넣으면
이다(공식으로 직접 계산해도 \(-\frac{2}{3}(625)/346.95 = -1.2009\) 로 같다).
(2) \(\gamma_1 = 0\) 이므로 자크–베라는 첨도 항만으로 간다.
본문의 샤피로–윌크는 \(p = 1.2 \times 10^{-5}\) 였다. 자크–베라의 \(p\) 값이 \(375\) 배나 크다. 둘 다 기각하지만 증거의 강도가 전혀 다르다. 샤피로–윌크는 순서통계량 전체의 모양을 보는 반면 자크–베라는 \(\gamma_1\) 과 \(\beta_2\) 라는 수 두 개로 자료를 압축하고, 그중 하나(\(\gamma_1\))는 대칭 때문에 \(0\) 이라 아무 정보도 싣지 못한다. 봉우리가 셋이라는 사실이 통계량에 들어가는 통로는 \(\beta_2 - 3 = -1.2\) 하나뿐이다.
기각에 필요한 최소 \(n\) 은 \(n \times 0.060093 \ge 5.991\) 에서
이다. 본문의 \(n = 180\) 은 이 임계값을 겨우 넘은 것이다. 집단당 \(60\) 개가 아니라 \(30\) 개였다면(\(n = 90\)) 봉우리가 그림에서 똑같이 뚜렷해도 자크–베라는 통과시켰을 것이다.
(3) \(d \to \infty\) 에서 분자와 분모가 모두 \(d^4\) 차이므로
이다. 즉 \(\beta_2 \to 1.5\) 로 멈춘다. 그러면 관측값 하나가 통계량에 보태는 양의 상한이
이므로 기각에 필요한 최소 표본크기는
다. 봉우리 세 개를 무한히 멀리 떼어 놓아 분포가 사실상 세 점에 몰린 스파이크가 되어도, 자크–베라는 \(n \le 63\) 이면 유의수준 \(0.05\) 에서 결코 기각할 수 없다. 더 떼어 놓는다고 통계량이 더 커지지 않는다. 신호가 포화되는 것이다. 이것이 5절의 "대부분의 정규성 검정이 다봉성에 특별히 강하지 않다"를 적률 검정에서 정량화한 결과다.
(4) 2장의 부등식 \(\beta_2 \ge 1 + \gamma_1^2\) 는 \(\gamma_1\) 이 무엇이든 \(\beta_2 \ge 1\) 을 함의한다. 따라서 모든 분포에서
다. 평평한 쪽의 이탈은 \(-2\) 에서 멈춘다. 그런데 대칭(\(\gamma_1 = 0\))이고 평평하면 자크–베라의 왜도 항이 \(0\) 이므로
이다. \(n/6 \ge 5.991\) 이려면 \(n \ge 35.95\), 곧 \(n \ge 36\) 이어야 한다. 대칭이고 평평한 분포라면 그것이 무엇이든 \(n \le 35\) 에서는 자크–베라가 결코 기각하지 못한다. 등호에 가장 가까운 것은 \(\beta_2 = 1\) 인 두 점 분포, 즉 두 값만 번갈아 나오는 자료다. 정규성에서 이보다 멀어질 수 없는 자료에서도 \(n = 35\) 면 손을 들어야 한다.
여기에 적률 검정의 구조가 다 들어 있다. \(\beta_2\) 는 아래로는 막혀 있고 위로는 열려 있다. 평평함(다봉, 균등, 두 점)은 \(\lvert \beta_2 - 3 \rvert \le 2\) 라는 천장 아래에 갇히므로 자크–베라의 통계량을 \(n/6\) 이상으로 밀어 올릴 수 없고, 검정력은 결국 \(n\) 을 키우는 것으로만 산다. 반대로 두꺼운 꼬리는 \(\beta_2\) 를 얼마든지 크게 만들 수 있어 — 자유도 \(5\) 의 \(t\) 분포만 해도 \(\beta_2 = 9\) 로 \(\beta_2 - 3 = 6\) 이고 \(\mathrm{JB}/n = 1.5\) 이므로 \(n \ge 4\) 면 기각한다 — 작은 표본에서도 쉽게 잡힌다.
한 가지 단서를 달아 둔다. (3)과 (4)의 "\(n\) 이 이 수 미만이면 결코 기각하지 못한다"는 \(\chi^2_2\) 임계값 \(5.991\) 을 쓰는 한에서 하는 말이다. \(\chi^2_2\) 는 점근 귀무분포일 뿐이고 자크–베라의 수렴은 느려서, 작은 표본의 정확한 \(5\%\) 임계값은 그보다 작다(모의실험으로 \(n = 36\) 에서 약 \(4.8\), \(n = 64\) 에서 약 \(5.2\), \(n = 180\) 에서도 약 \(5.6\) 이다). 그러니 표본별 정확 임계값을 쓰면 임계값이 조금 내려간다. 바뀌지 않는 것은 구조다. 통계량 자체가 \(n(\beta_2 - 3)^2/24 \le n/6\) 으로 막혀 있어 평평한 쪽의 신호가 포화된다는 사실은 임계값을 어디에 두든 그대로다.
그러니 적률 기반 검정은 꼬리 탐지기이지 모양 탐지기가 아니다. 분산분석에서 염려하는 비정규성이 집단 변수를 빼먹어 생기는 다봉성이라면, 그것은 바로 적률 검정이 가장 못 보는 종류의 이탈이다. 5절이 검정 하나로 끝내지 말고 히스토그램을 그려 보라고 권한 데에는 이런 이유가 있다.
연습문제 10. 5절은 분산분석의 정규성을 합쳐진 잔차로 확인하라고 지시한다. 그 지시에는 한 가지 사각지대가 있다. 집단별 분산이 다를 때 무슨 일이 일어나는지 보자. 집단이 \(k = 2\), 집단당 \(n_j = 60\), 두 집단 안의 오차가 각각 정확히 \(N(0, \sigma_1^2)\) 과 \(N(0, \sigma_2^2)\) 를 따른다. 집단 수가 적고 집단당 관측값이 많으므로(보기 2의 (3)에 따라 \(1/m\) 의 효과는 무시한다) 합쳐진 잔차 \(N = 120\) 개의 분포는 등가중 척도혼합
로 본다. 분산비를 \(r = \sigma_2^2/\sigma_1^2\) 라 한다.
(1) \(G\) 의 왜도를 구하고, 초과첨도가 \(3(r-1)^2/(r+1)^2\) 임을 보이시오. \(r \to \infty\) 에서의 극한도 구하시오.
(2) 표준편차의 비가 \(2\) 배(\(r = 4\))일 때 초과첨도와 자크–베라 통계량을 구하시오. 모의실험으로 재면 \(N = 120\) 에서 자크–베라는 \(45\%\), 샤피로–윌크는 \(40\%\) 의 확률로 정규성을 기각한다. 각 집단 안의 오차가 정확히 정규임을 염두에 두고 이 결과가 무엇을 뜻하는지 쓰시오.
(3) 연습문제 9의 (3)·(4)와 견주시오. 두 결함 — 집단 평균을 빼먹은 것과 집단 분산이 다른 것 — 이 합쳐진 자료의 첨도에 남기는 흔적은 어떻게 다른가. 잔차의 초과첨도 부호를 보고 무엇을 읽을 수 있는가.
(4) 잔차 검정이 기각했을 때 (2)와 같은 상황을 "정규성 위배"로 처리하면 7절의 네 가지 대안 중 어느 것도 문제를 고치지 못하는 까닭을 말하고, 올바른 진단 절차와 조치를 제시하시오.
풀이
(1) \(G\) 는 두 대칭분포의 혼합이므로 대칭이고 \(\gamma_1 = 0\) 이다. 분산을 \(v_1 = \sigma_1^2\), \(v_2 = \sigma_2^2\) 라 쓰면, \(N(0, v)\) 에서 \(E[X^2] = v\), \(E[X^4] = 3v^2\) 이므로
이다. 따라서
이고
다. 분자와 분모를 \(v_1^2\) 으로 나누면 \(r = v_2/v_1\) 로
를 얻는다. \(\square\)
이번에는 부호가 양수다. \(r = 1\) 에서만 \(0\) 이고 \(r \ne 1\) 이면 언제나 양수다. \(r \to \infty\) 에서는
로 올라가고, 분산비가 어떻든 \(3\) 을 넘지는 못한다(등가중 두 성분에 한한다).
(2) \(r = 4\) 이면
이다. 임계값 \(5.991\) 에 간발의 차로 못 미치는 값인데, 이는 점근 기댓값이고 실제 표본의 \(\hat\beta_2\) 는 그 주위로 요동하므로 절반에 가까운 확률로 임계값을 넘는다. 모의실험의 \(45\%\) 가 그것이다.
이 결과가 말하는 것은 분명하다. 모형의 정규성 가정은 한 점도 위배되지 않았는데 정규성 검정이 열 번에 네다섯 번 기각한다. 오차는 두 집단 안에서 각각 정확히 정규다. 위배된 것은 4절의 모형 \(\varepsilon_{ij} \sim N(0, \sigma^2)\) 에서 정규성이 아니라 \(\sigma^2\) 이 공통이라는 부분이다. 그런데 잔차를 합쳐 버리면 그 둘이 구별되지 않는다. 척도가 섞인 정규들의 혼합은 더 이상 정규가 아니므로, 합쳐진 잔차에 건 검정은 "정규성 위배"라고 보고하면서 실제로는 등분산 위배를 가리킨다. 검정은 기각의 까닭을 말해 주지 않는다.
분산비가 작으면 이 혼선은 잠복한다. \(r = 2\) 면 초과첨도가 \(0.333\) 이라 \(\mathrm{JB}/n = 0.0046\) 이고 기각에 \(n \ge 1295\) 가 필요하다. 반대로 \(r = 9\)(표준편차 \(3\) 배)면 초과첨도 \(1.92\) 에 \(n \ge 40\) 으로 떨어지고, \(r \to \infty\) 의 극한에서는 \(n \ge 16\) 이면 기각한다.
(3) 두 결함이 남기는 흔적은 부호가 반대다.
| 결함 | 합쳐진 자료의 왜도 | 초과첨도 | 극단에서의 한계 |
|---|---|---|---|
| 집단 평균을 빼먹음(연습문제 9) | \(0\) | 음수 | \(d \to \infty\) 에서 \(-1.5\) |
| 집단 분산이 다름(이 문제) | \(0\) | 양수 | \(r \to \infty\) 에서 \(+3\) |
위치가 섞이면 분포가 넓게 퍼져 평평해진다. 중심에 몰릴 질량이 좌우로 흩어지므로 분산은 커지는데 꼬리는 그만큼 길어지지 않아 \(\beta_2 = \mu_4/\mu_2^2\) 가 떨어진다. 척도가 섞이면 반대다. 분산이 큰 성분이 꼬리만 길게 늘여 주므로 \(\mu_4\) 가 \(\mu_2^2\) 보다 빨리 커지고 \(\beta_2\) 가 올라간다.
실무에서는 이렇게 쓸 수 있다. 잔차가 비정규로 판정되었을 때 초과첨도의 부호가 1차 분류를 해 준다. 음수이면 모형에 넣지 않은 집단 변수나 혼합 구조를 의심하고(잔차 히스토그램에서 봉우리를 찾는다), 양수이면 이분산이나 이상치를 의심한다(집단별 잔차의 산포를 비교하고 잔차 대 적합값 그림을 본다). 왜도는 둘 다 \(0\) 이므로 이 분류에 쓸 수 없고, 왜도가 큰 경우는 제3의 원인 — 바탕 분포 자체의 왜도 — 을 가리킨다. 아울러 두 방향의 크기가 비대칭임도 기억할 만하다. 연습문제 9의 (4)에서 보았듯 평평한 쪽은 \(-2\) 에서 막혀 있고 뾰족한 쪽은 열려 있으므로, 같은 심각도라면 이분산이 다봉성보다 훨씬 쉽게 발각된다. 다시 말해 잔차 검정이 조용하다는 사실은 "이분산은 아마 없다"의 증거는 되지만 "빼먹은 집단 변수가 없다"의 증거는 되지 못한다.
(4) 7절의 네 대안은 모두 오차분포의 모양을 겨눈 처방이다. 그런데 (2)의 상황에서 모양은 이미 정규다. 처방이 겨눈 대상이 거기 없다.
- 표본크기를 늘린다. 가장 나쁜 선택이다. 초과첨도 \(1.08\) 은 \(n\) 과 무관한 모집단 양이고 \(\mathrm{JB} = 0.0486\,n\) 이므로, \(n\) 을 키우면 기각이 확실해질 뿐이다. 다봉성에서처럼 포화되는 것도 아니다. 진단은 점점 더 요란하게 울리는데 가리키는 곳은 계속 틀렸다.
- 변환을 적용한다. 로그나 제곱근은 왜도를 겨눈 것인데 여기서 \(\gamma_1 = 0\) 이다. 게다가 두 집단의 중심이 다르면 같은 변환이 집단마다 다른 배율로 작용해 등분산을 오히려 더 망칠 수 있다. 분산안정화 변환이 맞는 경우가 있지만, 그것은 분산이 평균의 함수일 때이고 그 판단에는 집단별 산포를 봐야 한다. 곧 (3)의 진단을 먼저 해야 한다.
- 비모수 검정을 쓴다. 크러스컬–월리스도 집단마다 분포가 같은 모양이라고 가정한다. 분산이 다르면 그 가정이 깨지므로 같은 병을 물려받는다.
- 순열검정을 쓴다. 순열검정의 귀무가설은 교환가능성(exchangeability), 곧 집단 표지를 뒤섞어도 자료의 분포가 같다는 것이다. 분산이 다르면 집단 표지를 섞을 수 없으므로 이 역시 보호가 되지 않는다.
옳은 순서는 다음과 같다.
- 집단별로 나누어 본다. 합친 잔차 하나가 아니라 집단마다 표준편차 \(S_j\) 와 Q-Q 그림을 따로 본다. (2)의 자료에서는 \(S_1 \approx 1\), \(S_2 \approx 2\) 가 바로 드러나고 각 집단의 Q-Q 그림은 둘 다 직선이다. 합친 그림 하나만 보면 양쪽 꼬리가 들린 모양이 나와 "두꺼운 꼬리"로 오독한다.
- 등분산을 검정한다. 레빈 검정이나 브라운–포사이드 검정으로 \(\sigma_1^2 = \sigma_2^2\) 를 직접 묻는다. 이것이 실제로 위배된 가정이다.
- 등분산을 요구하지 않는 절차로 간다. 6절이 이미 답을 적어 두었다. 웰치 분산분석이다. 정규성은 이미 성립하므로 다른 손질은 필요 없다.
- 표준화 잔차로 정규성을 다시 확인한다. \(\hat\varepsilon_{ij}/S_j\) 로 집단별 척도를 걷어 내면 척도혼합이 풀려 초과첨도가 \(0\) 으로 돌아오고, 그제야 합친 검정이 정규성만을 묻는다.
5절의 지시 "원자료가 아니라 잔차를 확인하라"는 집단 평균의 차이를 걷어 내는 절차였다. (2)가 보여 주는 것은 그 걷어 내기가 절반뿐이라는 것이다. 집단마다 다른 것이 평균만이 아니라면, 평균만 맞춘 잔차는 여전히 가정에 관한 질문과 모형에 관한 질문을 뒤섞어 둔 채로 있다. 중심화가 1단계고 표준화가 2단계다.
연습문제 11. 보기 1 은 비중심 \(t\) 분포로 \(n = 50\), \(d = 0.5\) 에서 검정력 \(0.6969\) 를, 그리고 검정력 80% 에 필요한 집단당 표본 \(64\) 를 얻었다. 비중심 \(t\) 를 쓰지 않고 정규근사만으로 같은 두 수를 구해 보자. 자유도가 크면 대립가설 아래 통계량을 근사적으로 \(\mathcal{N}(\delta, 1)\), \(\delta = d\sqrt{n/2}\) 로 볼 수 있다.
(1) 아래쪽 꼬리를 무시한 근사 검정력 \(\Phi(\delta - z_{0.975})\) 를 \(n = 50\), \(d = 0.5\) 에서 계산하고 보기 1 의 \(0.6969\) 와 비교하시오. 어느 쪽으로 틀리는가.
(2) 검정력 \(1 - \beta\) 에 필요한 집단당 표본수 공식을 유도하고 \(d = 0.5\), \(\alpha = 0.05\), \(1 - \beta = 0.80\) 에서 계산하시오. 보기 1 의 \(64\) 와 하나 차이가 나는 까닭을 (1) 과 같은 이유로 설명하시오.
풀이
(1) \(\delta = 0.5\sqrt{50/2} = 0.5 \times 5 = 2.5\) 이고 \(z_{0.975} = 1.95996\) 이므로
버린 아래쪽 꼬리는 \(\Phi(-2.5 - 1.95996) = \Phi(-4.460) = 4.1 \times 10^{-6}\) 으로 소수 넷째 자리에도 닿지 않는다. 따라서 근사 검정력은 \(0.7054\) 이고, 보기 1 의 정확값 \(0.6969\) 보다 \(0.0085\), 곧 0.85 퍼센트포인트 크게 나온다.
근사가 검정력을 부풀리는 까닭은 분모를 상수로 바꿨기 때문이다. 실제 통계량은
로 분모 \(s_p\) 가 확률변수여서 분포가 \(\mathcal{N}(\delta,1)\) 보다 넓게 퍼진다. 중심 \(\delta = 2.5\) 가 임계값 \(1.9845\) 보다 위에 있으므로, 산포가 커지면 경계 아래로 넘어가는 질량이 늘어 기각확률이 줄어든다. 정규근사는 이 손실을 세지 않는다.
(2) \(\Phi(\delta - z_{1-\alpha/2}) = 1 - \beta\) 로 두면 \(\delta - z_{1-\alpha/2} = z_{1-\beta}\), 곧 \(d\sqrt{n/2} = z_{1-\alpha/2} + z_{1-\beta}\) 이므로
수를 넣으면 \(z_{0.975} = 1.95996\), \(z_{0.80} = 0.84162\), 둘의 합이 \(2.80158\) 이고 그 제곱이 \(7.84888\) 이므로
에서 올림하여 집단당 63 개를 얻는다. 보기 1 의 정확값은 64 개였다.
차이는 하나뿐이지만 방향이 (1) 과 같다. 근사가 검정력을 과대평가하므로 필요한 표본수는 과소평가된다. 실제로 비중심 \(t\) 로 재면 \(n = 63\) 의 검정력은 \(0.7952\) 로 \(0.80\) 에 못 미치고 \(n = 64\) 에서 \(0.8015\) 가 되어 비로소 넘는다. 정규근사 공식은 설계 단계의 눈대중으로 쓰고, 경계에 걸리면 비중심 \(t\) 로 확인해야 한다. 효과크기가 작고 \(n\) 이 커질수록 이 한 개 차이는 상대적으로 더 작아지므로, 불일치가 문제가 되는 곳은 늘 표본이 작은 쪽이다.
연습문제 12. 보기 3 은 집단별로 샤피로–윌크를 세 번 돌리고 "세 번 다 통과" 를 조건으로 삼으면 전체 제1종 오류율이 \(1 - 0.95^3 = 14.3\%\) 로 부푼다고 했다.
(1) 집단 수가 \(k\) 일 때 참으로 정규인 자료를 적어도 한 번 기각할 확률을 쓰고 \(k = 5\), \(k = 10\) 에서 계산하시오. 이 확률이 처음으로 \(50\%\) 를 넘는 \(k\) 는 몇인가.
(2) 보기 3 은 "독립이라 가정하면" 이라고 적었다. 이 설계에서 그 가정이 실은 근사가 아니라 정확한 까닭을 말하시오. 집단중심화 잔차 하나에 검정을 한 번 거는 쪽에는 왜 같은 계산이 필요하지 않은가.
(3) 각 검정의 수준을 \(\alpha/k\) 로 낮추면 전체 오류율은 잡힌다. 그래도 집단별 검정이 잔차 한 번보다 나쁜 까닭을 보기 3 의 \(n = 30\) 과 \(n = 90\) 의 대비로 설명하시오.
풀이
(1) 집단마다 수준 \(\alpha = 0.05\) 로 독립한 검정을 한 번씩 하므로, 모두 통과할 확률이 \((1-\alpha)^k\) 이고 적어도 하나가 기각할 확률은
\(k = 3\) 에서 \(1 - 0.857375 = 0.1426\) 으로 보기 3 의 \(14.3\%\) 가 나오고,
이다. \(50\%\) 를 넘는 조건은 \(0.95^k < 0.5\), 곧
이므로 \(k = 14\) 이다. 실제로 \(k = 13\) 에서 \(0.4867\), \(k = 14\) 에서 \(0.5123\) 이다. 집단이 열네 개면 자료가 완벽히 정규여도 절반 넘는 실험에서 "정규성 위반" 이라는 경고를 받는다.
(2) 이 설계에서는 독립이 정확하다. 집단 \(i\) 의 샤피로–윌크 통계량은 집단 \(i\) 의 자료만의 함수이고, 집단들은 서로 독립인 표본이다. 독립인 확률변수들의 함수는 독립이므로 \(k\) 개 사건의 확률은 정확히 곱으로 쪼개진다. 근사가 들어가는 자리는 독립성이 아니라 각 검정의 실제 크기가 명목값 \(0.05\) 와 얼마나 맞는지 쪽이다.
집단중심화 잔차 쪽에는 검정이 하나뿐이므로 다중성 계산 자체가 필요 없다. 덧붙여, 잔차끼리는 독립도 아니다. 집단마다 평균을 뺐으므로 각 집단 안에서 잔차의 합이 0 이라는 제약이 걸려 자유도가 \(n\) 이 아니라 \(n - k\) 다. 쪼개서 곱할 거리가 애초에 없다는 뜻이고, 그래서 한 번만 검정하는 쪽이 맞는 설계다.
(3) 본페로니로 \(\alpha/k\) 를 쓰면 전체 오류율은 \(0.05\) 아래로 내려오지만, 잃는 것이 둘이다.
첫째, 검정력이다. 집단별 검정은 자료를 \(n_0 = 30\) 씩 쪼개 쓰는데, 보기 3 의 \(d\) 를 벌린 표가 보인 대로 샤피로–윌크는 \(n = 90\) 에서도 \(\sigma\) 의 세 배쯤 벌어져야 알아챌 만큼 둔하다. 여기서 \(n = 30\) 으로 줄이고 수준마저 \(0.05/3 = 0.0167\) 로 낮추면 남는 검정력이 거의 없다. 잔차를 모으면 \(n = 90\) 을 다 쓰고 수준도 \(0.05\) 를 그대로 쓴다.
둘째, 가설 자체가 하나다. 분산분석 모형 \(y_{ij} = \mu + \alpha_i + \varepsilon_{ij}\) 에서 정규성을 요구받는 것은 모든 집단에 공통인 오차분포 \(\varepsilon_{ij}\) 하나다. 그것을 \(k\) 개 가설로 쪼개는 것은 다중성 문제이기 전에 모형을 잘못 읽은 것이고, 본페로니는 잘못 쪼갠 것의 뒤처리일 뿐 쪼갠 손실을 되돌려 주지 않는다.
연습문제 13. 보기 3 의 (3) 은 평균이 \(-d\), \(0\), \(d\) 이고 무게가 각각 \(1/3\), 성분분산이 1 인 3성분 정규혼합의 초과첨도를 닫힌 꼴로 구했다. 무게를 \((p,\ 1-2p,\ p)\), \(0 < p \le 1/2\) 로 일반화한다.
(1) \(M \in \{-d, 0, d\}\) 와 \(Z \sim \mathcal{N}(0,1)\) 이 독립이고 \(X = M + Z\) 라 할 때 \(\operatorname{Var}(X)\) 와 \(E[X^4]\) 를 구해 초과첨도 \(\gamma_2(p,d)\) 를 쓰시오. \(p = 1/3\) 에서 보기 3 의 식이 되는지 확인하시오.
(2) 모든 \(d > 0\) 에 대해 \(\gamma_2(p,d) = 0\) 이 되는 \(p\) 를 구하시오.
(3) 그 \(p\) 와 \(d = 4\) 에서 분포가 정규와 얼마나 다른지 밀도값 셋(\(x = 0\), \(x = 2.465\), \(x = 4\))으로 보이고, 이 분포에 자크–베라 검정을 걸면 표본크기를 아무리 키워도 무엇을 못 하는지 설명하시오.
풀이
(1) \(M\) 의 분포가 0 에 대해 대칭이므로 홀수 적률은 모두 0 이고
독립이므로 \(\operatorname{Var}(X) = E[M^2] + \operatorname{Var}(Z) = 1 + 2pd^2\) 이고, 이항전개에서 \(E[M]=E[M^3]=E[Z]=E[Z^3]=0\) 인 항이 사라져
이다. 따라서
\(p = 1/3\) 을 넣으면 \(2p = 2/3\), \(12p = 4\) 이므로
로 보기 3 의 식과 글자까지 같다.
(2) \(\gamma_2 = 0\) 은 분자가 \(3(1+2pd^2)^2\) 과 같다는 뜻이므로
양변에서 \(3 + 12pd^2\) 이 지워지고 \(2pd^4 = 12p^2d^4\) 가 남는다. \(d > 0\), \(p > 0\) 이므로 \(d^4\) 와 \(p\) 로 나누면 \(2 = 12p\), 곧
\(d\) 가 식에서 완전히 떨어져 나간다는 것이 요점이다. 무게 \((1/6,\ 2/3,\ 1/6)\) 로 두면 성분을 얼마나 멀리 벌려도 초과첨도가 정확히 0 이다. 그리고 대칭이므로 왜도도 \(\gamma_1 = 0\) 이다. (2장의 하한 \(\beta_2 \ge 1 + \gamma_1^2\) 는 \(3 \ge 1\) 로 넉넉히 만족되니 모순도 없다.)
(3) \(p = 1/6\), \(d = 4\) 에서 분산은 \(1 + 2 \times \tfrac16 \times 16 = \tfrac{19}{3} = 6.3333\), 표준편차는 \(2.5166\) 이다. 같은 분산의 정규밀도와 나란히 적으면
| \(x\) | 혼합 \(f(x)\) | \(\mathcal{N}(0, 19/3)\) | 비 |
|---|---|---|---|
| \(0\) | \(0.2660\) | \(0.1585\) | \(1.678\) |
| \(2.465\) | \(0.0332\) | \(0.0981\) | \(0.339\) |
| \(4\) | \(0.0666\) | \(0.0448\) | \(1.485\) |
가운데는 정규보다 \(1.68\) 배 높고, \(x = 2.465\) 의 골짜기에서는 \(0.34\) 배로 내려앉고, \(x = 4\) 에서 다시 \(1.49\) 배로 솟는다. 곧 봉우리가 셋인 분포다(\(x = 2.465\) 가 밀도의 국소최솟값이다). 눈으로 한 번 보면 정규와 혼동할 수 없다.
그런데 자크–베라 통계량은
로 3차·4차 표본적률만 본다. 이 분포의 참값이 \(\gamma_1 = 0\), \(\gamma_2 = 0\) 이므로 \(g_1\) 과 \(g_2\) 는 둘 다 0 근처에서 흔들릴 뿐 자라지 않고, \(JB\) 도 귀무분포인 \(\chi^2_2\) 를 벗어나지 않는다. \(n\) 을 백만으로 키워도 기각률은 명목수준 \(0.05\) 에 머문다. 검정력이 1 로 가지 않는 것이 아니라, 아예 \(\alpha\) 에 붙어 있다.
반면 샤피로–윌크나 앤더슨–달링은 순서통계량 전체가 직선에서 벗어나는 모양을 보므로 이런 다봉성을 잡아낸다. 검정은 자기가 재는 양만 본다. 왜도와 첨도가 0 이라는 것은 정규성의 필요조건일 뿐이고, 자크–베라를 통과한 것은 "정규다" 가 아니라 "3차·4차 적률이 정규와 어긋나지 않는다" 는 뜻이다.
연습문제 14. 보기 3 의 (3) 은 등무게 3성분 혼합의 초과첨도가 \(d \to \infty\) 에서 \(-3/2\) 로 가므로 "하한이 \(-1.5\)" 라고 했다. 연습문제 13 에서 얻은 \(\gamma_2(p,d)\) 로 이 말의 범위를 따져 보자.
(1) \(\lim_{d \to \infty} \gamma_2(p,d)\) 를 구하고, \(p = 1/3\) 에서 \(-1.5\), \(p = 1/6\) 에서 \(0\) 이 되는지 확인하시오.
(2) 이 극한을 \(p \in (0, 1/2]\) 에서 최소화하시오. 그 최솟값이 2장의 하한 \(\beta_2 \ge 1 + \gamma_1^2\) 과 어떻게 만나는지 설명하고, 그 하한이 이 꼴의 혼합에서는 제약 \(p \le 1/2\) 와 같은 말임을 보이시오.
(3) 극한이 음수가 되는 \(p\) 의 범위를 구하시오. 그로부터 "집단 평균을 벌려 통합한 자료의 비정규성은 늘 납작한 쪽으로 생긴다" 는 말이 언제 참이고 언제 거짓인지 말하고, 보기 3 의 \(d = 3, 4\) 행의 \(g_2\) 부호와 맞는지 확인하시오.
풀이
(1) \(d \to \infty\) 에서 분자는 \(2pd^4\), 분모는 \((2pd^2)^2 = 4p^2d^4\) 가 지배하므로
\(p = 1/3\) 이면 \(\tfrac{3}{2} - 3 = -1.5\) 로 보기 3 의 값이고, \(p = 1/6\) 이면 \(3 - 3 = 0\) 으로 연습문제 13 의 결과와 맞는다(\(p = 1/6\) 에서는 모든 \(d\) 에서 0 이었으니 극한도 0 이어야 한다).
(2) \(1/(2p) - 3\) 은 \(p\) 에 대해 감소하므로 허용된 가장 큰 \(p\) 에서 최소가 된다. 무게의 합 제약 \(1 - 2p \ge 0\) 에서 \(p \le 1/2\) 이므로
\(p = 1/2\) 에서 달성된다. \(p = 1/2\) 는 가운데 성분의 무게가 0 이라는 뜻이고, \(d \to \infty\) 에서 성분의 산포 1 은 간격 \(d\) 에 비해 사라지므로 극한의 분포는 \(\pm d\) 에 질량 \(1/2\) 씩인 두점분포다.
2장의 하한과 정확히 맞는다. 여기서 \(\gamma_1 = 0\) 이므로 하한은 \(\beta_2 \ge 1\), 곧 \(\gamma_2 \ge -2\) 이고, 등호는 두점분포에서만 성립한다. 한편 이 혼합의 극한첨도는 \(\beta_2 = \gamma_2 + 3 = 1/(2p)\) 이므로
가 되어, 적률의 하한이 무게의 제약과 같은 부등식이 된다. 바꾸어 말하면 \(-2\) 는 혼합이라는 특수한 꼴에서 나온 우연한 바닥이 아니라 모든 분포가 지키는 첨도의 바닥이고, 등무게 혼합의 \(-1.5\) 는 거기에 가운데 성분이 질량 \(1/3\) 을 붙들고 있어 \(0.5\) 만큼 못 내려간 값이다.
(3) \(1/(2p) - 3 < 0 \iff 2p > 1/3 \iff p > 1/6\) 이다. 정리하면
- \(p > 1/6\): 극한이 음수 — 납작하고 다봉인 쪽으로 어긋난다.
- \(p = 1/6\): 0 — 연습문제 13 의 자크–베라 맹점.
- \(p < 1/6\): 극한이 양수 — 꼬리가 두꺼운 쪽으로 어긋난다. 예를 들어 \(p = 0.01\) 이면 극한이 \(1/0.02 - 3 = +47\) 이다.
따라서 "평균을 벌리면 납작해진다" 는 말은 바깥 집단들이 충분한 무게를 가질 때만 참이다. 보기 3 처럼 세 집단의 크기가 같으면 \(p = 1/3 > 1/6\) 이라 늘 음수이고, 실제로 표의 \(d = 3\) 에서 \(g_2 = -0.989\)(닫힌 꼴 \(-1.102\)), \(d = 4\) 에서 \(g_2 = -1.194\)(닫힌 꼴 \(-1.254\)) 로 둘 다 음수이며 바닥 \(-1.5\) 를 넘지 않는다.
반대로 크기가 작은 집단 둘만 멀리 떨어져 있으면(예: 거의 모든 관측이 한 수준에 있고 소수의 집단만 바깥에 있는 불균형 설계) 통합자료는 두꺼운 꼬리로 보인다. 진단으로 쓸 수 있는 결론은 이렇다. 집단 크기가 고르다면 통합자료의 \(g_2\) 가 양수로 나왔을 때 그것을 집단 평균 차이 탓으로 돌릴 수 없고, 꼬리나 이상치 같은 다른 원인을 찾아야 한다. 어느 쪽이든 잔차를 중심화해 검정하면 이 혼란이 처음부터 생기지 않는다.
연습문제 15. 연습문제 1 은 \(n = 15\) 의 치우친 자료를 걱정하고, 연습문제 4 는 \(n = 5000\) 에서 기각된 정규성을 무시하라고 한다. 두 조언이 왜 반대 방향인지 수로 재 보자. \(\sigma\) 를 아는 일표본 상단 \(z\) 검정(\(\alpha = 0.05\), 기각역(rejection region) \(Z_n > 1.645\))의 참 유의수준은 1차 에지워스 전개로
이다. 모집단 왜도는 \(\gamma_1 = 2\)(\(\text{Exponential}\) 꼴)로 둔다. \(\varphi(1.645) = 0.10311\), \(1 - \Phi(1.645) = 0.04998\) 이다.
(1) 보정항의 계수 \(\dfrac{\gamma_1}{6}(z^2-1)\varphi(z)\) 를 계산하고 \(n = 15\), \(100\), \(5000\) 에서 참 유의수준을 구하시오.
(2) 보정항이 \(0.001\)(0.1 퍼센트포인트) 아래로 내려가는 가장 작은 \(n\) 을 구하시오.
(3) 샤피로–윌크의 검정력은 \(n\) 이 커지면 1 로 가고 (1) 의 왜곡은 \(n^{-1/2}\) 로 0 으로 간다. 이로부터 연습문제 1 과 4 의 조언이 반대인 까닭을, 그리고 정규성 검정을 분석 분기 규칙으로 쓰는 것이 왜 정확히 거꾸로 작동하는지 쓰시오.
(4) \(t\) 통계량에 대해서는 같은 차수의 보정항이 \(\dfrac{\gamma_1}{6\sqrt n}(z^2-1)\varphi(z)\) 대신 \(-\dfrac{\gamma_1}{6\sqrt n}(2z^2+1)\varphi(z)\) 로 바뀐다. \(n = 100\) 에서 참 유의수준을 구하고 \(z\) 검정과 부호가 반대인 것을 해석하시오. 같은 식을 \(n = 15\) 에 쓰면 무엇이 잘못되는가.
풀이
(1) \(z = 1.645\) 에서 \(z^2 - 1 = 2.706025 - 1 = 1.706025\) 이므로 계수는
참 유의수준은 \(0.04998 + 0.058637/\sqrt{n}\) 이다.
| \(n\) | \(\sqrt n\) | 보정항 | 참 유의수준 |
|---|---|---|---|
| \(15\) | \(3.873\) | \(+0.01514\) | \(0.0651\) |
| \(100\) | \(10\) | \(+0.00586\) | \(0.0558\) |
| \(5000\) | \(70.71\) | \(+0.00083\) | \(0.0508\) |
명목 5% 가 \(n = 15\) 에서 \(6.5\%\)(상대오차 \(+30\%\)), \(n = 100\) 에서 \(5.6\%\)(\(+12\%\)), \(n = 5000\) 에서 \(5.08\%\)(\(+1.7\%\)) 가 된다.
(2) \(0.058637/\sqrt n < 0.001\) 은 \(\sqrt n > 58.637\), 곧 \(n > 3438.2\) 이므로 가장 작은 \(n\) 은 3439 다. 왜도가 \(\gamma_1 = 2\) 나 되는 분포에서도 표본이 3400 을 넘으면 평균에 관한 추론의 수준 왜곡은 0.1 퍼센트포인트 아래로 내려간다.
(3) 두 조언이 반대인 까닭은 해악과 탐지력이 \(n\) 에 반대로 반응하기 때문이다.
- 해악(수준 왜곡)은 \(c/\sqrt n\) 으로 줄어든다. 비정규성이 추론을 망치는 정도는 \(n\) 이 커지면 사라진다.
- 탐지력(정규성 검정의 검정력)은 1 로 커진다. 고정된 비정규 분포에서 표본을 늘리면 샤피로–윌크는 결국 거의 확실하게 기각한다.
그래서 연습문제 1 의 \(n = 15\) 에서는 해악이 가장 큰데(\(+30\%\)) 정규성 검정은 거의 아무것도 못 잡아 조용히 통과시키고, 연습문제 4 의 \(n = 5000\) 에서는 해악이 사실상 없는데(\(+1.7\%\), 그마저 \(\gamma_1 = 2\) 라는 센 왜도에서) 검정이 \(p < 0.001\) 로 비명을 지른다.
분기 규칙이 거꾸로라는 말이 이것이다. 자동 분기는 "검정이 기각하면 비모수" 로 움직이므로, 비모수가 꼭 필요한 작은 표본에서는 발동하지 않고 필요 없는 큰 표본에서만 발동한다. 보기 1 의 (2) 가 말한 "이 분기 규칙은 자료가 정규인가가 아니라 표본이 큰가에 따라 갈라진다" 를 수로 적은 것이 위의 표다. 올바른 판단 기준은 \(p\) 값이 아니라 왜도·첨도로 잰 이탈의 크기와 쓰려는 절차의 로버스트성이다. \(\gamma_1\) 을 추정해 \(c/\sqrt n\) 을 직접 계산해 보는 것이 정규성 검정을 돌리는 것보다 훨씬 많은 것을 말해 준다.
(4) \(2z^2 + 1 = 2 \times 2.706025 + 1 = 6.41205\) 이므로 \(t\) 쪽 계수는
이고, \(n = 100\) 에서 참 유의수준은
같은 자료, 같은 명목 5% 인데 \(z\) 검정은 \(5.6\%\) 로 부풀고 \(t\) 검정은 \(2.8\%\) 로 쪼그라든다. 까닭은 분모다. 오른쪽으로 치우친 자료에서는 큰 관측값이 \(\bar X\) 와 \(s\) 를 동시에 끌어올려 둘이 양으로 상관되고, 분자가 커질 때 분모도 커져 \(T\) 가 덜 커진다. 상단 검정에서는 이 상쇄가 왜도의 효과를 지나치게 되돌려 검정을 보수적으로 만든다. 부호가 뒤집혔으니 하단 검정(\(T < -1.645\))에서는 거꾸로 수준이 부푼다. \(t\) 통계량은 분자와 분모 두 자리에서 정규성에 기대고, 두 자리의 불일치가 같은 방향이 아니다.
\(n = 15\) 에 그대로 넣으면
로 음수가 나온다. 확률이 음수일 수 없으니 이것은 전개가 깨졌다는 신호다. 1차 보정항 \(0.0569\) 가 주항 \(0.04998\) 보다 커졌으므로 \(O(n^{-1})\) 이하를 버린 근거가 사라진 것이다. 곧 \(\gamma_1 = 2\) 와 \(n = 15\) 라는 조합에서는 왜곡의 크기를 점근전개로 추정할 수조차 없다. 연습문제 1 이 \(n = 15\) 의 심한 왜도에 윌콕슨 부호순위나 부트스트랩을 권한 것은 이 뜻이다. 보정이 클 뿐 아니라 보정의 크기를 믿을 수 없다.
정리하며¶
\(t\) 검정의 정규성 가정은 원자료에, 분산분석의 정규성 가정은 잔차에 적용된다. 두 절차 모두 비정규성에 중간 정도로 로버스트하다. 균형설계에서는 둘이 사실상 같고(\(0.0284\) 대 \(0.0281\)), 불균형이면 오히려 \(t\) 쪽이 명목에서 더 멀다(\(0.0679\) 대 \(0.0586\)). 이탈을 보는 데에는 시각적 방법(잔차의 Q-Q 그림)과 형식적 검정(샤피로–윌크)을 함께 쓴다. 다만 §\(7\) 이 적어 둔 것을 잊지 말 것 — 그 수는 문지기가 아니다. 통과했다는 것이 절차가 정확하다는 뜻이 아니고, 같은 자료를 보고 검정을 갈아타면 그 고르는 행위가 실제 유의수준을 바꾼다. 무엇을 쓸지는 자료의 성격과 설계로 미리 정하고, 진단은 그렇게 정한 절차가 무엇을 말하고 있는지 읽는 데 쓴다.
다음 쪽 회귀에서의 정규성 (잔차 진단)으로 넘어간다. 분산분석에서 잔차에 걸었던 가정을 그대로 회귀로 옮기는데, 거기서는 무엇이 정규여야 하는지가 더 자주 오해된다 — \(y\) 가 아니라 잔차다.