콘텐츠로 이동

다고스티노의 K 제곱 검정

개요

들어가는 이야기 — 따로는 못 넘고 합치면 넘는다

어떤 표본에서 왜도(skewness)의 \(z\) 점수가 \(Z_1 = 1.8\), 첨도(kurtosis)의 \(z\) 점수가 \(Z_2 = 1.8\) 로 나왔다. 둘을 따로 보면 각각 \(p = 0.072\) 여서 어느 쪽도 정규성(normality)을 기각하지 못한다. 그런데 두 증거를 합치면 \(K^2 = 6.48\) 로 \(p = 0.039\) 가 되어 기각한다. 각각은 약한 증거 둘이 함께 있을 때 그것을 하나의 수로 모으는 자가 이 쪽의 검정이다.

묶어서 얻는 것은 맹점을 덮는 일이다. 균등분포는 완벽하게 대칭이고 꼬리만 얇은데(초과첨도 \(-1.2\)), 첨도 검정은 \(0.999\) 로 거의 언제나 잡아내는 반면 왜도 검정의 기각률은 \(0.001\) 이다. 반대로 왜도가 \(0.85\) 인 치우친 자료에서는 왜도 검정이 \(0.91\), 첨도 검정이 \(0.24\) 다. 한쪽만 들고 가면 어느 방향의 이탈 앞에서 눈이 감긴다.

그런데 두 점수를 그냥 더하면 되는 것이 아니다. \(n = 30\) 에서 단순 \(z\) 점수로 첨도를 재면 실제 기각률이 \(0.0225\) 로 명목 \(0.05\) 의 절반도 되지 않는데, 변환을 거친 쪽은 \(0.0487\) 로 제자리에 온다. 그 변환을 손에 넣는 데 사십이 년이 걸린 사정이 아래 상자에 있다.

그러면 두 증거를 하나로 모으는 일은 어떤 셈이고, 모은 뒤의 분포가 왜 자유도 \(2\) 의 카이제곱인가. 그리고 기각했을 때 원인을 어디서 읽는가. \(\S 2\) 와 \(\S 3\) 이 두 변환을 세우고 \(\S 4\) 가 「옴니버스」라는 말의 값을 수로 적는다.

두 칸짜리 그림. 왼쪽은 왜도 검정, 오른쪽은 첨도 검정의 실제 1 종 오류율을 표본크기에 대해 그린 것이다. 표준오차로 나누기만 한 점수는 아래쪽에서 천천히 올라오고 변환을 거친 점수는 어느 표본크기에서도 명목 0.05 에 붙어 있다

두 점수를 그냥 더하면 되는 것이 아니라는 말이 이 두 칸이다. 표준오차로 나누기만 한 점수는 \(n = 30\) 에서 첨도 쪽이 \(0.0231\) — 명목 \(0.05\) 의 절반도 되지 않고, \(n = 1000\) 까지 가야 \(0.046\) 에 닿는다. 변환을 거친 쪽은 \(n = 30\) 에서 이미 \(0.0507\) 로 제자리에 있다. 왜도 쪽도 같은 모양인데 불일치가 덜하다 — 첨도가 더 오래 치우쳐 있다는 뜻이고, 그래서 그 변환을 손에 넣는 데 사십이 년이 걸린 사정이 아래 상자에 있다. 반복은 자리마다 \(60{,}000\) 회다.

확인한 곳 — 이 쪽 「사십이 년 걸린 숙제」 상자와 그 출처 줄. 기각률은 모두 직접 모의실험한 값이다

다고스티노의 \(K^2\) 검정은 두 핵심 측도인 왜도와 첨도를 결합하여 주어진 표본이 정규분포를 따르는지 평가하는 형식적 통계검정이다. 자료 분포의 비대칭성(왜도)과 꼬리의 두꺼움(첨도)을 함께 살펴 정규성에서의 전반적 이탈을 재는 결합 검정통계량(test statistic)을 계산한다. 왜도와 첨도를 하나의 검정으로 함께 고려하고 싶을 때 특히 유용하다.

묻는 것은 다른 정규성 검정과 같다. 귀무가설(null hypothesis) \(H_0\) 는 자료가 정규분포를 따른다는 것이고 대립가설(alternative hypothesis) \(H_a\) 는 따르지 않는다는 것이다. 기각하면 「정규가 아니다」까지만 말하고 어느 쪽으로 벗어났는지는 말하지 않는다.

검정통계량은 왜도와 첨도의 z 점수를 하나의 값으로 결합한다. 이 검정통계량이 유의하고 그에 딸린 \(p\) 값이 작으면(주어진 유의수준, 보통 0.05 미만) 귀무가설을 기각하고 자료가 정규분포를 따르지 않는다고 결론짓는다.


1. 다고스티노의 K 제곱 검정이 작동하는 방식

  1. 왜도 계산: 먼저 표본의 왜도, 곧 분포의 비대칭성을 잰다. 완전한 정규분포에서 왜도는 0에 가까워야 한다.

  2. 첨도 계산: 다음으로 첨도를 잰다. 첨도는 분포의 꼬리 두꺼움을 기술한다. 정규분포의 첨도는 3(중첨)이다.

  3. 두 측도의 결합: 왜도와 첨도의 z 점수 \(Z_{\text{skewness}}\)와 \(Z_{\text{kurtosis}}\)를 계산하고, 이 z 점수들의 제곱을 더해 검정통계량 \(K^2\)을 만든다.

    \[ K^2 = Z_{\text{skewness}}^2 + Z_{\text{kurtosis}}^2 \]

    이 검정통계량은 자유도 2인 카이제곱분포(chi-squared distribution)를 따른다.

  4. p 값 계산: \(K^2\)의 값에 근거하여 \(p\) 값을 계산한다. 이는 귀무가설 아래에서 그만큼의 정규성 이탈을 관측할 확률을 알려준다.

그림으로 보는 통계학 1. 사십이 년 걸린 숙제

이 쪽은 「다고스티노와 피어슨의 변환」을 여러 번 부른다. 그 피어슨은 칼 피어슨이 아니라 그의 아들 에곤 피어슨이고, 이 책에 이미 한 번 나왔다.

\(1931\) 년에 그는 난수표를 뽑아 손으로 표본을 만들며 비정규 모집단에서 \(F\) 검정이 버티는지를 조사했다(15.3절 비정규성에 대한 민감도 의 상자). 그가 내린 결론은 조건부 안심이었다 — 정규성에서의 이탈이 극단적이지 않으면 \(F\) 가 타당하다.

그 문장에는 숙제가 붙어 있다. 「극단적」인지를 무엇으로 재는가. \(1973\) 년에 그가 랠프 다고스티노와 함께 그 자를 내놓는다(「정규성 이탈에 대한 검정 — \(b_2\) 와 \(\sqrt{b_1}\) 의 분포에 대한 경험적 결과」, 『Biometrika』 \(60\) 권 \(3\) 호 \(613\)–\(622\) 쪽). \(1931\) 년에서 사십이 년 뒤다.

자의 모양이 그 사이의 생각을 그대로 담고 있다. 위 절의

\[ K^2 = Z_1^2 + Z_2^2 \]

에서 두 항은 왜도와 첨도다. \(1931\) 년에 그가 「이탈」이라 부른 것이 실은 두 방향이 었고, 그것을 각각 표준화해 제곱해 더한 것이 이 통계량이다. 한 방향만 보는 검정은 다른 방향의 이탈을 놓치므로 \(\S 4\) 가 「옴니버스」라 부르는 성질이 여기서 나온다.

논문의 부제도 읽을 만하다 — 「경험적 결과」다. \(1931\) 년에 난수표로 하던 일을 \(1973\) 년에도 같은 방법으로 했다. 달라진 것은 도구뿐이고, 묻는 방식은 사십이 년 동안 같았다. \(b_2\) 와 \(\sqrt{b_1}\) 의 표집분포(sampling distribution)가 작은 표본에서 정규와 얼마나 다른지 모의실험으로 캐낸 뒤, 그것을 정규로 되돌리는 변환을 찾아 적어 둔 것이 \(\S 2\) 와 \(\S 3\) 의 복잡한 식들이다.

확인한 곳 — 논문이 『Biometrika』 \(60\) 권 \(3\) 호 \(613\)–\(622\) 쪽의 「Tests for Departure from Normality. Empirical Results for the Distributions of \(b_2\) and \(\sqrt{b_1}\)」이고 저자가 랠프 다고스티노와 에곤 피어슨이라는 것, \(K^2\) 이 표준화한 왜도와 첨도의 제곱합(sum of squares)으로 귀무가설 아래 자유도 \(2\) 의 카이제곱을 따른다는 것, 그리고 작은 표본에서 성능이 좋은 검정으로 꼽힌다는 것을 확인했다. 에곤 피어슨의 \(1931\) 년 논문에 대한 것은 15.3절 상자에서 확인한 그대로다


2. Z_skewness를 계산하는 법

\(Z_{\text{skewness}}\)의 계산은 정규성이라는 귀무가설 아래에서 표본의 왜도가 0에서 유의하게 벗어나는지 검정하기 위해 왜도를 표준화하는 과정이다.

크기 \(n\)인 표본이 주어지면 다음 순서로 계산한다.

1. 표본왜도 \(S\)를 계산한다.

\[ S = \frac{\frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^3}{\left(\frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2\right)^{3/2}} \]

여기서 \(x_i\)는 \(i\)번째 관측값, \(\bar{x}\)는 표본평균(sample mean)이며, 분자는 3차 적률(비대칭)을 재고 분모는 이를 무차원으로 정규화한다.

2. \(S\)를 표준화한다.

2.1 왜도의 표준오차 \(\text{SE}_{S}\)를 계산한다.

\[ \text{SE}_{S} = \sqrt{\frac{6n (n-1)}{(n-2)(n+1)(n+3)}} \]

2.2 \(S\)를 표준화하여 \(Z_{\text{skewness}}\)를 얻는다.

\[ Z_{\text{skewness}} = \frac{S}{\text{SE}_{S}} \]

핵심 사항은 이렇다.

  • \(Z_{\text{skewness}}\)는 정규성이라는 귀무가설 아래에서 근사적으로 표준정규분포 \(N(0, 1)\)를 따른다.
  • \(|Z_{\text{skewness}}|\)가 크면 왜도로 인한 유의한 정규성 이탈을 나타낸다.

3. Z_kurtosis를 계산하는 법

크기 \(n\)인 표본이 주어지면 다음 순서로 계산한다.

1. 표본첨도 \(K\)를 계산한다.

\[ K = \frac{\frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^4}{\left(\frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2\right)^2} \]

여기서 \(x_i\)는 \(i\)번째 관측값, \(\bar{x}\)는 표본평균이며, 분자는 4차 적률(꼬리의 두꺼움)을 재고 분모는 이를 정규화한다.

2. \(K\)를 초과첨도로 조정한다.

\[ K_{\text{excess}} = K - 3 \]

3. 첨도의 표준오차 \(\text{SE}_{K}\)를 계산한다.

\[ \text{SE}_{K} = \sqrt{\frac{24n(n-1)^2}{(n-3)(n-2)(n+3)(n+5)}} \]

4. \(K_{\text{excess}}\)를 표준화한다.

\[ Z_{\text{kurtosis}} = \frac{K_{\text{excess}}}{\text{SE}_{K}} \]

핵심 사항은 이렇다.

  • \(Z_{\text{kurtosis}}\)는 정규성이라는 귀무가설 아래에서 근사적으로 표준정규분포 \(N(0, 1)\)를 따른다.
  • \(|Z_{\text{kurtosis}}|\)가 크면 첨도로 인한 유의한 정규성 이탈을 나타낸다.

위의 단순 z 점수는 scipy가 계산하는 값과 다르다

표준오차로 나누는 위의 z 점수는 \(n \to \infty\)일 때에만 표준정규로 수렴하는 점근적 근사이다. scipy.stats.skewtest와 kurtosistest는 다고스티노와 피어슨이 제안한 추가 정규화 변환을 적용하여 유한표본에서 표준정규 근사를 훨씬 정확하게 만든다.

두 값의 차이는 표본이 작을수록 커진다. 같은 자료에 대해

\(n\) 단순 \(Z_{\text{skewness}}\) scipy 단순 \(Z_{\text{kurtosis}}\) scipy
1000 0.4378 0.4402 \(-0.3026\) \(-0.1980\)
30 \(-1.1943\) \(-1.2927\) 0.3925 0.9176

\(n = 30\)에서 첨도 z 점수는 2배 이상 차이가 난다. 따라서 위 공식은 원리를 이해하는 용도로만 쓰고 실제 계산에는 scipy.stats.normaltest를 써야 한다.

변환이 정확히 무엇을 고치는가

위 경고 상자의 표는 한 표본에서 두 값이 다르다는 것만 보여준다. 그것이 왜 문제인지는 귀무분포 전체를 봐야 드러난다. 아래 그림은 진짜 \(N(0,1)\) 자료에서 \(n = 30\)짜리 표본을 80000번 뽑아, 그때마다 단순 \(z\) 점수(주황 히스토그램)와 scipy의 변환된 \(z\) 점수(파란 윤곽선)를 계산한 결과다. 검은 파선이 두 통계량이 따라야 할 \(N(0,1)\)이다.

단순 z 점수와 scipy의 변환된 z 점수의 귀무분포를 왜도와 첨도에 대해 비교한 그림

왼쪽 왜도 칸에서는 두 분포가 제법 비슷하다. 주황 히스토그램이 \(N(0,1)\)보다 가운데가 약간 높고 꼬리가 짧을 뿐이다. 그 결과 \(|z| > 1.96\)을 기각선으로 삼았을 때 실제 기각률이 \(0.0416\)이 된다. 약속한 \(0.05\)보다 17% 낮다. 변환을 거친 쪽은 \(0.0490\)으로 거의 정확하다.

오른쪽 첨도 칸은 사정이 전혀 다르다. 주황 히스토그램이 \(-2\) 근처에서 벽에 부딪힌 듯 뚝 끊기고, 봉우리가 \(-0.6\) 근처로 밀려 있으며, 오른쪽으로 길게 늘어져 있다. 표준정규와 닮은 구석이 거의 없다. 이렇게 생긴 이유는 간단하다. 초과첨도는 아래로 \(-2\)라는 수학적 한계가 있는 반면 위로는 끝이 없다. \(n = 30\)에서 그 비대칭이 고스란히 드러나는 것이다. 이 분포에 \(|z| > 1.96\)을 적용하면 실제 기각률은 \(0.0225\), 약속한 값의 절반도 되지 않는다. 변환을 거친 파란 곡선은 \(0.0487\)로 \(N(0,1)\)에 잘 포개진다.

다고스티노와 피어슨의 변환이 하는 일이 바로 이것이다. 표준오차로 나누는 것만으로는 중심과 산포밖에 맞출 수 없다. 변환은 그 위에 비대칭까지 바로잡아 통계량의 모양 자체를 정규 쪽으로 옮긴다. \(K^2 = Z_1^2 + Z_2^2\)이 \(\chi^2_2\)을 따른다는 말은 \(Z_1\)과 \(Z_2\)가 각각 표준정규라는 전제 위에 서 있으므로, 이 교정 없이는 \(K^2\)의 \(p\) 값도 믿을 수 없다.

보기 1. K-제곱이 두 검정의 합임을 확인하기. \(\mathcal{N}(0,1)\)에서 \(n = 1000\)개를 뽑아 세 함수를 모두 불러 본다.

(1) normaltest의 통계량이 skewtest와 kurtosistest의 \(Z\) 제곱합과 같은지 확인하고, \(p\) 값을 \(K^2\)만의 닫힌 꼴로 쓰시오.

(2) 제곱합을 \(\chi^2_2\)로 읽으려면 \(Z_1\)과 \(Z_2\)가 독립인 표준정규여야 한다. 정규 자료에서 실제로 그런지 모의실험으로 확인하시오. 상관계수, 두 표준편차, \(K^2\)의 평균·분산, 그리고 실제 기각률을 각각 이론값과 나란히 적으시오.

풀이

(1) 끝자리까지 같고, \(p = e^{-K^2/2}\)다. 이 표본에서 \(Z_1 = 0.4402147002\), \(Z_2 = -0.1979898523\)이므로

\[ K^2 = Z_1^2 + Z_2^2 = 0.1937889... + 0.0392000... = 0.2329889638562599 \]

이고 stats.normaltest가 돌려주는 값이 같은 부동소수점 수다. normaltest가 두 검정을 내부에서 그대로 불러 제곱해 더하는 것이니 당연하지만, 직접 확인해 보면 \(K^2\)이 새로운 통계량이 아니라 두 검정의 묶음일 뿐이라는 점이 분명해진다.

자유도 2인 카이제곱은 평균 2인 지수분포이므로 생존함수(survival function)가 \(e^{-x/2}\)다. 따라서

\[ p = P(\chi^2_2 > K^2) = e^{-K^2/2} = e^{-0.11649448} = 0.8900350082402695 \]

이고, 이 역시 normaltest의 \(p\) 값과 마지막 자리까지 일치한다. \(K^2\)이 작으니 기각하지 못한다.

(2) 네 가지 모두 이론값과 맞는다. \(n = 1000\)인 정규 표본을 4만 번 뽑아 재면

재는 것 이론값 모의값 몬테카를로 오차
\(\operatorname{corr}(Z_1, Z_2)\) \(0\) \(-0.0019\) \(\pm 0.0050\)
\(\mathrm{SD}(Z_1)\) \(1\) \(0.9922\) —
\(\mathrm{SD}(Z_2)\) \(1\) \(0.9995\) —
\(\mathbb{E}[K^2]\) \(2\) \(1.9834\) —
\(\mathrm{Var}(K^2)\) \(4\) \(4.1826\) —
\(P(K^2 > 5.991)\) \(0.05\) \(0.0502\) \(\pm 0.0011\)

이다. 상관계수가 \(-0.0019\)로 몬테카를로(Monte Carlo) 오차 \(1/\sqrt{R} = 0.0050\)의 절반도 안 되니 0과 구별되지 않는다. 이것은 우연이 아니다. 정규분포는 대칭이므로 홀수 차수 적률에서 나온 \(g_1\)과 짝수 차수 적률에서 나온 \(g_2\)가 상관을 갖지 않는다. 부호를 뒤집어도 \(g_2\)는 그대로인데 \(g_1\)은 뒤집히므로, 둘의 공분산이 자기 자신의 음수와 같아야 하고 따라서 0이다.

두 표준편차가 1에 붙고 상관이 0이므로 \(K^2\)은 제대로 \(\chi^2_2\)를 따른다. 기각률 \(0.0502\)가 명목 \(0.05\)에서 몬테카를로 표준오차의 \(0.2\)배 안이다. \(n = 1000\)에서 다고스티노 \(K^2\)은 약속한 크기를 정확히 지킨다.

한 가지 짚어 둘 것이 있다. 위 본문의 두 표준오차

\[ \mathrm{SE}_S = \sqrt{\frac{6n(n-1)}{(n-2)(n+1)(n+3)}}, \qquad \mathrm{SE}_K = \sqrt{\frac{24n(n-1)^2}{(n-3)(n-2)(n+3)(n+5)}} \]

는 보정판 \(G_1\), \(G_2\)의 것이다. 본문이 \(S\)와 \(K\)를 \(1/n\) 적률로 정의했으므로 그것은 비보정판 \(g_1\), \(b_2\)이고, 그 분산은

\[ \mathrm{Var}(g_1) = \frac{6(n-2)}{(n+1)(n+3)}, \qquad \mathrm{Var}(b_2) = \frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} \]

이다. 두 쌍은 보정 계수로 정확히 이어진다. \(G_1 = \frac{\sqrt{n(n-1)}}{n-2}g_1\)에서

\[ \mathrm{Var}(G_1) = \frac{n(n-1)}{(n-2)^2}\cdot\frac{6(n-2)}{(n+1)(n+3)} = \frac{6n(n-1)}{(n-2)(n+1)(n+3)} \]

이고, \(G_2 = \frac{(n+1)(n-1)}{(n-2)(n-3)}\bigl(b_2 - \mathbb{E}[b_2]\bigr)\)에서

\[ \mathrm{Var}(G_2) = \frac{(n+1)^2(n-1)^2}{(n-2)^2(n-3)^2}\cdot\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} = \frac{24n(n-1)^2}{(n-2)(n-3)(n+3)(n+5)} \]

이다. 두 항등식을 수로 확인하면 \(n = 1000\)에서 좌변과 우변이 열 자리까지 같다. 실제 값은 \(\mathrm{SD}(g_1) = 0.07723\) 대 \(\mathrm{SD}(G_1) = 0.07734\), \(\mathrm{SD}(g_2) = 0.15376\) 대 \(\mathrm{SD}(G_2) = 0.15453\)이다. \(n = 1000\)에서는 차이가 \(0.1\)–\(0.5\%\)에 지나지 않지만, 비보정 통계량을 보정판의 표준오차로 나누면 \(z\) 점수가 그만큼 틀어진다. 작은 표본에서는 그 틀어짐이 커진다.

import numpy as np
from scipy import stats

np.random.seed(0)

data = np.random.normal(0, 1, 1000)

# D'Agostino 의 K^2 은 왜도 검정과 첨도 검정을 하나로 묶은 것이다.
# 각 검정의 Z 를 제곱해 더하면 정확히 K^2 이 된다는 것을 아래에서 확인한다.
# 두 Z 가 대략 독립인 표준정규이므로 그 합이 자유도 2 인 카이제곱을 따른다.
Z_skewtest, p_value = stats.skewtest(data)
Z_kurtosistest, p_value = stats.kurtosistest(data)
print(f"{Z_skewtest**2 + Z_kurtosistest**2 = }")

# scipy 에서는 normaltest 가 곧 D'Agostino 의 K^2 검정이다.
stat, p_value = stats.normaltest(data)

print(f"D'Agostino's K-squared Test: Statistic={stat}, p-value={p_value}")

alpha = 0.05
if p_value > alpha:
    print("Fail to reject H_0: The data is normally distributed.")
else:
    print("Reject H_0: The data is not normally distributed.")

출력:

Z_skewtest**2 + Z_kurtosistest**2 = 0.2329889638562599
D'Agostino's K-squared Test: Statistic=0.2329889638562599, p-value=0.8900350082402695
Fail to reject H_0: The data is normally distributed.

\(p\) 값의 닫힌 꼴과 독립성(independence)·보정을 함께 확인한다.

import numpy as np
from scipy import stats

np.random.seed(0)
data = np.random.normal(0, 1, 1000)
z1 = stats.skewtest(data)[0]
z2 = stats.kurtosistest(data)[0]
K2 = z1**2 + z2**2
print(f"Z1 = {z1:.10f},  Z2 = {z2:.10f}")
print(f"exp(-K2/2)   = {np.exp(-K2 / 2)!r}")
print(f"normaltest p = {stats.normaltest(data)[1]!r}")

# 두 Z 가 독립인 표준정규인가 — 정규 자료에서 직접 잰다.
rng = np.random.default_rng(21)
R, n = 40_000, 1000
X = rng.standard_normal((R, n))
Z1 = np.array([stats.skewtest(x)[0] for x in X])
Z2 = np.array([stats.kurtosistest(x)[0] for x in X])
print(f"\ncorr(Z1, Z2) = {np.corrcoef(Z1, Z2)[0, 1]:+.4f}   (MC SE 약 {1 / np.sqrt(R):.4f})")
print(f"sd(Z1) = {Z1.std(ddof=1):.4f},  sd(Z2) = {Z2.std(ddof=1):.4f}   (이론 1)")
K2s = Z1**2 + Z2**2
print(f"K^2 평균 {K2s.mean():.4f} (이론 2),  분산 {K2s.var(ddof=1):.4f} (이론 4)")
print(f"기각률 = {np.mean(K2s > stats.chi2.ppf(0.95, 2)):.4f}"
      f"  (명목 0.05, MC SE {np.sqrt(0.05 * 0.95 / R):.4f})")

# 본문의 두 SE 가 어느 판본의 것인가 — 보정 항등식을 수로 확인한다.
var_g1 = 6.0 * (n - 2) / ((n + 1) * (n + 3))
var_G1 = 6.0 * n * (n - 1) / ((n - 2) * (n + 1) * (n + 3))
var_b2 = 24.0 * n * (n - 2) * (n - 3) / ((n + 1) ** 2 * (n + 3) * (n + 5))
var_G2 = 24.0 * n * (n - 1) ** 2 / ((n - 3) * (n - 2) * (n + 3) * (n + 5))
c = (n + 1) * (n - 1) / ((n - 2) * (n - 3))
print(f"\nn(n-1)/(n-2)^2 * Var(g1) = {n * (n - 1) / (n - 2)**2 * var_g1:.10f}"
      f"   Var(G1) = {var_G1:.10f}")
print(f"c^2 * Var(b2)            = {c * c * var_b2:.10f}   Var(G2) = {var_G2:.10f}")
print(f"SD(g1) = {np.sqrt(var_g1):.5f}, SD(G1) = {np.sqrt(var_G1):.5f}, "
      f"SD(g2) = {np.sqrt(var_b2):.5f}, SD(G2) = {np.sqrt(var_G2):.5f}")

출력:

Z1 = 0.4402147002,  Z2 = -0.1979898523
exp(-K2/2)   = 0.8900350082402695
normaltest p = 0.8900350082402695

corr(Z1, Z2) = -0.0019   (MC SE 약 0.0050)
sd(Z1) = 0.9922,  sd(Z2) = 0.9995   (이론 1)
K^2 평균 1.9834 (이론 2),  분산 4.1826 (이론 4)
기각률 = 0.0502  (명목 0.05, MC SE 0.0011)

n(n-1)/(n-2)^2 * Var(g1) = 0.0059820658   Var(G1) = 0.0059820658
c^2 * Var(b2)            = 0.0238808359   Var(G2) = 0.0238808359
SD(g1) = 0.07723, SD(G1) = 0.07734, SD(g2) = 0.15376, SD(G2) = 0.15453

\(e^{-K^2/2}\)가 normaltest의 \(p\) 값과 열여섯 자리까지 같고, 두 보정 항등식의 좌우가 열 자리까지 같다. 유도한 것이 모두 맞는다. \(\square\)

4. 왜 옴니버스 검정인가

두 검정은 서로의 맹점을 덮는다

왜도 검정과 첨도 검정을 나란히 세워 보면 \(K^2\) 가 왜 필요한지가 드러난다. 아래 그림의 왼쪽 칸에는 평균 0, 분산 1로 맞춘 네 분포가 있다. 모두 중심과 산포가 같고 모양만 다르다. 오른쪽 칸은 각 모집단에서 \(n = 100\)인 표본을 8000번 뽑아 두 검정과 다고스티노 \(K^2\)의 기각률을 잰 것이다.

왜도 검정과 첨도 검정이 서로 다른 이탈에 반응하는 모습을 보인 그림

정규 모집단에서는 세 막대가 모두 \(0.05\) 근처에 머문다(\(0.05\), \(0.05\), \(0.06\)). 약속이 지켜진다는 확인이다.

치우친 자료(왜도 \(0.85\))에서는 왜도 검정이 \(0.91\)로 압도적이고 첨도 검정은 \(0.24\)에 그친다. 예상대로다. 정작 눈여겨볼 곳은 세 번째 칸이다. 균등분포는 완벽하게 대칭이고 꼬리만 얇다(초과첨도 \(-1.2\)). 첨도 검정은 \(0.999\)로 거의 언제나 잡아내는 반면, 왜도 검정의 기각률은 \(0.001\)이다. 8000번 중 열 번 남짓. 이것이 맹점이라는 말의 뜻이다. 왜도 검정은 균등분포와 정규분포를 구별할 능력이 전혀 없다. 오히려 명목 \(0.05\)보다도 한참 낮은데, 꼬리가 얇으면 \(g_1\)의 실제 변동이 정규성 아래에서 가정한 것보다 작아져 검정이 지나치게 보수적이 되기 때문이다.

네 번째 칸은 좀 더 미묘하다. \(t_5\)는 역시 완벽하게 대칭인데 왜도 검정의 기각률이 \(0.40\)이나 된다. 이것을 "왜도 검정이 두꺼운 꼬리도 잡아낸다"고 읽으면 안 된다. 모집단의 왜도는 정확히 0이므로 이 기각은 전부 잘못된 기각이다. 원인은 왜도 검정이 \(g_1\)의 분산을 \(6/n\) 근처로 가정하는 데 있다. 꼬리가 두꺼우면 \(g_1\)이 그보다 훨씬 크게 흔들리므로 정규성 아래의 척도로 재면 자꾸 "유의하게 치우쳤다"는 결론이 나온다. 앞 쪽에서 본 대로 \(g_1\)은 사실상 꼬리의 요약이기 때문이다.

정리하면 이렇다. 두 검정은 서로 다른 방향을 보며, 각자 보지 못하는 방향이 있고, 자기 방향이 아닌 곳에서 나온 기각은 해석을 조심해야 한다. 그래서 실무에서는 둘을 함께 돌리고 — 더 낫게는 둘을 하나로 묶은 다고스티노 \(K^2\)을 쓰고 — 기각되었을 때 \(Z_1\)과 \(Z_2\) 중 어느 쪽이 컸는지를 확인한다. 위 그림에서 보라색 \(K^2\) 막대가 두 검정 중 높은 쪽에 거의 붙어 있는 것이 그 이유다(둘째 칸만 예외로 \(0.07\) 낮고, 연습문제 16 이 그 까닭을 따진다).


두 상황을 생각해 보자.

  1. 오른쪽으로 치우쳤지만 첨도는 정상인 자료: 왜도 검정은 기각하지만 첨도 검정은 기각하지 않을 수 있다. \(Z_1^2\)이 크므로 \(K^2\) 검정은 여전히 기각한다.
  2. 대칭이지만 꼬리가 두꺼운 자료: 왜도 검정은 기각하지 않지만(\(Z_1 \approx 0\)) 첨도 검정은 기각한다. 이번에도 \(K^2\)이 기각한다.

두 적률을 결합함으로써 \(K^2\)은 어느 방향의 이탈에도 민감해진다. 나아가 자료가 약간 치우쳤고 동시에 약간 고첨인 경우처럼 각 성분의 증거가 개별적으로는 유의하지 않아도, 둘을 합친 증거가 \(K^2\)을 임계값 너머로 밀어 올릴 수 있다. 예컨대 \(Z_1 = 1.8\), \(Z_2 = 1.8\)이면 각각은 \(p = 0.072\)로 기각하지 못하지만 \(K^2 = 6.48\)은 \(p = 0.039\)로 기각한다.

평면 위에서 보면 한눈에 들어온다

\(K^2 = Z_1^2 + Z_2^2\)이라는 식은 피타고라스 정리다. \((Z_1, Z_2)\)를 평면 위의 한 점으로 보면 \(K^2\)은 그 점이 원점에서 떨어진 거리의 제곱이고, 기각역(rejection region)은 반지름 \(\sqrt{5.991} = 2.447\)인 원의 바깥이다. 아래 그림은 \(n = 50\)인 표본을 네 종류의 모집단에서 900개씩 뽑아 이 평면 위에 찍은 것이다.

Z1과 Z2 평면 위에 네 모집단의 표본을 찍고 K제곱의 원형 기각역을 그린 그림

회색 점(정규 자료)은 원점 주위에 둥글게 모여 있다. 두 성분의 중앙값이 각각 \(-0.03\)과 \(0.05\)로, 표준정규 두 개가 독립으로 흩어진 모습 그대로다. 보라색 원 바깥으로 나가는 회색 점의 비율이 곧 검정의 크기이며 \(0.060\)이 나왔다.

나머지 세 무리는 각자 다른 방향으로 날아간다. 치우친 자료(파랑)는 오른쪽으로 뻗어 \(Z_1\) 중앙값이 \(2.03\)이고 \(Z_2\)는 \(0.48\)에 머문다. 두꺼운 꼬리(\(t_6\), 주황)는 위쪽으로 올라가 \(Z_2\) 중앙값이 \(1.25\)이다. 얇은 꼬리(균등분포, 초록)는 아래로 곤두박질쳐 \(Z_2\) 중앙값이 \(-3.27\)까지 내려간다. 세 무리 모두 원점에서 멀어지지만 멀어지는 방향이 제각각이다. 이것이 "옴니버스"라는 말의 그림이다. 원은 방향을 가리지 않는다.

회색 점선 정사각형은 두 검정을 따로 볼 때의 기각역 경계, 곧 \(|Z_1| < 1.96\)이고 \(|Z_2| < 1.96\)인 영역이다. 원과 정사각형이 서로를 완전히 포함하지 않는다는 점이 중요하다. 빨간 별로 찍은 \(Z_1 = Z_2 = 1.8\)이 그 차이가 드러나는 자리다. 정사각형 안이므로 두 검정 어느 쪽도 기각하지 못하지만, 원점에서의 거리는 \(\sqrt{1.8^2 + 1.8^2} = 2.55\)로 원의 반지름 \(2.447\)을 넘어 \(K^2\)은 기각한다. 반대로 \(Z_1 = 2.3\), \(Z_2 = 0\) 같은 점은 정사각형 밖이지만 원 안이라 왜도 검정만 기각하고 \(K^2\)은 기각하지 못한다. 세 검정을 다 돌려놓고 마음에 드는 결과를 고르면 안 되는 이유가 여기에 있다. 어느 검정을 쓸지는 자료를 보기 전에 정해야 한다.


두 성분이 엇갈릴 때

보기 2. 섞인 자료에 K-제곱 검정. \(\mathcal{N}(0,1)\) 240개에 \(\text{Lognormal}(0, 0.6^2)\) 60개를 섞은 \(n = 300\) 표본에서 \(K^2 = 22.2123\)이 나온다.

(1) 두 성분의 제곱이 \(K^2\)을 이루는지 확인하고, \(p\) 값을 \(K^2\)만의 닫힌 꼴로 쓰시오. 기각을 이끈 것은 왜도인가 꼬리인가.

(2) 같은 자료에 자크–베라를 걸면 \(JB = 47.5606\)으로 \(K^2\)의 두 배가 넘는다. 두 통계량을 왜도 항과 첨도 항으로 각각 쪼개어, 그 차이가 어느 항에서 오는지 수로 밝히시오. \(JB\)가 더 크다는 것이 검정력이 더 좋다는 뜻인가.

풀이

(1) 첨도 성분이 \(69.8\%\)다. 분해는 정확히 맞아떨어진다.

\[ K^2 = Z_1^2 + Z_2^2 = 2.5915^2 + 3.9365^2 = 6.7159 + 15.4964 = 22.2123 \]

\(\chi^2_2\)의 생존함수가 \(e^{-x/2}\)이므로

\[ p = e^{-K^2/2} = e^{-11.10615} = 1.502\times10^{-5} \]

이고 normaltest의 \(p\) 값과 일치한다. 두 성분 모두 \(\lvert Z\rvert > 1.96\)을 넘으므로 둘 다 혼자서도 기각하는데, 첨도 쪽이 \(15.50\) 대 \(6.72\)로 \(2.3\)배 크다. 로그정규 오염이 왜도와 두꺼운 꼬리를 동시에 들여왔고 꼬리 쪽 신호가 더 강하다.

(2) 차이는 전부 첨도 항에서 온다. 두 통계량을 나란히 쪼개면

항 \(K^2\) \(JB\) 비
왜도 \(Z_1^2 = 6.7159\) \(\frac{n}{6}g_1^2 = 6.8005\) \(1.01\)
첨도 \(Z_2^2 = 15.4964\) \(\frac{n}{24}g_2^2 = 40.7601\) \(2.63\)
합 \(22.2123\) \(47.5606\) \(2.14\)

이다. 왜도 항은 \(1\%\) 안에서 같다. \(JB\)의 왜도 항이 \(\frac{n}{6}g_1^2 = (g_1/\sqrt{6/n})^2\), 곧 \(\mathrm{Var}(g_1) \approx 6/n\)을 쓴 단순 표준화의 제곱인데, \(n = 300\)에서 왜도 쪽 변환은 거의 아무것도 바꾸지 않으므로 \(Z_1^2\)과 사실상 같은 값이 된다.

첨도 항은 \(2.63\)배 벌어진다. 까닭은 앞 쪽에서 본 대로 \(b_2\)의 귀무분포가 크게 치우쳐 있다는 데 있다. \(JB\)는 \(g_2\)를 그대로 제곱하므로 그 왜도를 전혀 고려하지 않고, \(K^2\)은 윌슨–힐퍼티 세제곱근 변환으로 왜도를 먼저 펴 준 다음 제곱한다. 두꺼운 꼬리 쪽 이탈에서는 변환이 값을 크게 깎으므로 \(Z_2^2\)이 작아진다.

그러므로 \(JB\)가 크다는 것은 검정력이 좋다는 뜻이 아니다. 통계량이 커진 만큼 그 귀무분포도 함께 부풀어야 \(\chi^2_2\)가 맞는데, \(JB\)는 중간 크기 표본에서 그 보정 없이 \(\chi^2_2\)를 쓴다. 그래서 \(p\) 값이 \(4.70\times10^{-11}\)까지 내려가지만, 이 쪽에서 \(K^2\)이 주는 \(1.50\times10^{-5}\)가 더 믿을 만한 수다. 두 \(p\) 값의 자릿수 차이 여섯은 증거의 차이가 아니라 보정의 차이다.

import numpy as np
from scipy import stats

# 정규 240개에 로그정규 60개를 섞었다. 겉보기에는 정규 같지만 오른쪽이
# 조금 늘어난 자료다. 검정이 이것을 잡아내는지 본다.
rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, size=240),
                    rng.lognormal(0, 0.6, size=60)])

# K^2 과 그것을 이루는 두 성분을 함께 구한다. 어느 쪽이 큰지를 보면
# 정규에서 벗어난 까닭이 비대칭인지 꼬리인지 알 수 있다.
K2, p = stats.normaltest(x)
z1, _ = stats.skewtest(x)
z2, _ = stats.kurtosistest(x)

print(f"Sample size n = {x.size}")
print(f"D'Agostino's K^2 statistic = {K2:.4f}")
print(f"  components: Z1 = {z1:.4f}, Z2 = {z2:.4f}")
print(f"p-value = {p:.4g}")
if p < 0.05:
    print("=> Reject normality at alpha = 0.05.")
else:
    print("=> Fail to reject normality at alpha = 0.05.")

출력:

Sample size n = 300
D'Agostino's K^2 statistic = 22.2123
  components: Z1 = 2.5915, Z2 = 3.9365
p-value = 1.502e-05
=> Reject normality at alpha = 0.05.

두 통계량의 분해를 나란히 확인한다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, size=240),
                    rng.lognormal(0, 0.6, size=60)])
n = x.size
K2, p = stats.normaltest(x)
z1, _ = stats.skewtest(x)
z2, _ = stats.kurtosistest(x)
print(f"Z1^2 = {z1**2:.4f},  Z2^2 = {z2**2:.4f},  합 = {z1**2 + z2**2:.4f}  (K2 = {K2:.4f})")
print(f"첨도 성분의 비중 = {100 * z2**2 / K2:.1f}%")
print(f"p = exp(-K2/2) = {np.exp(-K2 / 2):.4g},  normaltest p = {p:.4g}")

g1, g2 = stats.skew(x), stats.kurtosis(x)
jb, pjb = stats.jarque_bera(x)
jb_s, jb_k = n / 6 * g1**2, n / 24 * g2**2
print(f"\nJB = {jb:.4f} = {jb_s:.4f} + {jb_k:.4f},  첨도 비중 {100 * jb_k / jb:.1f}%")
print(f"  p(JB) = {pjb:.4g}")
print(f"\n왜도 쪽:  JB 항 {jb_s:.4f}  대  Z1^2 {z1**2:.4f}   (비 {jb_s / z1**2:.2f})")
print(f"첨도 쪽:  JB 항 {jb_k:.4f}  대  Z2^2 {z2**2:.4f}   (비 {jb_k / z2**2:.2f})")

출력:

Z1^2 = 6.7159,  Z2^2 = 15.4964,  합 = 22.2123  (K2 = 22.2123)
첨도 성분의 비중 = 69.8%
p = exp(-K2/2) = 1.502e-05,  normaltest p = 1.502e-05

JB = 47.5606 = 6.8005 + 40.7601,  첨도 비중 85.7%
  p(JB) = 4.703e-11

왜도 쪽:  JB 항 6.8005  대  Z1^2 6.7159   (비 1.01)
첨도 쪽:  JB 항 40.7601  대  Z2^2 15.4964   (비 2.63)

분해가 양쪽 모두 끝까지 맞고, \(e^{-K^2/2}\)가 normaltest의 \(p\) 값과 일치한다. 마지막 두 줄이 (2)의 답이다. 같은 자료에서 두 옴니버스 검정이 왜도에는 똑같이 반응하고 첨도에만 다르게 반응한다. \(\square\)


5. 응용 — 정규성이 결정적인 자리에서

다고스티노의 \(K^2\) 검정은 정규성 가정이 결정적인 다음과 같은 상황에서 흔히 쓰인다.

  • 정규분포 자료를 요구하는 모수적 통계검정(\(t\) 검정, 분산분석(analysis of variance) 등).
  • 잔차의 정규성을 가정하는 회귀분석.
  • 모형화와 의사결정에서 흔히 정규성을 가정하는 품질관리와 금융 모형화.

6. 표본크기가 답을 좌우한다

  • 표본크기 민감성: 다른 많은 정규성 검정과 마찬가지로 다고스티노의 \(K^2\) 검정도 표본크기에 민감하다. 표본이 작으면 정규성 이탈을 탐지할 검정력이 부족할 수 있다. 표본이 크면 정규성에서 아주 조금만 벗어나도 귀무가설을 기각할 수 있다.
  • 연속 자료를 가정: 이 검정은 연속 자료를 위해 설계되었다. 범주형이나 순서형 자료에 적용하는 것은 적절하지 않다.

다고스티노의 \(K^2\) 검정은 왜도와 첨도를 함께 반영하여 자료의 정규성을 확인하는 강력한 방법이다. 분포 모양의 두 중요한 측면을 결합하여 정규성을 견실하게 평가한다. 다만 모든 정규성 검정과 마찬가지로 자료의 분포를 종합적으로 이해하려면 시각적 방법(예: Q-Q 그림)과 다른 통계검정을 함께 써야 한다.


연습문제

연습문제 1. 다고스티노의 \(K^2\) 검정은 왜도 검정과 첨도 검정을 결합한다. 귀무가설과 검정통계량의 공식을 서술하라.

풀이

귀무가설은 \(H_0\): 자료가 정규분포에서 왔다.

검정통계량은

\[ K^2 = Z_1^2 + Z_2^2 \]

여기서 \(Z_1\)은 표준화된 왜도 통계량(표본왜도 \(\sqrt{b_1}\)의 변환)이고 \(Z_2\)는 표준화된 첨도 통계량(표본첨도 \(b_2\)의 변환)이다. \(H_0\) 아래에서 \(K^2 \sim \chi^2_2\)가 근사적으로 성립한다.

이 검정은 옴니버스 검정이다. 왜도, 첨도, 또는 둘 다에서 오는 정규성 이탈을 탐지한다. \(K^2\)가 크면(p 값이 작으면) 비정규성을 나타낸다.

연습문제 2. \(n = 100\)인 표본의 왜도가 \(0.8\), 초과첨도가 \(1.5\)이다. 정확한 검정통계량을 계산하지 않고 다고스티노 검정이 정규성을 기각할 가능성이 높은지 정성적으로 설명하라.

풀이

두 값 모두 정규분포의 기준값(왜도 \(= 0\), 초과첨도 \(= 0\))에서 눈에 띄게 벗어나 있다. 왜도 0.8은 중간 정도의 오른쪽 왜도를, 초과첨도 1.5는 정규보다 두꺼운 꼬리를 나타낸다.

\(n = 100\)이면 이런 이탈을 탐지할 만한 검정력이 있다. 왜도의 기여 \(Z_1^2\)이 상당히 크고 첨도의 기여 \(Z_2^2\)도 양수일 것이다. \(K^2 = Z_1^2 + Z_2^2\)이므로 두 성분이 함께 검정통계량을 키워 기각할 가능성이 높다.

연습문제 3. 다고스티노 검정을 샤피로–윌크 검정과 비교하라. 각각의 상대적 강점은 무엇인가?

풀이

다고스티노의 \(K^2\).

  • 강점: 중간에서 큰 표본(\(n \geq 20\))에서 잘 작동한다. 왜도와 첨도에 대한 별도의 통찰을 준다. 계산이 간단하다.
  • 약점: 작은 표본에서는 샤피로–윌크보다 검정력이 낮다. 왜도나 첨도에 영향을 주지 않는 이탈(예: 봉우리가 대칭인 이봉분포)은 놓칠 수 있다.

샤피로–윌크.

  • 강점: 작거나 중간 크기의 \(n\)에서 가장 강력한 검정이다. 적률만으로는 잡히지 않는 것을 포함해 폭넓은 이탈을 탐지한다.
  • 약점: 본래 \(n \leq 5000\)으로 제한되었다(현대 구현은 더 큰 \(n\)도 다룬다). 왜도로 인한 이탈과 첨도로 인한 이탈을 구별해 주지 않는다.

연습문제 4. 다고스티노 검정이 왜 "적률 기반" 정규성 검정이라 불리는지, 그리고 이것이 자크–베라 검정과 어떻게 이어지는지 설명하라.

풀이

다고스티노 검정이 "적률 기반"인 이유는 3차와 4차 중심적률(왜도와 첨도)을 통해 정규성을 평가하기 때문이다. 많은 대립분포에서 이 두 적률이 정규값과 가장 먼저 달라진다.

자크–베라 검정도 비슷한 접근을 쓴다.

\[ JB = \frac{n}{6}\left(S^2 + \frac{(K-3)^2}{4}\right) \]

여기서 \(S\)는 표본왜도, \(K\)는 표본첨도이다. \(H_0\) 아래에서 \(JB \sim \chi^2_2\)이다.

주된 차이: 다고스티노 검정은 왜도와 첨도 통계량을 결합하기 전에 정규화 변환을 적용하여 유한표본에서 카이제곱 근사를 개선한다. 자크–베라 검정은 원래의 적률을 그대로 써서 유한표본 성질이 나쁠 수 있다. 따라서 표본크기가 200 아래일 때는 다고스티노 검정이 선호된다.

연습문제 5. 연습문제 2 를 수로 끝까지 밀어 본다. \(n = 100\), 표본왜도 \(S = 0.8\), 초과첨도 \(K_{\text{excess}} = 1.5\) 인 표본이다.

(1) 본문 2 절과 3 절의 단순 \(z\) 점수 공식으로 \(\text{SE}_{S}\), \(\text{SE}_{K}\), \(Z_{\text{skewness}}\), \(Z_{\text{kurtosis}}\), \(K^2\) 을 차례로 구하라.

(2) 보기 1 에서 얻은 닫힌 꼴 \(p = e^{-K^2/2}\) 로 \(p\) 값을 구하라.

(3) \(K^2\) 에 왜도와 첨도가 각각 몇 %씩 기여했는지 적고, 연습문제 2 의 정성적 답과 비교하라.

풀이

(1) 두 표준오차를 먼저 구한다. \(n = 100\) 이므로

\[ \text{SE}_{S} = \sqrt{\frac{6 \cdot 100 \cdot 99}{98 \cdot 101 \cdot 103}} = \sqrt{\frac{59400}{1019494}} = \sqrt{0.0582640} = 0.2413798 \]
\[ \text{SE}_{K} = \sqrt{\frac{24 \cdot 100 \cdot 99^2}{97 \cdot 98 \cdot 103 \cdot 105}} = \sqrt{\frac{23522400}{102807390}} = \sqrt{0.2288007} = 0.4783311 \]

이다. 따라서

\[ Z_{\text{skewness}} = \frac{0.8}{0.2413798} = 3.31428, \qquad Z_{\text{kurtosis}} = \frac{1.5}{0.4783311} = 3.13590 \]

이고

\[ K^2 = 3.31428^2 + 3.13590^2 = 10.98445 + 9.83389 = 20.81833 \]

이다.

(2) 자유도 2 의 카이제곱은 평균 2 인 지수분포이므로

\[ p = e^{-K^2/2} = e^{-10.40917} = 3.015 \times 10^{-5} \]

이다. 유의수준 \(0.05\) 의 1600 분의 1 이다.

(3) 기여도는 \(10.98445/20.81833 = 52.8\%\) (왜도)와 \(9.83389/20.81833 = 47.2\%\) (첨도)로 거의 반반이다. 연습문제 2 는 "왜도의 기여가 상당히 크고 첨도의 기여도 양수"라고만 말했는데, 실제로는 두 성분이 거의 같은 크기이고 어느 하나만으로도 이미 \(1.96^2 = 3.84\) 를 크게 넘는다. 즉 이 표본은 왜도 검정만으로도, 첨도 검정만으로도 따로따로 기각된다.

한 가지 유보를 달아 둔다. 위의 \(p\) 값은 단순 \(z\) 점수로 계산한 것이어서 scipy.stats.normaltest 의 값과 정확히 같지 않다. 본문 경고 상자가 보여 준 것처럼 두 판본의 차이는 \(n\) 이 작을수록 커지고 \(n = 100\) 은 중간 자리다. 그러나 \(p \sim 10^{-5}\) 라는 자릿수는 변환으로 바뀌지 않으므로 기각이라는 결론은 안전하다.

연습문제 6. 본문은 "초과첨도는 아래로 \(-2\) 라는 수학적 한계가 있는 반면 위로는 끝이 없다"고 했다. 이 한계를 \(z\) 점수의 척도로 옮겨 본다.

(1) 임의의 표본에서 \(K \ge 1\), 곧 \(K_{\text{excess}} \ge -2\) 임을 보이고, 등호가 성립하는 표본의 모양을 말하라.

(2) 그러므로 단순 \(Z_{\text{kurtosis}}\) 는 \(-2/\text{SE}_{K}\) 보다 작아질 수 없다. 이 하한이 \(-1.96\) 보다 큰 \(n\), 곧 단순 \(z\) 점수로는 왼쪽 기각이 원리적으로 불가능한 \(n\) 의 범위를 구하라.

(3) \(n = 30\) 에서 하한을 구하라. 이 경우 왼쪽 기각은 원리적으로는 가능하다. 그러려면 \(K\) 가 얼마보다 작아야 하는지 구하고, 본문 그림의 기각률 \(0.0225\) 가 사실상 전부 오른쪽 꼬리에서 온다고 결론지어라.

풀이

(1) \(d_i = x_i - \bar{x}\) 라 두면 \(K = m_4/m_2^2\) 이고 \(m_2 = \frac1n\sum d_i^2\), \(m_4 = \frac1n\sum d_i^4\) 이다. 수 \(d_1^2, \dots, d_n^2\) 의 표본분산(sample variance)이 음수가 아니므로

\[ \frac{1}{n}\sum_{i=1}^n (d_i^2)^2 - \left(\frac{1}{n}\sum_{i=1}^n d_i^2\right)^2 \ge 0 \quad\Longrightarrow\quad m_4 \ge m_2^2 \quad\Longrightarrow\quad K \ge 1 \]

이고 따라서 \(K_{\text{excess}} \ge -2\) 다. 등호는 모든 \(d_i^2\) 이 같을 때, 곧 모든 \(\lvert x_i - \bar{x} \rvert\) 가 같을 때다. 자료가 \(\bar{x} \pm a\) 두 값에만 절반씩 놓인 두 점 표본이다. 정규성에서 가장 멀리 간 저첨 배치가 바로 하한을 때린다.

(2) 하한 \(-2/\text{SE}_{K}\) 가 \(-1.96\) 보다 크다는 것은 \(2/\text{SE}_{K} < 1.96\), 곧

\[ \text{SE}_{K} > \frac{2}{1.96} = 1.020408 \]

이라는 뜻이다. \(\text{SE}_{K}\) 는 \(n\) 에 대해 감소하므로 경계만 찾으면 된다.

\[ \text{SE}_{K}(18) = 1.037795 > 1.020408, \qquad \text{SE}_{K}(19) = 1.014270 < 1.020408 \]

이므로 \(n \le 18\) 에서는 왼쪽 기각이 아예 불가능하고 \(n \ge 19\) 에서 비로소 가능해진다. 하한 자체는 \(n = 18\) 에서 \(-1.9272\), \(n = 19\) 에서 \(-1.9719\) 다. 본문 정리하며가 \(n \ge 20\) 정도를 요구하는 것과 거의 같은 자리다. 소표본에서 첨도 검정이 한쪽 눈을 감는다는 말을 수로 쓴 것이 이것이다.

(3) \(n = 30\) 에서

\[ \text{SE}_{K} = \sqrt{\frac{24 \cdot 30 \cdot 29^2}{27 \cdot 28 \cdot 33 \cdot 35}} = \sqrt{\frac{605520}{873180}} = 0.832746, \qquad -\frac{2}{0.832746} = -2.4017 \]

이다. \(-2.4017 < -1.96\) 이니 왼쪽 기각이 수학적으로 금지되지는 않는다. 다만 그러려면

\[ K - 3 < -1.96 \times 0.832746 = -1.63218 \quad\Longrightarrow\quad K < 1.36782 \]

여야 한다. \(K\) 의 절대 하한이 1 이므로, 정규 표본 30 개가 두 점 배치에서 \(0.368\) 안쪽까지 들어가야 한다는 뜻이다. 실제로 \(N(0,1)\) 에서 \(n = 30\) 을 40 만 번 뽑으면 \(K\) 의 최솟값이 \(1.359\), \(K < 1.36782\) 인 비율이 백만 분의 2.5 에 지나지 않고, \(P(Z_{\text{kurtosis}} < -1.96)\) 은 소수 다섯째 자리까지 \(0\) 이다. 같은 모의에서 \(P(Z_{\text{kurtosis}} > 1.96) = 0.02256\) 으로 본문의 \(0.0225\) 와 맞는다.

즉 본문이 말한 \(0.0225\) 는 양쪽 꼬리 합이 아니라 오른쪽 꼬리 하나다. 왼쪽을 사실상 쓸 수 없으니 명목 \(0.05\) 가 애초에 \(0.025\) 를 넘을 수 없었던 것이다. 하한 \(-2.4017\) 이 \(z\) 척도에서 \(-2\) 근처로 보이는 것이 본문 그림의 "벽에 부딪힌 듯 뚝 끊기는" 왼쪽 끝이다.

연습문제 7. 연습문제 4 의 자크–베라 통계량

\[ JB = \frac{n}{6}\left(S^2 + \frac{(K-3)^2}{4}\right) \]

와 본문의 단순 \(z\) 점수판 \(K^2\) 의 관계를 밝힌다.

(1) \(n \to \infty\) 일 때 \(n\,\text{SE}_{S}^2 \to 6\) 이고 \(n\,\text{SE}_{K}^2 \to 24\) 임을 보이고, 이것으로 \(JB\) 가 단순 \(z\) 점수판 \(K^2\) 에서 두 표준오차를 점근근사 \(\sqrt{6/n}\), \(\sqrt{24/n}\) 로 갈아 끼운 것임을 설명하라.

(2) \(H_0\) 아래에서 \(\mathbb{E}[JB]\) 를 정확히 계산하라. 보기 1 의 풀이에 있는 \(\mathrm{Var}(g_1)\), \(\mathrm{Var}(b_2)\) 와 \(\mathbb{E}[b_2] = 3(n-1)/(n+1)\) 을 써도 좋다. \(n = 30\) 과 \(n = 100\) 에서 값을 구하고 \(\mathbb{E}[\chi^2_2] = 2\) 와 비교하라.

(3) (2) 의 답으로 연습문제 4 의 마지막 문장 — "표본크기가 200 아래일 때는 다고스티노 검정이 선호된다" — 을 정량적으로 뒷받침하라.

풀이

(1) 두 분수를 \(n\) 으로 정리한다.

\[ n\,\text{SE}_{S}^2 = \frac{6n^2(n-1)}{(n-2)(n+1)(n+3)} = 6 \cdot \frac{n^3 - n^2}{n^3 + 2n^2 - 5n - 6} \longrightarrow 6 \]
\[ n\,\text{SE}_{K}^2 = \frac{24n^2(n-1)^2}{(n-3)(n-2)(n+3)(n+5)} = 24 \cdot \frac{n^4 - 2n^3 + n^2}{n^4 + 3n^3 - 19n^2 - 27n + 90} \longrightarrow 24 \]

둘 다 분자와 분모가 같은 차수이고 최고차 계수가 같으므로 극한이 상수 \(6\), \(24\) 다. 그러므로 \(\text{SE}_{S}^2 \approx 6/n\), \(\text{SE}_{K}^2 \approx 24/n\) 이고

\[ Z_{\text{skewness}}^2 + Z_{\text{kurtosis}}^2 = \frac{S^2}{\text{SE}_{S}^2} + \frac{(K-3)^2}{\text{SE}_{K}^2} \approx \frac{nS^2}{6} + \frac{n(K-3)^2}{24} = \frac{n}{6}\left(S^2 + \frac{(K-3)^2}{4}\right) = JB \]

가 된다. \(JB\) 는 새로운 발상이 아니라 단순 \(z\) 점수판 \(K^2\) 의 점근 형태다. 본문이 유한표본용 정확한 표준오차를 쓰는 자리에서 \(JB\) 는 \(n \to \infty\) 의 값을 쓰는 것이다.

(2) \(S = g_1\), \(K = b_2\) 이고 정규 자료에서 \(g_1\) 의 분포는 0 에 대해 대칭이므로 \(\mathbb{E}[g_1] = 0\), 따라서 \(\mathbb{E}[g_1^2] = \mathrm{Var}(g_1)\) 이다. 첨도 쪽은 \(b_2\) 가 치우쳐 있어 편향 제곱이 남는다.

\[ \mathbb{E}[b_2] - 3 = \frac{3(n-1)}{n+1} - 3 = -\frac{6}{n+1}, \qquad \mathbb{E}\bigl[(b_2-3)^2\bigr] = \mathrm{Var}(b_2) + \frac{36}{(n+1)^2} \]

그러므로

\[ \mathbb{E}[JB] = \frac{n}{6}\mathrm{Var}(g_1) + \frac{n}{24}\left(\mathrm{Var}(b_2) + \frac{36}{(n+1)^2}\right) = \frac{n(n-2)}{(n+1)(n+3)} + \frac{n}{24}\left(\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} + \frac{36}{(n+1)^2}\right) \]

이다. 첫 항에서 \(\frac{n}{6}\cdot\frac{6(n-2)}{(n+1)(n+3)} = \frac{n(n-2)}{(n+1)(n+3)}\) 로 약분된 것을 썼다. \(n = 30\) 에서

\[ \frac{30 \cdot 28}{31 \cdot 33} = 0.82111, \qquad \frac{30}{24}\left(0.490398 + 0.037461\right) = 1.25 \times 0.527859 = 0.65982 \]

이므로 \(\mathbb{E}[JB] = 1.48094\) 다. \(n = 100\) 에서는 \(0.94204 + 0.87635 = 1.81839\) 다.

(3) \(JB\) 를 \(\chi^2_2\) 로 읽는다는 것은 그 평균이 2 라는 전제를 깔고 있다. 그런데 실제 평균은 \(n = 30\) 에서 \(1.481\), 명목값의 \(74\%\) 밖에 안 된다. 통계량이 전체적으로 작게 나오니 임계값 \(5.991\) 을 넘는 일이 덜 생긴다. 실제로 모의로 재면 \(n = 30\) 에서 \(JB\) 의 기각률은 \(0.031\) 로 약속한 \(0.05\) 의 \(62\%\) 다. 같은 \(n\) 에서 단순 \(z\) 점수판 \(K^2\) 은 \(0.037\), 변환을 거친 scipy 판은 \(0.058\) 이다.

두 결손이 포개져 있다는 점이 요점이다. \(JB\) 는 점근 표준오차를 쓴 탓에 분모가 너무 커서(\(n = 30\) 에서 \(\sqrt{24/30} = 0.894\) 대 실제 \(\mathrm{SD}(b_2) = 0.700\)) 통계량을 깎고, 그 위에 정규화 변환이 없어서 연습문제 6 에서 본 비대칭까지 그대로 안고 간다. \(n = 100\) 에서도 평균이 \(1.818\) 로 여전히 \(9\%\) 낮다. \(n\) 이 200 쯤 되어야 두 결손이 눈감아 줄 만큼 작아지는 것이고, 그 아래에서는 보수적으로 어긋나는 \(JB\) 대신 다고스티노 검정을 쓰라는 말이 바로 이 뜻이다.

연습문제 8. 연습문제 3 은 \(K^2\) 가 "왜도나 첨도에 영향을 주지 않는 이탈은 놓칠 수 있다"고 했다. 그 반례를 손으로 만든다.

(1) \(P(X = -c) = P(X = c) = q\), \(P(X = 0) = 1 - 2q\) 인 세 점 분포의 왜도와 첨도를 \(q\) 로 구하고, \(S = 0\) 과 \(K = 3\) 을 동시에 만드는 \(q\) 를 구하라.

(2) 그 분포를 연속으로 번지게 한 혼합

\[ f(x) = \frac{1}{6}\phi_\sigma(x+c) + \frac{2}{3}\phi_\sigma(x) + \frac{1}{6}\phi_\sigma(x-c) \]

(\(\phi_\sigma\) 는 \(\mathcal{N}(0,\sigma^2)\) 의 밀도)를 생각한다. 모든 \(c > 0\), \(\sigma > 0\) 에 대해 \(K = 3\) 이 정확히 성립함을 보여라.

(3) 이 분포에서 표본을 뽑을 때 \(n \to \infty\) 라도 \(K^2\) 의 검정력이 1 로 가지 않음을 설명하라. \(\gamma_1 \ne 0\) 인 대립분포에서 \(K^2\) 이 어떻게 자라는지와 대조하라.

풀이

(1) 분포가 0 에 대해 대칭이므로 \(\mathbb{E}[X] = 0\) 이고 홀수 차수 적률이 모두 0 이다. 따라서 \(m_3 = 0\) 이고 \(S = 0\) 이 \(q\) 와 무관하게 성립한다. 짝수 적률은

\[ m_2 = 2qc^2, \qquad m_4 = 2qc^4 \]

이므로

\[ K = \frac{m_4}{m_2^2} = \frac{2qc^4}{4q^2c^4} = \frac{1}{2q} \]

다. \(K = 3\) 은 \(q = 1/6\) 과 같은 말이다. 곧

\[ P(X = \pm c) = \frac{1}{6}, \qquad P(X = 0) = \frac{2}{3} \]

이면 왜도가 0, 첨도가 정확히 3, 초과첨도가 정확히 0 이다. \(c\) 는 아무 값이어도 된다.

(2) 세 성분이 모두 분산 \(\sigma^2\) 의 정규이므로 각 성분 안에서 \(\mathbb{E}[(Z\sigma)^2] = \sigma^2\), \(\mathbb{E}[(Z\sigma)^4] = 3\sigma^4\) 이고, 중심이 \(\mu\) 인 성분에서는

\[ \mathbb{E}[X^2] = \mu^2 + \sigma^2, \qquad \mathbb{E}[X^4] = \mu^4 + 6\mu^2\sigma^2 + 3\sigma^4 \]

이다. 가중치 \(\frac16, \frac23, \frac16\) 로 섞으면 \(\mu = \pm c\) 인 두 성분의 가중치 합이 \(\frac13\) 이므로

\[ m_2 = \frac{c^2}{3} + \sigma^2, \qquad m_4 = \frac{1}{3}\left(c^4 + 6c^2\sigma^2 + 3\sigma^4\right) + \frac{2}{3}\cdot 3\sigma^4 = \frac{c^4}{3} + 2c^2\sigma^2 + 3\sigma^4 \]

이다. 한편

\[ 3m_2^2 = 3\left(\frac{c^2}{3} + \sigma^2\right)^2 = 3\left(\frac{c^4}{9} + \frac{2c^2\sigma^2}{3} + \sigma^4\right) = \frac{c^4}{3} + 2c^2\sigma^2 + 3\sigma^4 \]

이다. 두 식이 항마다 같다. 따라서 \(m_4 = 3m_2^2\), 곧 \(K = 3\) 이 \(c\) 와 \(\sigma\) 의 모든 값에서 정확히 성립한다. 대칭이므로 \(S = 0\) 이기도 하다. \(\square\)

예를 들어 \(c = 6\), \(\sigma = 1\) 이면 \(m_2 = 13\), \(m_4 = 507 = 3 \times 169\) 다. 이 밀도는 \(-6, 0, 6\) 에 뚜렷한 봉우리 셋이 선 삼봉분포이고, 정규분포와 눈으로 혼동할 여지가 전혀 없다. 그런데 \(K^2\) 이 보는 두 적률은 정규와 한 치도 다르지 않다.

(3) 검정이 일치성(consistency)을 가지려면 \(n\) 이 커질 때 통계량이 발산해야 한다. \(\gamma_1 \ne 0\) 인 대립분포라면 \(S \to \gamma_1 \ne 0\) 이고 \(\text{SE}_{S} \approx \sqrt{6/n}\) 이므로

\[ Z_{\text{skewness}}^2 \approx \frac{n\gamma_1^2}{6} \longrightarrow \infty \]

로 \(n\) 에 비례해 자란다. 그래서 \(p = e^{-K^2/2} \to 0\) 이고 검정력이 1 로 간다. 첨도 쪽도 \(\gamma_2 \ne 0\) 이면 같은 이유로 \(n\gamma_2^2/24\) 로 자란다.

그런데 위의 삼봉분포에서는 \(S \to 0\), \(K - 3 \to 0\) 이므로 분자가 함께 0 으로 가 버린다. 두 \(z\) 점수는 발산하지 않고 \(O_p(1)\) 에 머문다. \(K^2\) 의 분포가 \(n\) 과 거의 무관하게 제자리에 있으므로 표본을 아무리 늘려도 기각률이 올라가지 않는다. 실제로 모의로 재면 평균 \(K^2\) 이 \(n = 50\) 에서 약 \(1.3\), \(n = 200\) 에서 약 \(0.92\), \(n = 5000\) 에서 약 \(0.80\) 으로 오히려 줄고, 기각률은 \(n = 200\) 에서 약 \(0.004\), \(n = 5000\) 에서 약 \(0.0015\) 로 명목 \(0.05\) 보다도 낮다.

이유는 분명하다. \(K^2\) 은 3 차·4 차 적률 두 개만 본다. 두 적률을 정규와 맞춰 놓은 대립분포는 이 검정의 맹점에 정확히 들어앉는다. 봉우리의 개수는 2 차·3 차·4 차 적률에 흔적을 남기지 않고 6 차 이상에서야 드러난다. 순서통계량 전체를 쓰는 샤피로–윌크나 경험분포함수(empirical distribution function) 전체를 보는 앤더슨–달링은 이런 자료를 바로 잡아낸다. 연습문제 3 이 말한 \(K^2\) 의 약점이 바로 이것이고, 본문 마지막 문장이 Q-Q 그림을 함께 보라고 하는 까닭도 이것이다.

연습문제 9. 2 장에서 어떤 분포든 \(\beta_2 \ge 1 + \gamma_1^2\) 임을 보았다. 이 부등식이 \(K^2\) 의 두 성분을 어떻게 묶는지 본다.

(1) 표본적률에 대해서도 \(K \ge 1 + S^2\) 가 성립함을 보여라. (힌트: 수 \(d_i = x_i - \bar{x}\) 와 \(d_i^2 - m_2\) 에 코시–슈바르츠를 쓴다.)

(2) \(n = 30\) 이고 \(Z_{\text{kurtosis}} = -2.0\) 인 표본을 생각한다. \(\lvert Z_{\text{skewness}} \rvert\) 가 가질 수 있는 최댓값과 그에 따른 \(K^2\) 의 최댓값을 구하고, 이 표본이 유의수준 \(0.05\) 에서 기각될 수 있는지 판정하라.

(3) \(n = 30\) 에서 기각이 원리적으로 불가능한 \(Z_{\text{kurtosis}}\) 의 구간을 구하라.

풀이

(1) \(d_i = x_i - \bar{x}\), \(m_k = \frac1n\sum d_i^k\) 라 하면 \(m_1 = 0\) 이다. 두 수열 \(\{d_i\}\) 와 \(\{d_i^2 - m_2\}\) 에 코시–슈바르츠를 쓴다.

\[ \left(\frac{1}{n}\sum_{i=1}^n d_i\,(d_i^2 - m_2)\right)^2 \le \left(\frac{1}{n}\sum_{i=1}^n d_i^2\right)\left(\frac{1}{n}\sum_{i=1}^n (d_i^2 - m_2)^2\right) \]

좌변의 괄호는 \(m_3 - m_2 m_1 = m_3\) 이고 우변의 둘째 괄호는 \(m_4 - m_2^2\) 이므로

\[ m_3^2 \le m_2\left(m_4 - m_2^2\right) \]

이다. 양변을 \(m_2^3 > 0\) 으로 나누면

\[ S^2 = \frac{m_3^2}{m_2^3} \le \frac{m_4}{m_2^2} - 1 = K - 1 \quad\Longrightarrow\quad K \ge 1 + S^2 \]

가 된다. \(\square\) 연습문제 6 (1) 의 \(K \ge 1\) 은 이 부등식에서 \(S = 0\) 인 경우다. 표본이든 모집단이든 같은 꼴로 성립한다는 점이 요점이다.

(2) \(n = 30\) 의 두 표준오차는

\[ \text{SE}_{S} = \sqrt{\frac{6 \cdot 30 \cdot 29}{28 \cdot 31 \cdot 33}} = \sqrt{0.1822371} = 0.426892, \qquad \text{SE}_{K} = 0.832746 \]

이다. \(Z_{\text{kurtosis}} = -2.0\) 이면

\[ K - 3 = -2.0 \times 0.832746 = -1.665491 \quad\Longrightarrow\quad K = 1.334509 \]

이고, (1) 의 부등식에서

\[ S^2 \le K - 1 = 0.334509 \quad\Longrightarrow\quad \lvert S \rvert \le 0.578368 \]

이다. 따라서

\[ \lvert Z_{\text{skewness}} \rvert \le \frac{0.578368}{0.426892} = 1.354832 \]

이고

\[ K^2 \le 1.354832^2 + (-2.0)^2 = 1.835570 + 4 = 5.835570 \]

이다. 임계값은 \(\chi^2_{2,\,0.95} = 5.991465\) 다. \(5.8356 < 5.9915\) 이므로 이 표본은 어떤 왜도를 갖더라도 5% 에서 기각될 수 없다. 최댓값에서의 \(p\) 값조차 \(e^{-5.835570/2} = 0.0541\) 로 \(0.05\) 위다.

(3) \(Z_2 = Z_{\text{kurtosis}} < 0\) 을 고정하면 \(K = 3 + Z_2\text{SE}_{K}\) 이고 (1) 에서

\[ K^2_{\max}(Z_2) = \frac{K - 1}{\text{SE}_{S}^2} + Z_2^2 = \frac{2 + Z_2 \text{SE}_{K}}{\text{SE}_{S}^2} + Z_2^2 \]

이다. \(1/\text{SE}_{S}^2 = 5.4873563\), \(\text{SE}_{K}/\text{SE}_{S}^2 = 4.5695719\) 를 넣고 \(K^2_{\max} = 5.991465\) 로 놓으면 \(Z_2\) 에 대한 이차방정식

\[ Z_2^2 + 4.5695719\,Z_2 + 4.9832481 = 0 \]

을 얻는다. 판별식이 \(0.9479953\) 이므로 두 근은

\[ Z_2 = \frac{-4.5695719 \pm 0.9736505}{2} = -1.797961,\ -2.771611 \]

이다. 아래쪽 근 \(-2.7716\) 은 연습문제 6 의 하한 \(-2/\text{SE}_{K} = -2.401694\) 보다 작아 도달할 수 없으므로 실제로 쓸 수 있는 경계는 \(-2.4017\) 이다. 결론은

\[ Z_{\text{kurtosis}} \in [-2.4017,\ -1.7980] \]

이면 \(n = 30\) 에서 \(K^2\) 검정이 왜도가 무엇이든 기각하지 못한다는 것이다.

왜 이렇게 되는가. 음수 쪽 초과첨도는 두 점 배치로 가는 길인데, 그 길에서는 자료가 대칭에 가까워질 수밖에 없어 왜도가 함께 눌린다. \(K \ge 1 + S^2\) 가 바로 그 눌림을 적은 식이다. 그래서 \(K^2\) 의 두 성분이 음수 첨도 쪽에서는 동시에 커질 수 없다. 꼬리가 두꺼운 쪽(\(Z_2 > 0\))에서는 이런 제약이 없어 두 성분이 함께 자라므로 \(K^2\) 의 결합이 제값을 한다. 균등분포처럼 저첨인 대립분포에 \(K^2\) 이 유독 약한 데에는 검정력 문제 이전에 이런 대수적 천장이 깔려 있다.

한 가지 덧붙이면, 위 계산은 본문의 단순 \(z\) 점수판에 대한 것이다. scipy 의 변환된 \(z\) 점수는 \(K\) 의 단조함수이므로 천장이 있다는 성질 자체는 그대로 남지만 구간의 수치는 달라진다.

연습문제 10. 6 절의 "표본크기 민감성"을 수로 못 박는다. 왜도는 0 이고 초과첨도만 \(\gamma_2\) 인 대립분포를 생각하고, 단순 \(z\) 점수의 중심값 \(\gamma_2/\text{SE}_{K}(n)\) 이 \(1.96\) 을 넘는 자리를 검정력 50% 의 자리로 읽는다.

(1) \(K^2\) 검정에 필요한 최소 표본으로 본문이 든 \(n = 20\) 에서, 검정력 50% 를 얻으려면 \(\gamma_2\) 가 얼마 이상이어야 하는가? \(t\) 분포의 초과첨도가 자유도 \(d > 4\) 에서 \(6/(d-4)\) 임을 써서, 어떤 \(t\) 분포가 걸리고 어떤 것이 빠져나가는지 말하라.

(2) 반대로 \(\gamma_2 = 0.2\) 라는 실무적으로 무해한 이탈을 검정력 50% 로 잡으려면 \(n\) 이 얼마여야 하는가? 점근근사 \(\text{SE}_{K} \approx \sqrt{24/n}\) 로 먼저 근사한 뒤 정확한 공식으로 확인하라.

(3) 두 수를 나란히 놓고, 5 장의 \(t\) 검정이 정규성에 기대는 자리와 견주어 이 역설을 한 단락으로 정리하라.

풀이

(1) \(n = 20\) 에서

\[ \text{SE}_{K}(20) = \sqrt{\frac{24 \cdot 20 \cdot 19^2}{17 \cdot 18 \cdot 23 \cdot 25}} = \sqrt{\frac{173280}{175950}} = \sqrt{0.984825} = 0.992383 \]

이므로 필요한 초과첨도는

\[ \gamma_2 \ge 1.96 \times 0.992383 = 1.9451 \]

이다. \(t\) 분포의 초과첨도 \(6/(d-4)\) 와 맞춰 보면

분포 \(\gamma_2 = 6/(d-4)\) \(n = 20\) 에서 검정력 50% 인가
\(t_6\) \(3.0\) 넘는다
\(t_7\) \(2.0\) 겨우 넘는다
\(t_8\) \(1.5\) 못 넘는다
\(t_{10}\) \(1.0\) 못 넘는다

이다. 즉 \(n = 20\) 에서 \(K^2\) 검정은 \(t_8\) 보다 가벼운 꼬리를 절반도 못 잡는다. 실제 상황은 이보다 더 나쁘다. \(\text{SE}_{K}\) 는 귀무가설 아래의 표준편차이고, 꼬리가 두꺼운 대립분포에서는 \(b_2\) 의 산포가 이보다 커지므로 필요한 \(\gamma_2\) 는 위 값보다 올라간다.

(2) 점근근사로 근사한다. \(0.2 \ge 1.96\sqrt{24/n}\) 에서

\[ n \ge 24\left(\frac{1.96}{0.2}\right)^2 = 24 \times 96.04 = 2304.96 \]

이므로 \(n \approx 2305\) 다. 정확한 공식으로 확인하면 \(1.96\,\text{SE}_{K}(2299) = 0.200042 > 0.2\), \(1.96\,\text{SE}_{K}(2300) = 0.199998 < 0.2\) 이므로 답은 \(n = 2300\) 이다. 점근근사가 다섯 개 차이로 맞았다. \(\text{SE}_{K}\) 가 \(n = 2300\) 쯤에서는 이미 점근값과 거의 같다는 뜻이기도 하다.

(3) 두 수는 \(2300/20 = 115\) 배 떨어져 있다. 이 간격이 6 절의 두 문장이 말하는 역설의 전부다.

정규성 검정이 정말 필요한 자리는 소표본이다. \(n = 20\) 짜리 두 표본 \(t\) 검정에서는 중심극한정리(central limit theorem)가 거의 일을 하지 않아 \(t\) 통계량의 분자(표본평균의 정규성)와 분모(표본분산의 독립·카이제곱성)가 모두 자료의 정규성에 직접 기댄다. 그런데 바로 그 자리에서 \(K^2\) 검정은 \(t_8\) 짜리 꼬리를 절반 넘게 통과시킨다. 검정이 "정규성을 기각하지 못했다"는 말이 "정규성이 성립한다"는 말과 전혀 다르다는 것이 이 수의 뜻이다.

거꾸로 \(n = 2300\) 에서는 중심극한정리가 충분히 일을 해서 \(\gamma_2 = 0.2\) 쯤의 꼬리 차이가 \(t\) 검정의 유의수준에 거의 영향을 주지 않는다. 그런데 바로 그 자리에서 검정은 \(\gamma_2 = 0.2\) 를 유의하다고 선언한다. 검정이 필요할 때 침묵하고 필요 없을 때 소리친다. 그러므로 \(p\) 값만 보고 모수적 방법을 버릴지 결정해서는 안 되고, 이탈의 크기(\(S\) 와 \(K - 3\) 자체)와 표본크기를 함께 보아야 한다. 본문 마지막 문장이 Q-Q 그림을 함께 보라고 하는 까닭이 여기에도 있다.

연습문제 11. 다고스티노 \(K^2\) 검정은 \(G_1\) 과 \(G_2\), 곧 3차·4차 표본적률만 본다. 그 검정이 원리상 보지 못하는 분포를 손으로 만든다. 좁은 정규 네 개를 섞은 밀도

\[ f(x) = \frac{q}{2}\varphi_s(x + a) + \frac{1 - q}{2}\varphi_s(x + b) + \frac{1 - q}{2}\varphi_s(x - b) + \frac{q}{2}\varphi_s(x - a) \]

를 쓴다. 여기서 \(\varphi_s\)는 \(\mathcal{N}(0, s^2)\)의 밀도이고 \(q = 0.2\), \(s = 0.15\), \(0 < b < a\)다.

(1) \(f\)는 대칭이므로 왜도가 0이다. 분산이 1이고 초과첨도도 0이 되도록 \(a\)와 \(b\)를 구하시오. 봉우리 자리를 확률변수 \(M \in \{\pm a, \pm b\}\)로 두고 \(X = M + sZ\)(\(Z\)는 표준정규, \(M\)과 독립)로 적으면 \(\mathbb{E}[M^2]\)과 \(\mathbb{E}[M^4]\)에 대한 2차식 하나로 줄어든다.

(2) 그 분포에서 \(n = 300\)인 표본 하나를 뽑아 \(G_1\), \(G_2\), 다고스티노 \(K^2\)와 샤피로–윌크의 \(p\) 값, 그리고 14.2절 히스토그램과 밀도 그림 보기 4 가 쓴 봉우리 세기로 구간 15개 히스토그램의 봉우리 수를 구하시오. 이어 \(n = 30\)과 \(n = 300\)에서 두 검정의 기각률을 모의실험으로 재시오.

(3) 적률만 보는 검정과 그림이 각각 무엇을 잡고 무엇을 놓치는지를 결과로 말하고, 14.2절 히스토그램과 밀도 그림이 보인 「구간을 잘게 쪼개면 가짜 봉우리에 묻힌다」와 나란히 놓으시오.

풀이

(1) 봉우리 자리를 적률에서 푼다. \(X = M + sZ\)이고 \(M \perp Z\), \(M\)은 \(\pm a\)를 각각 확률 \(q/2\), \(\pm b\)를 각각 확률 \((1-q)/2\)로 갖는다. \(M\)이 대칭이므로 홀수 적률이 모두 0이고

\[ \operatorname{Var}(X) = \mathbb{E}[M^2] + s^2, \qquad \mathbb{E}[X^4] = \mathbb{E}[M^4] + 6 s^2 \mathbb{E}[M^2] + 3 s^4 \]

이다(\(\mathbb{E}[Z^2] = 1\), \(\mathbb{E}[Z^4] = 3\)을 쓰고 교차항은 \(M\) 또는 \(Z\)의 홀수 적률로 사라진다). 분산 1과 초과첨도 0, 곧 \(\mathbb{E}[X^4] = 3\operatorname{Var}(X)^2 = 3\)을 요구하면 \(M_1 = \mathbb{E}[M^2]\), \(M_2 = \mathbb{E}[M^4]\)에 대해

\[ M_1 = 1 - s^2 = 0.9775, \qquad M_2 = 3 - 6 s^2 M_1 - 3 s^4 = 2.866519 \]

를 얻는다. 이제 \(u = a^2\), \(v = b^2\)로 두면 \(q = 0.2\)에서

\[ 0.2u + 0.8v = M_1, \qquad 0.2u^2 + 0.8v^2 = M_2. \]

첫 식에서 \(u = 5M_1 - 4v\)를 얻어 둘째 식에 넣으면

\[ 0.2(5M_1 - 4v)^2 + 0.8v^2 = 5M_1^2 - 8M_1 v + 4v^2 = M_2, \]

곧 \(4v^2 - 8M_1 v + (5M_1^2 - M_2) = 0\)이고

\[ v = M_1 \pm \tfrac{1}{2}\sqrt{M_2 - M_1^2}. \]

\(M_2 - M_1^2 = 2.866519 - 0.955506 = 1.911012\)이므로 \(\tfrac12\sqrt{\cdot} = 0.691197\)이다. 더하기 근 \(v = 1.6687\)은 \(u = 5M_1 - 4v = -1.787 < 0\)을 주어 버리니 버린다. 따라서

\[ v = 0.286303, \quad u = 3.742288, \qquad a = 1.934499, \quad b = 0.535073. \]

이 분포는 \(\mathcal{N}(0,1)\)과 1차부터 4차까지 적률이 모두 같다. 그런데 봉우리가 네 개다.

(2) 수치.

import numpy as np
from scipy import stats

q, s = 0.2, 0.15

# 분산 1, 초과첨도 0 조건에서 봉우리 자리를 푼다.
M1 = 1 - s ** 2                            # E[M^2],  M 은 봉우리 자리
M2 = 3 - 6 * s ** 2 * M1 - 3 * s ** 4      # E[M^4]
v = M1 - 0.5 * np.sqrt(M2 - M1 ** 2)       # = b^2  (다른 근은 a^2 < 0 이 되어 버린다)
u = 5 * M1 - 4 * v                         # = a^2
a, b = np.sqrt(u), np.sqrt(v)
print(f"E[M^2] = {M1:.6f}   E[M^4] = {M2:.6f}")
print(f"a = {a:.6f}   b = {b:.6f}")

w = np.array([q / 2, (1 - q) / 2, (1 - q) / 2, q / 2])
ctr = np.array([-a, -b, b, a])
m2 = np.sum(w * (ctr ** 2 + s ** 2))
m4 = np.sum(w * (ctr ** 4 + 6 * ctr ** 2 * s ** 2 + 3 * s ** 4))
print(f"Var = {m2:.10f}   E[X^4] = {m4:.10f}   초과첨도 = {m4 / m2 ** 2 - 3:.1e}")


def draw(rng, size):
    k = rng.choice(4, size=size, p=w)
    return ctr[k] + s * rng.standard_normal(size)


def n_peaks(counts):
    pad = np.r_[-1.0, counts.astype(float), -1.0]
    return int(np.sum((pad[1:-1] > pad[:-2]) & (pad[1:-1] >= pad[2:])))


rng = np.random.default_rng(0)
one = draw(rng, 300)
cnt, _ = np.histogram(one, bins=15)
print(f"\nn = 300 한 표본:  G1 = {stats.skew(one, bias=False):+.4f}"
      f"   G2 = {stats.kurtosis(one, bias=False):+.4f}")
print(f"  D'Agostino K2 p = {stats.normaltest(one).pvalue:.4f}")
print(f"  Shapiro-Wilk  p = {stats.shapiro(one).pvalue:.2e}")
print(f"  구간 15개 도수: {cnt}   봉우리 {n_peaks(cnt)}개")

reps = 5000
print(f"\n{reps}회 기각률 (alpha = 0.05)")
for n in (30, 300):
    rk = rs = 0
    for _ in range(reps):
        x = draw(rng, n)
        rk += stats.normaltest(x).pvalue < 0.05
        rs += stats.shapiro(x).pvalue < 0.05
    print(f"  n = {n:3d}   K2 = {rk / reps:.4f}   Shapiro-Wilk = {rs / reps:.4f}")

출력:

E[M^2] = 0.977500   E[M^4] = 2.866519
a = 1.934499   b = 0.535073
Var = 1.0000000000   E[X^4] = 3.0000000000   초과첨도 = 4.4e-16

n = 300 한 표본:  G1 = -0.0530   G2 = -0.2491
  D'Agostino K2 p = 0.6180
  Shapiro-Wilk  p = 1.18e-09
  구간 15개 도수: [19 13  0  0  6 70 27  3 24 85 11  0  0 14 28]   봉우리 4개

5000회 기각률 (alpha = 0.05)
  n =  30   K2 = 0.0216   Shapiro-Wilk = 0.6286
  n = 300   K2 = 0.0000   Shapiro-Wilk = 1.0000

(3) 해석. 적률 조건이 정확히 맞았다. 분산은 \(1\), 네 번째 적률은 \(3\)이고 초과첨도는 \(4.4 \times 10^{-16}\)으로 반올림 오차뿐이다. 그 결과 다고스티노 \(K^2\)는 눈이 멀었다. \(n = 300\)에서 기각률이 \(0.0000\)이다. 유의수준 \(0.05\)보다도 낮다. \(G_1\)과 \(G_2\)가 평균적으로 귀무가설의 값에 앉아 있을 뿐 아니라, 봉우리가 \(\pm 1.93\)에서 끊기는 유계에 가까운 분포라 \(G_2\)의 표집변동이 정규이론이 가정하는 것보다 작아서 검정이 보수적으로까지 된 것이다. \(n = 30\)에서도 \(0.0216\)으로 명목 수준에 못 미친다. \(G_1\)과 \(G_2\)의 모집단 값이 귀무가설과 똑같으므로 자료를 300개에서 3만 개로 늘려도 이 검정의 기각률은 올라가지 않는다.

반면 샤피로–윌크는 \(n = 300\)에서 기각률 \(1.0000\), 한 표본의 \(p\) 값이 \(1.18 \times 10^{-9}\)다. 순서통계량 전체를 기댓값과 견주므로 적률 두 개에 갇히지 않는다. \(n = 30\)에서도 이미 \(0.63\)이다.

그림은 어떤가. 구간 15개 도수가

\[ 19,\ 13,\ 0,\ 0,\ 6,\ 70,\ 27,\ 3,\ 24,\ 85,\ 11,\ 0,\ 0,\ 14,\ 28 \]

으로 봉우리 4개와 빈 구간 4개를 그대로 드러낸다. 14.2절 히스토그램과 밀도 그림 연습문제 6 의 기준으로 보아도 \(n = 300\), \(m = 15\)에서 잡음은 \(\sqrt{15/300} = 22\%\)인데 \(70 \to 3 \to 85\)의 골은 \(96\%\) 깊이라 잡음의 네 배를 넘는다. 참된 다봉성이다. Q-Q 그림에서는 봉우리마다 평평한 구간이, 봉우리 사이의 빈 곳마다 수직에 가까운 도약이 나타난다. 14.2절 Q-Q 그림의 '정리하며'가 계단 모양을 이산성의 표시로 적어 두었는데, 이 분포가 바로 그 연속판이다.

따라서 14.2절 히스토그램과 밀도 그림의 '정리하며'가 히스토그램의 강점으로 적은 다봉성이 여기서 결정적이다. 그리고 그 쪽의 보기 4 와 나란히 놓으면 교훈이 완성된다. 그 보기 4 에서는 그림이 거짓말을 하고 검정이 참을 말했다(정규 자료에서 가짜 봉우리 5개). 여기서는 검정이 거짓말을 하고 그림이 참을 말한다(적률이 정규와 같은 4봉 분포). 어느 하나만 보아서는 안 되는 까닭이 이 한 쌍이다. \(\square\)


연습문제 12. 4절은 원형 기각역과 정사각형 기각역이 서로를 포함하지 않는다고 했다. 그 말을 수로 마무리하자. \(H_0\) 아래에서 \(Z_1, Z_2\)는 독립인 표준정규라고 본다.

(1) "\(\lvert Z_1 \rvert > 1.96\) 또는 \(\lvert Z_2 \rvert > 1.96\)이면 기각"하는 절차의 크기를 구하시오. \(K^2\) 검정의 \(0.05\)와 공정하게 견주려면 정사각형의 반폭을 얼마로 잡아야 하는가. 그때의 크기도 구하시오.

(2) (1)에서 얻은 정사각형과 반지름 \(2.4477\)인 원을 견주어, 원만 기각하는 점이 놓이는 대각선 \(Z_1 = Z_2 = z\) 위의 구간과 정사각형만 기각하는 점이 놓이는 축 \(Z_2 = 0\) 위의 구간을 구하시오. 본문의 빨간 별 \((1.8, 1.8)\)은 어느 구간에 들어가는가.

(3) 두 절차 가운데 하나가 다른 쪽보다 낫다고 말할 수 있는가. 각자 유리한 이탈의 방향을 짚고, 작은 \(n\) 에서 \(K^2\) 의 실제 크기가 명목보다 큰 것이 (1)의 크기 비교에 어떤 그림자를 드리우는지 한 줄로 쓰시오.

풀이

(1) 그냥 둘을 걸면 크기가 \(0.0975\)로 두 배가 된다. 독립이므로 두 성분이 모두 정사각형 안에 있을 확률이 곱으로 쪼개진다.

\[ P(\lvert Z_1 \rvert < 1.96,\ \lvert Z_2 \rvert < 1.96) = 0.95^2 = 0.9025 \]

이므로 합집합의 확률은 \(1 - 0.9025 = 0.0975\)다. 검정을 둘 돌려 하나라도 걸리면 기각하는 것은 \(\alpha = 0.0975\)의 검정이며, \(K^2\)의 \(0.05\)와 견줄 수 있는 절차가 아니다.

공정하게 맞추려면 각 검정을 \(\alpha/2 = 0.025\)에서 돌려야 한다(본페로니). 반폭은 \(z_{0.9875} = 2.2414\)이고 크기는

\[ 1 - 0.975^2 = 0.049375 \]

로 \(0.05\)보다 아주 조금 작다(\(0.000625\) 차이로 보수적이다).

(2) 대각선에서는 \(1.7308 < \lvert z \rvert < 2.2414\), 축에서는 \(2.2414 < \lvert Z_1 \rvert < 2.4477\)이다. 대각선 위에서 \(K^2 = 2z^2\)이므로 원이 기각하는 조건은

\[ 2z^2 > 5.9915 \iff \lvert z \rvert > \frac{2.4477}{\sqrt{2}} = 1.7308 \]

이고, 본페로니 정사각형이 기각하지 못하는 조건은 \(\lvert z \rvert < 2.2414\)다. 두 조건이 겹치는 폭 \(0.5106\)의 구간이 원만 기각하는 띠다. 별 \((1.8, 1.8)\)은 \(1.7308 < 1.8 < 2.2414\)이므로 이 띠 안에 있다. 이 띠의 안쪽 끝에서 두 성분의 개별 \(p\) 값은 각각 \(2\{1 - \Phi(1.7308)\} = 0.0835\)로, 어느 적률도 혼자서는 \(0.08\) 수준의 증거조차 못 되는데 합치면 정확히 \(0.05\)가 된다.

축 위에서는 \(K^2 = Z_1^2\)이므로 원은 \(\lvert Z_1 \rvert > 2.4477\)에서만 기각한다. 정사각형은 \(2.2414\)부터 기각하므로 정사각형만 기각하는 구간은 폭 \(0.2063\)뿐이다. 두 띠의 폭이 \(0.5106\) 대 \(0.2063\)으로 대각선 쪽이 두 배 반 넓다.

(3) 어느 쪽도 이기지 못한다. 크기가 \(0.05\)와 \(0.049375\)로 사실상 같은데도 두 기각역이 서로를 포함하지 않으므로, 한쪽이 다른 쪽을 지배할 수 없다. 유리한 방향은 갈린다.

  • 원(옴니버스): 두 적률이 조금씩 함께 어긋나는 이탈. 대각선 쪽으로 \(\alpha\)를 더 많이 배분한다. 본문의 혼합 보기처럼 로그정규 오염이 왜도와 꼬리를 동시에 들여올 때가 그렇다.
  • 정사각형(본페로니): 한 적률만 어긋나고 다른 쪽은 깨끗한 이탈. 균등분포가 극단적인 예로, 왜도는 \(0\) 근처인데 첨도 쪽 \(Z_2\) 만 크게 음수가 되어 축 방향으로만 날아간다(물론 이 경우는 어느 절차든 기각한다).

작은 \(n\) 의 그림자: \(n = 50\) 에서 \(K^2\) 의 실제 크기가 \(0.058\) 쯤이다. 명목 크기의 차이 \(0.05 - 0.049375 = 0.000625\)는 그 보정 오차 \(0.0083\)의 \(13\)분의 \(1\)에 불과하다. 곧 작은 표본에서 소수 넷째 자리까지 크기를 맞추어 두 절차를 고르는 일은 뜻이 없고, 선택의 근거는 크기가 아니라 겨냥하는 이탈의 방향이어야 한다. \(\square\)

연습문제 13. 보기 2(2)는 같은 자료에서 첨도 항이 \(JB\) 쪽 \(40.7601\), \(K^2\) 쪽 \(15.4964\)로 \(2.63\)배 벌어진 까닭을 "\(b_2\)의 귀무분포가 치우쳐 있다"는 데 돌렸다. 그 설명을 유한표본 보정과 세제곱근 변환의 두 몫으로 쪼개어 확인하자. 정규성 아래의 적률

\[ \mathbb{E}[b_2] = \frac{3(n-1)}{n+1}, \qquad \mathrm{Var}(b_2) = \frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} \]

을 쓰고 \(n = 300\)으로 둔다.

(1) \(JB\)의 첨도 항 \(\frac{n}{24}g_2^2 = 40.7601\)에서 \(g_2\)와 \(b_2 = g_2 + 3\)을 되찾으시오.

(2) 단순 표준화 \(u = \{b_2 - \mathbb{E}[b_2]\}/\mathrm{SD}(b_2)\)를 구하고 \(u^2\)을 \(JB\) 항과 \(Z_2^2\) 사이에 놓으시오. 유한표본 보정이 \(2.63\)배의 간격을 메우는가?

(3) 비 \(\frac{n}{24}g_2^2 \big/ u^2\)을 중심 보정 인자와 분산 보정 인자의 곱으로 쪼개고, 세제곱근 변환이 짊어지는 몫이 얼마인지 결론을 쓰시오.

풀이

(1) \(g_2 = 1.805771\), \(b_2 = 4.805771\)이다. 항을 뒤집으면

\[ g_2 = \sqrt{\frac{24}{n}\cdot 40.7601} = \sqrt{0.08 \times 40.7601} = \sqrt{3.260808} = 1.805771 \]

이고 비보정 첨도는 \(b_2 = 4.805771\)이다.

(2) 보정은 간격을 메우지 않고 오히려 벌린다. \(n = 300\)에서

\[ \mathbb{E}[b_2] = \frac{3 \times 299}{301} = 2.980066, \qquad \mathrm{Var}(b_2) = \frac{24 \times 300 \times 298 \times 297}{301^2 \times 303 \times 305} = 0.0761079 \]

이므로 \(\mathrm{SD}(b_2) = 0.275877\)이고

\[ u = \frac{4.805771 - 2.980066}{0.275877} = \frac{1.825705}{0.275877} = 6.617829, \qquad u^2 = 43.7957. \]

세 수를 크기순으로 놓으면

표준화 방식 첨도 항 \(Z_2^2\)에 대한 비
단순 표준화 \(u^2\) (정확한 평균·분산) \(43.7957\) \(2.826\)
\(JB\) 항 \(\frac{n}{24}g_2^2\) \(40.7601\) \(2.630\)
\(K^2\) 항 \(Z_2^2\) (윌슨–힐퍼티) \(15.4964\) \(1\)

이다. 정확한 평균과 분산을 써서 고치면 값이 \(40.76\)에서 \(43.80\)으로 더 커진다. 간격을 메우는 쪽이 아니라 반대 방향이다. 까닭은 \(\mathrm{SD}(b_2) = 0.275877\)이 \(JB\)가 쓰는 \(\sqrt{24/n} = 0.282843\)보다 작다는 데 있다. 같은 이탈을 더 작은 척도로 재니 표준화값이 커진다.

(3) 두 보정 인자는 각각 1 보다 작고, 남는 \(2.826\)배는 전부 변환의 몫이다. 비를 그대로 쪼개면

\[ \frac{\frac{n}{24}g_2^2}{u^2} = \underbrace{\left(\frac{g_2}{b_2 - \mathbb{E}[b_2]}\right)^2}_{\text{중심 보정}} \times \underbrace{\frac{\mathrm{Var}(b_2)}{24/n}}_{\text{분산 보정}} = \left(\frac{1.805771}{1.825705}\right)^2 \times \frac{0.0761079}{0.08} \]

이고 값은 \(0.978283 \times 0.951349 = 0.930688\)이다. \(JB\)는 중심을 \(3\)으로 잡아 \(2.2\%\), 분산을 \(24/n\)으로 잡아 \(4.9\%\)만큼 항을 깎고 있었고, 둘을 합쳐 \(7\%\)다. \(2.63\)배와는 자릿수가 다르다.

그러므로 보기 2(2)의 \(2.63\)배는 유한표본 적률의 문제가 전혀 아니다. 올바르게 표준화한 \(u^2 = 43.7957\)에서 \(Z_2^2 = 15.4964\)까지 내려가는 \(2.826\)배가 순수하게 윌슨–힐퍼티 세제곱근 변환이 하는 일이고, \(JB\)가 그중 \(7\%\)만 우연히 깎아 먹어 \(2.63\)배로 보인 것이다.

\(p\) 값으로 옮기면 차이가 더 선명하다. 같은 첨도 하나를 놓고 \(u\)를 표준정규 분위수(quantile)로 읽으면 \(p = 3.65\times10^{-11}\), \(g_2/\sqrt{24/n} = 6.3844\)로 읽으면 \(p = 1.72\times10^{-10}\), 변환을 거친 \(Z_2 = 3.9365\)로 읽으면 \(p = 8.27\times10^{-5}\)다. 정확한 적률로 표준화해도 \(p\) 값은 거의 안 고쳐지고, 왜도를 펴 주어야 비로소 여섯 자릿수가 제자리로 돌아온다. 적률을 정밀하게 맞추는 것과 분포의 모양을 맞추는 것은 다른 일이다. \(\square\)

연습문제 14. 오염 정규 \(f_\varepsilon = (1-\varepsilon)\,\mathcal{N}(0,1) + \varepsilon\,\mathcal{N}(0, 3^2)\)에 대해 첨도 성분의 검정력을 \(\varepsilon\)의 함수로 따져 보자.

(1) \(\gamma_1 = 0\)임을 확인하고

\[ \gamma_2(\varepsilon) = \frac{192\,\varepsilon(1-\varepsilon)}{(1 + 8\varepsilon)^2} \]

임을 유도하시오. \(\varepsilon \to 0\)과 \(\varepsilon \to 1\)에서의 값, 그리고 최댓값과 그 위치를 구하시오.

(2) \(Z_2\)의 중심이 \(\sqrt{n/24}\,\gamma_2\)만큼 옮겨가고 산포는 그대로라고 보는 델타법 근사 아래에서, \(n = 300\), \(\alpha = 0.05\) 양측검정(two-sided test)의 검정력이 \(0.5\)가 되는 \(\varepsilon\)을 둘 구하시오.

(3) 작은 근을 해석하시오. \(n = 300\)에서 오염 관측값은 평균 몇 개인가. 오염이 하나도 섞이지 않은 표본의 비율은 얼마인가. 그 수를 보고도 검정력 \(0.5\)라는 예측을 믿을 수 있는지, 믿을 수 없다면 나머지 표본이 짊어져야 하는 기각률을 구해 논하시오.

풀이

(1) \(\gamma_2\)는 \(\varepsilon = 0.1\)에서 \(16/3\)까지 올랐다가 다시 \(0\)으로 내려온다. 두 성분이 모두 평균 \(0\)의 대칭분포이므로 홀수 차수 중심적률이 전부 \(0\)이고 \(\gamma_1 = 0\)이다. 짝수 차수는 성분별 적률의 가중평균으로

\[ m_2 = (1-\varepsilon)\cdot 1 + \varepsilon \cdot 9 = 1 + 8\varepsilon, \qquad m_4 = (1-\varepsilon)\cdot 3 + \varepsilon \cdot 3 \cdot 81 = 3(1 + 80\varepsilon) \]

이다(\(\mathcal{N}(0,\sigma^2)\)의 4차 적률이 \(3\sigma^4\)). 따라서

\[ \gamma_2 = \frac{3(1 + 80\varepsilon)}{(1+8\varepsilon)^2} - 3 = \frac{3\{1 + 80\varepsilon - (1 + 16\varepsilon + 64\varepsilon^2)\}}{(1+8\varepsilon)^2} = \frac{192\,\varepsilon(1-\varepsilon)}{(1+8\varepsilon)^2}. \]

양 끝에서 \(\gamma_2(0) = \gamma_2(1) = 0\)이다. 당연하다. \(\varepsilon = 0\)은 \(\mathcal{N}(0,1)\), \(\varepsilon = 1\)은 \(\mathcal{N}(0,9)\)이고 둘 다 정규분포다. 최댓값은 분자·분모를 미분해

\[ (1-2\varepsilon)(1+8\varepsilon) - 16\varepsilon(1-\varepsilon) = 1 - 10\varepsilon = 0 \]

에서 \(\varepsilon = 0.1\)이고 \(\gamma_2(0.1) = \frac{192 \times 0.1 \times 0.9}{1.8^2} = \frac{17.28}{3.24} = \frac{16}{3} = 5.3333\)이다. \(\gamma_2\)는 \(\varepsilon\)에 대해 단조가 아니라 봉우리를 그린다. 그러므로 \((0, 16/3)\) 안의 어떤 값도 서로 다른 두 \(\varepsilon\)에서 나오고, 첨도만 보는 검정은 그 두 경우를 구별할 수 없다.

(2) \(\varepsilon = 0.003039\) 와 \(\varepsilon = 0.802000\)이다. 중심이 \(\delta = \sqrt{n/24}\,\gamma_2\)인 표준정규라면 \(P(\lvert Z_2 \rvert > 1.96) = 0.5\)가 되는 지점은 \(\delta = 1.96\)이다(반대쪽 꼬리 기여는 \(10^{-4}\) 아래라 무시한다). \(n = 300\)에서

\[ \gamma_2 = 1.96\sqrt{\frac{24}{300}} = 1.96 \times 0.282843 = 0.554372 \]

이다. \(\gamma_2(\varepsilon) = c\)를 정리하면 \((192 + 64c)\varepsilon^2 - (192 - 16c)\varepsilon + c = 0\), 곧

\[ 227.4798\,\varepsilon^2 - 183.1301\,\varepsilon + 0.5543717 = 0 \]

이고 근의 공식에서

\[ \varepsilon = \frac{183.1301 \pm 181.7476}{454.9596} = 0.003039 \ \text{ 또는 } \ 0.802000. \]

(1)의 봉우리가 낳은 두 근이다. 하나는 "거의 모두 \(\mathcal{N}(0,1)\)인데 극소수가 오염된" 쪽, 다른 하나는 "거의 모두 \(\mathcal{N}(0,9)\)인데 \(20\%\)가 좁은 성분인" 쪽이다.

(3) 믿을 수 없다. \(n\varepsilon = 300 \times 0.003039 = 0.912\)로 평균 한 개도 안 되는 오염 관측값이다. 오염이 하나도 없을 확률은

\[ (1 - 0.003039)^{300} = e^{300\ln(0.996961)} = e^{-0.9130} = 0.4013 \]

이다. 표본의 \(40.1\%\)는 글자 그대로 i.i.d. \(\mathcal{N}(0,1)\) 표본이고, 거기서 기각이 일어나는 비율은 검정 자신의 크기밖에 안 된다. normaltest 의 실제 크기를 모의로 재면 \(n = 100\) 에서 \(0.056\), \(n = 500\) 에서 \(0.052\) 이니 \(n = 300\) 에서는 \(0.053\) 쯤으로 보면 된다. 전체 검정력이 \(0.5\)이려면 나머지 \(59.9\%\)가

\[ \frac{0.5 - 0.4013 \times 0.053}{0.5987} = \frac{0.4787}{0.5987} = 0.800 \]

의 기각률을 짊어져야 한다. 곧 \(\mathcal{N}(0,9)\)에서 나온 점이 한두 개 섞인 표본의 \(80\%\)에서 첨도 검정이 기각해야 한다는 뜻인데, 표준편차 \(3\)인 성분에서 뽑힌 점이 \(\lvert x \rvert < 2\)에 떨어질 확률만 해도 \(0.50\)이므로 그런 표본의 절반은 겉보기에 오염 없는 표본과 구별되지 않는다. 예측이 과장임이 분명하다.

과장의 뿌리는 델타법이 쓴 가정이다. \(g_2\)가 평균만 옮겨간 정규라고 보았지만, 이탈의 신호 전부가 관측값 한 개에 실려 있을 때 \(g_2\)의 분포는 정규와 거리가 멀고 오른쪽으로 길게 늘어진다. 게다가 보기 2 와 연습문제 13에서 본 대로 윌슨–힐퍼티 변환은 \(b_2\)의 큰 값을 \(2.8\)배가량 깎아 내린다. 델타법은 깎이기 전의 척도로 검정력을 센 것이다. 실제 값은 연습문제 15에서 재자. \(\square\)

연습문제 15. 연습문제 14의 예측을 모의실험으로 검증하자. \(n = 300\), 반복 \(40{,}000\)회로

\[ \varepsilon \in \{0.0030387,\ 0.0100,\ 0.0129,\ 0.0200,\ 0.0500,\ 0.8020\} \]

에서 kurtosistest와 normaltest의 기각률(\(\alpha = 0.05\))을 재고, 각 \(\varepsilon\)에 대한 델타법 예측 이동 \(\sqrt{n/24}\,\gamma_2\)와 예측 검정력, 그리고 \(Z_2\)의 표본평균을 함께 찍으시오.

(1) 작은 근에서 델타법은 검정력을 몇 배 과장하는가. 실제로 검정력 \(0.5\)를 주는 \(\varepsilon\)은 예측값의 몇 배인가.

(2) \(\varepsilon = 0.0030387\)과 \(\varepsilon = 0.8020\)은 \(\gamma_2\)가 똑같다. 실제 기각률도 같은가. 이것이 연습문제 14(1)의 "두 \(\varepsilon\)을 구별할 수 없다"는 말과 어긋나지 않는 까닭을 밝히시오.

(3) 평균 \(Z_2\) 열을 보고 과장의 출처를 지목하시오.

풀이
import numpy as np
from scipy import stats

# (1-eps) 는 N(0,1), eps 는 N(0,9) 에서 오는 오염 혼합이다. 분산만 다르므로
# 왜도는 0 이고 초과첨도는 gamma2(eps) = 192 eps (1-eps) / (1 + 8 eps)^2 이다.
def sample(eps, n, reps, rng):
    scale = np.where(rng.random((reps, n)) < eps, 3.0, 1.0)
    return rng.normal(0, 1, (reps, n)) * scale

def gamma2(e):
    return 192 * e * (1 - e) / (1 + 8 * e) ** 2

rng = np.random.default_rng(0)
n, reps = 300, 40000

# 델타법 예측은 Z2 가 평균 sqrt(n/24)*gamma2, 분산 1 인 정규라고 보고 센 것이다.
# 평균 Z2 를 함께 찍어 그 가정이 어디서 깨지는지 본다.
print("   eps    gamma2   예측 이동   예측 검정력   평균 Z2   실제(첨도)   실제(K^2)")
for eps in (0.0030387, 0.0100, 0.0129, 0.0200, 0.0500, 0.8020):
    X = sample(eps, n, reps, rng)
    _, pk = stats.normaltest(X, axis=1)
    z2, p2 = stats.kurtosistest(X, axis=1)
    shift = np.sqrt(n / 24) * gamma2(eps)
    pred = stats.norm.sf(1.96 - shift) + stats.norm.cdf(-1.96 - shift)
    print(f"{eps:7.4f}  {gamma2(eps):7.4f}    {shift:7.3f}      {pred:.4f}     {z2.mean():6.3f}      {np.mean(p2 < 0.05):.4f}      {np.mean(pk < 0.05):.4f}")

출력:

   eps    gamma2   예측 이동   예측 검정력   평균 Z2   실제(첨도)   실제(K^2)
 0.0030   0.5544      1.960      0.5001      0.705      0.1812      0.1864
 0.0100   1.6296      5.762      0.9999      1.967      0.4209      0.4247
 0.0129   2.0088      7.102      1.0000      2.432      0.5053      0.5100
 0.0200   2.7967      9.888      1.0000      3.269      0.6606      0.6592
 0.0500   4.6531     16.451      1.0000      5.131      0.9348      0.9301
 0.8020   0.5544      1.960      0.5000      1.626      0.3506      0.2968

(1) 검정력은 \(2.8\)배, 필요한 오염 비율은 \(4.2\)배 과장되었다. 델타법이 \(0.5001\)을 약속한 \(\varepsilon = 0.0030387\)에서 실제 기각률은 \(0.1812\)다. 비는 \(0.5001/0.1812 = 2.76\)이다. 거꾸로 실제 검정력이 \(0.5\)가 되는 지점은 \(\varepsilon = 0.0129\)(\(0.5053\))이고, 델타법의 근 \(0.0030387\)의 \(4.25\)배다. 초과첨도로 환산하면 \(\gamma_2 = 2.0088\)이 필요한데 델타법은 \(0.5544\)면 된다고 했으니 \(3.6\)배다. 그 사이의 \(\varepsilon = 0.01\)에서 예측 검정력은 이미 \(0.9999\)인데 실제는 \(0.4209\)다. 예측이 \(1\)에 붙어 버린 구간에서 실제는 아직 반도 못 갔다.

(2) 같지 않다. \(0.1812\) 대 \(0.3506\)으로 두 배 가까이 다르다. \(\gamma_2\)가 같으므로 점근적으로는 두 경우의 신호가 같고, 그 뜻에서 연습문제 14(1)의 말은 옳다. 어긋나지 않는 까닭은 유한표본 기각률이 \(\gamma_2\) 하나로 정해지지 않기 때문이다. \(g_2\)의 분포는 모집단의 \(6\)차·\(8\)차 적률까지 끌어오며, \(\varepsilon = 0.0030\) 쪽은 신호가 한 점에 몰려 극도로 치우친 반면 \(\varepsilon = 0.8020\) 쪽은 \(240\)개쯤의 점이 고르게 거드는 훨씬 정규에 가까운 상황이다. 같은 점근 모수, 다른 유한표본 검정력 — 점근 근사로 검정력을 셀 때 늘 조심할 자리다.

덧붙여 \(K^2\)의 기각률이 이 줄에서 첨도 검정보다 뚜렷이 낮다(\(0.2968 < 0.3506\)). \(Z_1\)에는 신호가 없으니(\(\gamma_1 = 0\)) 자유도 하나를 공짜로 버린 셈이고, 이것이 옴니버스 검정이 치르는 값이다. 다른 줄에서는 두 수가 소수 둘째 자리까지 붙어 있다.

(3) 평균 \(Z_2\)가 예측 이동의 절반도 안 된다. 첫 줄에서 델타법은 중심이 \(1.960\)으로 옮겨간다고 했는데 실제 평균은 \(0.705\)로 \(36\%\)뿐이다. \(\varepsilon = 0.01\)에서는 \(5.762\) 대 \(1.967\)로 \(34\%\), \(\varepsilon = 0.05\)에서는 \(16.451\) 대 \(5.131\)로 \(31\%\)다. 비가 \(2.78\), \(2.93\), \(3.21\)로 거의 일정한데, 이것이 바로 연습문제 13에서 센 윌슨–힐퍼티 변환의 압축률 \(2.83\)이다. 델타법은 변환 전 척도의 이동을 변환 후 임계값 \(1.96\)과 견주는 잘못을 저지른다. \(\gamma_2\)를 \(\sqrt{24/n}\)으로 나눈 값은 \(Z_2\)가 아니라 연습문제 13의 \(u\)에 가까운 양이고, 그 둘 사이에는 세제곱근 변환이 놓여 있다. \(\square\)

연습문제 16. 절 \(4\) 의 그림에서 둘째 칸(왜도 \(0.85\), \(n = 100\))의 기각률은 왜도 검정 \(0.91\), 첨도 검정 \(0.24\), \(K^2\) \(0.84\)다. 본문은 \(K^2\) 막대가 "두 검정 중 높은 쪽에 거의 붙어 있다"고 했는데, 이 칸에서는 높은 쪽보다 \(0.07\) 낮다. 손실이 어디에서 오는지 밝히자. \(K^2 = Z_1^2 + Z_2^2\)이고 귀무가설 아래에서 \(\chi^2_2\)를 따른다.

(1) 왜도 검정과 \(K^2\)의 기각역을 둘 다 \(Z_1^2\)의 임계값 형태로 적어 견주시오.

(2) 대립가설 아래에서 \(Z_1 \sim \mathcal{N}(\mu, 1)\), \(Z_2 \sim \mathcal{N}(0, 1)\)이고 둘이 독립이라는 이상화된 모형을 쓰자. 기각률 \(0.91\)에서 \(\mu\)를 구하시오.

(3) 그 \(\mu\)에서 \(K^2\)의 검정력은 자유도 2, 비중심모수 \(\lambda = \mu^2\)인 비중심 카이제곱이 \(5.991\)을 넘을 확률이며 그 값은 \(0.849\)다. 그림의 \(0.84\)와 견주고, 균등분포 칸에서는 왜 같은 손실이 보이지 않는지 설명하시오.

풀이

(1) 임계값이 \(3.841\)에서 \(5.991\)로 올라간다. 왜도 검정은 \(\lvert Z_1\rvert > 1.959964\)일 때 기각하므로

\[ Z_1^2 > 1.959964^2 = 3.8415 = \chi^2_{1,\,0.95} \]

가 기각역이다. \(K^2\)는 \(Z_1^2 + Z_2^2 > \chi^2_{2,\,0.95} = 5.9915\)일 때 기각하므로, \(Z_2\)가 아무것도 담고 있지 않아 \(Z_2^2 \approx 0\)이라 해도 \(Z_1^2\)이 \(5.9915\)를 넘어야 한다. 넘어야 할 임계값이 \(56\%\) 높아진 셈이다. 이것이 자유도 한 칸을 더 사는 값이다.

(2) \(\mu = 3.3007\)이다. \(Z_1 \sim \mathcal{N}(\mu, 1)\)일 때 기각률은 \(\Phi(-1.959964 - \mu) + \{1 - \Phi(1.959964 - \mu)\}\)인데 \(\mu\)가 양수로 크면 첫 항은 \(10^{-11}\) 수준이라 버려도 된다. 그러면

\[ 1 - \Phi(1.959964 - \mu) = 0.91 \quad \Longrightarrow \quad 1.959964 - \mu = \Phi^{-1}(0.09) = -1.340755 \]

에서 \(\mu = 3.300719\)이고 \(\lambda = \mu^2 = 10.8947\)이다.

(3) 이상화 모형이 \(0.849\)를 주고 그림은 \(0.84\)다. 손실 \(0.91 - 0.849 = 0.061\)이 그림의 손실 \(0.91 - 0.84 = 0.07\)과 거의 같다. 임계값을 \(3.841\)에서 \(5.991\)로 올린 것만으로 손실이 거의 다 설명된다. 남는 작은 차이는 \(n = 100\)에서 \(Z_2\)가 정확히 \(\mathcal{N}(0,1)\)도 아니고 \(Z_1\)과 독립도 아니기 때문인데(치우친 모집단은 연습문제 9에서 본 대로 초과첨도도 양수라 \(Z_2\)가 약간의 신호를 담는다), 방향이 반대라 손실을 조금 줄여 준다.

균등분포 칸에서 손실이 보이지 않는 까닭은 검정력이 이미 포화되었기 때문이다. 그 칸의 첨도 검정 기각률이 \(1.00\)인데, 이는 \(\lambda\)가 엄청나게 커서 통계량이 \(3.841\)이든 \(5.991\)이든 한참 위에 있다는 뜻이다. 임계값을 조금 올린 대가는 검정력 곡선이 가파른 중간 구간에서만 눈에 띈다. \(t_5\) 칸(\(0.40\), \(0.59\), \(K^2\) \(0.59\))에서 손실이 없는 것은 또 다른 이유다. 거기에서는 \(Z_1\)이 잡음이 아니다. 본문이 설명한 대로 두꺼운 꼬리가 \(Z_1\)을 부풀리므로 \(Z_1^2\)이 \(K^2\)에 실제로 보태진다. 명목을 어기는 기각이 공교롭게도 자유도 값을 치러 준 꼴이다.

한 줄로 하면 이렇다. \(K^2\)는 이탈의 방향을 모를 때 드는 보험이고, 보험료가 자유도 한 칸이다. 방향을 이미 알고 있다면 표적 검정이 낫고, 모른다면 한 칸 값은 싼 편이다.


정리하며

다고스티노 \(K^2\) 는 왜도와 첨도를 합친 옴니버스 검정이다.

\[ K^2=Z_{\gamma_1}^2+Z_{\gamma_2}^2\;\sim\;\chi^2_2 \]
  • 두 \(Z\) 점수의 제곱합이다. 각각 근사적으로 표준정규이므로 합이 자유도 2 의 카이제곱이 된다.
  • 한쪽만 보는 검정보다 넓은 범위를 잡는다. 왜도만 있거나 꼬리만 두꺼운 경우를 모두 탐지한다.
  • 기각했을 때 원인을 알려면 개별 검정을 본다. \(K^2\) 자체는 "어딘가 다르다"까지만 말하며, 10장의 \(F\) 검정과 같은 구조다.
  • \(n\ge20\) 정도가 필요하다. 첨도 검정의 요건 때문이며, 소표본에서는 샤피로–윌크가 낫다.
  • scipy.stats.normaltest 가 이 검정이다. 이름만 보고 일반적인 정규성 검정으로 오해하기 쉽다.

다음 절 자크–베라 검정으로 넘어간다.