14장: 정규성 검정¶
개요¶
들어가는 이야기 — 「25 표준편차짜리 날」이 사흘 이어졌다
투자은행 골드만삭스에서 돈을 책임지던 데이비드 비니아가 『파이낸셜 타임스』에 이렇게 말한 적이 있다. 「우리는 \(25\) 표준편차짜리 움직임을 며칠 연속으로 보고 있었습니다.」 \(2007\) 년 \(8\) 월이다.
「\(25\) 표준편차」가 무슨 말인지 풀어 보자. 어떤 일이 얼마나 드문지를 잴 때는 보통 「평소 흔들리던 폭의 몇 배인가」로 센다. 그 자로 \(25\) 배라면, 흔히 쓰는 계산(수익률이 종 모양의 정규분포를 따른다고 놓는 계산)으로 그런 날은 \(10^{134}\) 년에 한 번 온다. 우주가 생긴 지 \(138\) 억 년이니 우주의 역사를 수없이 반복해야 한 번 볼까 말까 한 일이다. 그런 날을 사흘 내리 보았다는 것이다.
그러면 둘 중 하나다. 정말로 그런 기적이 사흘 연속 일어났거나, \(25\) 라는 수를 만들어 낸 자가 잘못되었거나. 뒤쪽이다. 「평소 흔들리던 폭」은 하늘에서 내려오는 수가 아니라 지난 자료에서 재는 수인데, 그 한 해가 조용했으면 눈금이 촘촘해지고 촘촘한 자로 큰 사건을 재면 수가 터무니없이 커진다. \(25\) 는 사건이 얼마나 컸는지가 아니라 자가 얼마나 짧았는지를 잰 수다. 꼬리가 두툼한 쪽으로 자를 바꿔 끼우면 같은 날이 「\(110\) 년에 한 번」쯤으로 내려앉는다.
그런데 우리가 배우는 방법들은 대부분 그 「종 모양」에 기대고 있다. 기대도 되는지는 그 자를 쓰기 전에 따져야 하는 것이고, 따지는 일 자체가 한 장 분량의 기술이다. 종 모양에서 벗어났다는 것을 무엇으로 알아보며, 벗어난 것을 알았을 때 자를 어디까지 바꿔 끼워야 하는가. 이 장이 그 두 물음에 차례로 답한다.
표본 하나를 네 가지 눈으로 본 것이다. 같은 \(1000\) 개인데 첫 그림에서는 봉우리가 조금 높을 뿐이고, 둘째 그림은 바깥 점 \(42\) 개를 보여 주지만 그것이 많은 것인지 알려 주지 않으며, 셋째 그림에 와서야 양 끝이 또렷이 휘고, 넷째의 검정은 \(p\) 를 자릿수로 적는다. 벗어났다는 것을 무엇으로 알아보는가가 이 장의 앞쪽 물음이고, 이 네 칸이 그 차례다. 뒤쪽 물음 — 알고 난 뒤 자를 어디까지 바꿔 끼우는가 — 은 장의 후반이 맡는다.
확인한 곳 — 14.7절 금융 수익률의 정규성의 상자와 그 출처 줄. 확률은 직접 계산한 값이다
\(t\) 검정, 분산분석(analysis of variance), 선형회귀(linear regression), 신뢰구간 등 많은 통계 방법은 자료(또는 잔차)가 정규분포를 따른다고 가정한다. 이런 방법을 적용하기 전에 정규성(normality) 가정이 타당한지 확인할 도구가 필요하다. 이 장은 시각적 진단과 기술통계에서 형식적 가설검정에 이르기까지 정규성을 평가하는 완결된 도구 모음과, 정규성 가정이 무너진 자료를 다루는 전략을 제공한다.
1. 장의 구성¶
14.1 정규성 입문¶
정규성이 왜 중요하며 통계 실무의 어디에서 등장하는지 세운다.
- 정규성이란 무엇이며 왜 중요한가 — 정규분포를 정의하고 대칭인 종 모양 밀도를 설명하며, 중심극한정리(central limit theorem)가 무엇을 덮어 주고 무엇을 덮어 주지 못하는지를 갈라, 정규성이 쓰려는 통계량의 성질로 물어야 하는 것임을 보인다.
- 통계적 추론에서의 핵심 역할 — 정규성이 신뢰구간, 가설검정, 예측구간(prediction interval)을 어떻게 떠받치는지, 그리고 가정이 위배되면 무엇이 잘못되는지 설명한다.
- 금융 자료에서의 정규성 — 금융 모형(Black-Scholes, VaR, 포트폴리오 최적화)이 왜 정규성을 가정하는지, 자산 수익률이 이 가정에서 벗어날 때 어떤 실질적 결과가 따르는지 논한다.
14.2 시각적 방법¶
분포의 모양을 평가하는 시각적 접근:
- 히스토그램과 밀도 그림 (정규성 판정) — 경험적 히스토그램에 커널밀도추정과 이론적 정규 확률밀도함수(probability density function)를 겹쳐 그려 자료의 모양이 종 모양과 맞는지 판단한다.
- Q-Q 그림 — 표본분위수를 이론적 정규분위수와 비교한다. 점들이 직선을 따르면 정규성을, 체계적 이탈은 왜도(skewness)나 두꺼운 꼬리를 드러낸다. 「얼마나 휘어야 휜 것인가」에는 모수적 부트스트랩(bootstrap)으로 얹는 신뢰대가 기준을 준다.
- 상자그림과 그 해석 — 상자그림(box plot)의 중앙값, 사분위수(quartile), 수염의 대칭성으로 정규성에서 벗어남을 시사하는 왜도와 이상치(outlier)을 탐지한다.
- 금융 수익률의 Q-Q 그림 — 자산 수익률 자료에 Q-Q 그림을 적용하여 특징적인 두꺼운 꼬리와 꼬리 위험 추정에 미치는 함의를 보인다.
14.3 정규성 지표로서의 기술통계량¶
정규 모양에서 벗어난 정도를 수량화하는 수치 요약:
- 왜도와 첨도 (표집변동) — 표본왜도(비대칭)와 첨도(kurtosis, 꼬리의 두꺼움)를 정의하고 정규성 아래에서 기대되는 값(각각 0과 3)을 설명한다.
- 왜도 검정 — 표본왜도 \(g_1\) 에 다고스티노–피어슨 변환을 씌워 비대칭을 검정한다. 단순 표준화만으로는 부족한 까닭을 함께 본다.
- 첨도 검정 — 표본 초과첨도 \(g_2\) 에 같은 일을 한다. \(g_2\) 의 귀무분포가 아래로 막혀 있어 대칭이 아니라는 것이 핵심이다.
- 다고스티노의 \(K^2\) 검정 — 왜도와 첨도의 \(z\) 점수를 자유도 2인 하나의 카이제곱 검정통계량(test statistic)으로 결합하여 전반적 정규성을 평가한다.
- 자크–베라 검정 — 계량경제학에서 널리 쓰이는 검정으로, 왜도와 초과첨도를 통계량 \(JB = \frac{n}{6}(S^2 + \frac{(K-3)^2}{4})\)으로 결합하며 귀무가설(null hypothesis) 아래에서 \(\chi^2_2\) 분포를 따른다.
14.4 형식적 정규성 검정¶
경험분포함수(empirical distribution function)나 순서통계량에 기초한 엄밀한 가설검정:
- 콜모고로프–스미르노프 검정 — 경험분포함수와 완전히 지정된 정규 분포함수 사이의 최대 거리를 잰다. 그 거리가 한 지점에서만 결정되므로 검정력이 낮다.
- 릴리포스 검정 — 평균과 분산을 자료에서 추정하면 K-S 임계값을 그대로 쓸 수 없다. 모수적 부트스트랩으로 올바른 귀무분포를 만든다.
- 앤더슨–달링 검정 — K-S 검정을 개선하여 분포의 꼬리에 더 큰 가중치를 준다. 꼬리에서의 정규성 이탈에 특히 민감하다.
- 샤피로–윌크 검정 — 정렬된 표본값을 정규성 아래에서의 기댓값과 최적 가중 선형결합으로 비교하여 정규성을 평가한다. 작거나 중간 크기의 표본에서 가장 강력한 검정으로 널리 인정받는다.
14.5 한계와 함정¶
정규성 검정이 무엇을 말해 주고 무엇을 말해 주지 못하는지 가린다.
- 표본크기가 검정력에 미치는 영향 — 표본이 작으면 실제 이탈을 탐지할 검정력이 부족하고, 표본이 아주 크면 사소한 이탈에도 정규성을 기각한다.
- 민감도와 실질적 유의성 — 통계적으로 유의한 검정 결과가 반드시 후속 분석을 무효화할 만큼 큰 이탈을 뜻하지는 않는다.
- 올바른 검정 선택하기 — 표본크기, 예상되는 이탈의 유형, 분석 맥락에 따라 검정을 고르는 지침.
- 정규성 검정의 한계와 함정 — 이 절의 세 쪽이 하나씩 다룬 함정을 한자리에 모은다. 표본크기 민감성, 검정력, 치우친 분포, 그리고 실제 자료에서 판단할 때의 고려사항.
14.6 비정규 자료 다루기¶
정규성 가정이 무너졌을 때의 전략:
- 정규성을 얻기 위한 변수변환 — 로그, 제곱근, 박스–콕스 변환으로 왜도를 줄이고 자료를 정규에 가깝게 만든다.
- 대안으로서의 부트스트랩 — 복원추출 재표본추출로 분포 가정 없이 신뢰구간을 만들고 가설검정을 수행한다.
- 비모수 방법 — 자료에 특정 분포를 가정하지 않는 순위 기반 검정(만–휘트니 U, 크러스컬–월리스, 윌콕슨 부호순위)을 쓴다.
14.7 응용¶
실무에서 정규성 평가가 필요한 곳:
- t 검정과 분산분석에서의 정규성 — \(t\) 검정과 분산분석의 정규성 요건, 중간 정도의 위배에 대한 로버스트성, 대안이 필요한 시점을 설명한다.
- 회귀에서의 정규성(잔차 진단) — 회귀 잔차에 정규성 검정을 적용하여 신뢰구간과 예측구간의 바탕이 되는 가정을 확인한다.
- 금융 수익률의 정규성 — 자산 수익률이 정규분포에 비해 두꺼운 꼬리와 초과첨도를 보인다는 경험적 증거와 위험 관리에 대한 함의를 살펴본다.
연습문제 — 쪽마다 끝에 있다¶
자크–베라 검정 계산, 시각적 정규성 평가, 서로 다른 분포 모양에서의 형식적 검정 비교, 정규가 아닌 자료의 변환, 회귀에서의 잔차 정규성 진단을 아우르는 연습문제.
2. 선행 지식¶
이 장은 다음 내용 위에 세워진다.
- 4장(분포) — 정규분포의 성질, 확률밀도함수, 누적분포함수(cumulative distribution function), 그리고 연속분포 가운데 정규분포가 갖는 중심적 위치.
- 2장(기술통계) — 분포 모양의 요약 측도로서 히스토그램, 상자그림, 왜도, 첨도.
- 9장(가설검정) — 귀무가설과 대립가설(alternative hypothesis)의 틀, \(p\) 값, 유의수준, 제1종·제2종 오류(type II error).
- 5장(추정량과 표집분포(sampling distribution)) — 정규성에 의존하는 여러 절차의 바탕이 되는 카이제곱분포(chi-squared distribution)와 \(t\) 분포.
3. 핵심 요약¶
- 정규성은 많은 고전적 통계 방법의 전제 조건이다. 이를 확인하는 일은(또는 위배를 언제 감수할 수 있는지 이해하는 일은) 모든 분석 과정의 필수 부분이다.
- 시각적 방법(히스토그램, Q-Q 그림, 상자그림)은 직관적인 1차 평가를 제공하고, 형식적 검정(샤피로–윌크, 앤더슨–달링, 자크–베라)은 엄밀한 정량적 증거를 제공한다.
- 보편적으로 가장 좋은 정규성 검정은 없다. 샤피로–윌크는 대체로 작은 표본에서 가장 강력하고, 앤더슨–달링은 꼬리에서의 이탈에 민감하며, 자크–베라는 계량경제학의 표준이다.
- 표본이 아주 크면 모든 정규성 검정이 기각한다. 그때 핵심 질문은 그 이탈이 후속 추론에 영향을 줄 만큼 실질적으로 유의한가로 옮겨 간다.
- 정규성이 무너지면 세 가지 주된 전략이 있다. 자료를 변환하거나, 재표본추출(부트스트랩)을 쓰거나, 분포 가정을 요구하지 않는 비모수(nonparametric) 방법으로 옮겨 가는 것이다.
- 금융 수익률은 두꺼운 꼬리로 일관되게 정규성을 위배한다. 다만 그런 자료는 \(n\) 이 아주 커서 형식적 검정이 더해 주는 것이 없다 — 물음은 「기각되는가」가 아니라 「이탈의 크기가 실무에 얼마나 영향을 주는가」로 옮겨 간다.