귀무가설과 대립가설¶
1. 두 가설은 대칭이 아니다¶
들어가는 이야기 — 기각하지 못했다는 것은 참이라는 뜻이 아니다
동전을 열 번 던져 앞면이 여덟 번 나왔다. 이 동전이 기울었다고 말해도 되는가.
공정한 동전이라도 앞면이 여덟 번 이상 나오는 일이 확률 \(0.0547\) 로 일어난다. 스무 번에 한 번쯤은 그냥 생기는 일이니 「기울었다」를 입증하기에는 모자란다. 그런데 반대쪽도 보아야 한다. 앞면이 나올 확률이 정말 \(0.7\) 인 기운 동전이었다 해도 열 번에 여덟 번 이상은 확률 \(0.3828\) 로 일어나 드문 일이 아니다. 그러니 이 자료는 「공정하다」도 입증하지 못한다.
같은 자료 — 앞면 여덟 번 — 를 두 세상에 각각 대어 본 것이다. 왼쪽은 공정한 동전의 세상인데 거기서도 \(0.0547\) 로 생기니 「기울었다」를 입증하기에 모자라고, 오른쪽은 앞면이 \(0.7\) 인 세상인데 거기서도 \(0.3828\) 로 생기니 「공정하다」를 입증하지도 못한다. 한 자료가 양쪽을 다 살려 두는 이 자리가 「증거 부족」과 「참임의 증명」이 다른 말인 까닭이다. 그래서 어느 쪽을 기본값으로 둘지를 자료보다 먼저 정해 두어야 한다.
같은 여덟 번이 양쪽 세상 어디에서도 드물지 않다. 그래서 「기울었다고 말할 수 없다」가 「공정하다」가 되지 않는다. 둘은 다른 말이고, 그 차이를 흘려보내면 「유의하지 않았다」를 「효과가 없다」로 읽는 흔한 잘못이 된다.
장 개요의 두 재판이 보인 것이 이 구조다 — 한쪽을 기본값으로 놓고 뒤집을 책임을 주장하는 쪽에만 지운다. 그래서 기본값은 「입증되는」 것이 아니라 「뒤집히지 않은」 것일 뿐이다. 이 쪽은 그 두 가설을 세우는 법을 정하고, 둘이 왜 대칭이 아닌지를 밝히며, 단측과 양측을 가르는 자리까지 간다.
가설검정은 입증 책임을 한쪽에 지우는 절차다. 두 주장을 저울에 올려 어느 쪽이 무거운지 보는 것이 아니라, 한쪽을 기본값으로 놓고 그것을 뒤집을 만큼 강한 증거가 있을 때만 뒤집는다. 이 비대칭이 가설검정의 전부이고, 뒤따르는 규칙들은 모두 거기서 나온다 — 왜 \(H_0\) 에 등호가 들어가는지, 왜 「기각하지 못했다」가 「참이다」가 아닌지, 왜 가설을 자료보다 먼저 세워야 하는지.
정의와 목적¶
통계적 가설은 평균, 비율, 표준편차 같은 모수에 관한 주장 또는 가정이다. 가설검정은 그런 가설을 기각할지 말지를 정하는 형식적 절차다. 표본에서 얻은 증거를 더 넓은 모집단으로 일반화할 수 있는지 판단한다.
가설검정의 주된 목적이 셋이다.
- 모집단에 대한 추론: 가설검정은 표본자료로 모집단 전체에 대한 결론을 내리게 해 준다.
- 증거의 통계적 유의성 판단: 가설을 평가함으로써 표본에서 관측된 결과가 더 큰 모집단의 맥락에서 의미가 있는지, 아니면 단순히 우연 때문인지 판단할 수 있다.
- 오류 확률을 미리 묶는 것: 눈으로 보고 판단하는 것과 갈리는 자리가 여기다. 절차를 자료보다 먼저 정해 두면 「참인 \(H_0\) 을 기각할 확률」을 \(\alpha\) 이하로 약속할 수 있다. 그 약속이 이 장 전체가 지키려는 것이다.
이 과정에는 서로 맞서는 두 가설이 등장한다. 장 개요의 두 재판에 대어 보면 앞의 것이 기본값이고 뒤의 것이 주장하는 쪽의 말이다.
-
귀무가설(null hypothesis) (\(H_0\)): 특별한 일이 일어나고 있지 않다는 쪽이다. 유의한 효과나 차이가 없다고 주장한다. 약물시험이라면 \(H_0\) 은 새 약이 위약과 다르지 않다고 말한다.
-
대립가설(alternative hypothesis) (\(H_a\)): 연구자가 입증하려는 쪽이다. 효과나 차이가 있다고 주장한다. 같은 시험에서 \(H_a\) 는 새 약에 효과가 있다고 말한다. 대립가설을 \(H_1\) 로 적는 책도 많다 — 둘은 같은 것이고 어느 쪽도 널리 쓰인다. 이 책은 \(H_a\) 로 적는다. 다만 9.6절처럼 가설이 여럿이어서 \(H_1, H_2, \ldots, H_m\) 으로 번호를 매길 때의 \(H_1\) 은 대립가설이 아니라 첫째 가설이다.
입증 책임은 \(H_a\) 쪽에 있고, 그것을 떠받칠 증거를 내놓는 것이 표본자료다. 증거가 충분히 설득력 있지 않으면 \(H_0\) 을 기각하지 못한다고 말한다 — 「받아들인다」고 쓰지 않는다. 들머리의 동전이 보인 까닭 그대로다. 반대로 \(H_0\) 을 기각하는 것은 자료가 \(H_a\) 를 떠받쳤다는 뜻이다.
2. 가설의 종류¶
가설은 크게 두 범주로 나뉜다.
-
단순가설(simple hypothesis): 단순가설은 모집단 분포를 완전히 지정한다. 즉 모든 모수가 완전히 정해진다. 예를 들어 모평균 \(\mu\)가 5이고 모표준편차 \(\sigma\)가 2라고 말하는 가설이 단순가설이다. 이 경우 모수에 관한 모호함이 없다.
-
복합가설(composite hypothesis): 반면 복합가설은 모집단 분포를 완전히 지정하지 않는다. 대신 모수가 어떤 범위에 있다고 말한다. 예를 들어 \(\mu\)의 정확한 값을 지정하지 않고 \(\mu > 5\)라고 주장하는 것이 복합가설이다. 모집단을 하나의 모수 조합으로 제한하지 않으므로 유연성이 생긴다.
또한 연구 질문과 가설의 성격에 따라 검정은 방향성이 있거나(단측) 없을(양측) 수 있다.
- 단측검정(one-sided test): 연구가설이 효과나 관계의 방향을 주장할 때 단측검정을 쓴다. 예를 들어 새 교수법이 기존 방법보다 높은 시험 점수로 이어진다고 가설을 세운다면, 새 방법의 평균 점수가 기존 방법보다 큰지 판단하기 위해 단측검정을 한다. 즉,
- 양측검정(two-sided test): 연구가설이 방향을 지정하지 않고 효과가 존재한다고만 주장할 때는 양측검정이 적절하다. 이 검정은 양쪽 방향의 차이를 모두 살핀다. 예를 들어 새 약이 위약과 비교해 더 나은지 나쁜지를 지정하지 않고 다른 효과를 내는지만 검정한다면, 모평균이 대조군 평균과 다른지 살피기 위해 양측검정을 쓴다. 즉,
두 분류를 한 그림에 놓으면 이렇다.

가설을 세운다는 것은 모수축을 둘로 가르는 일이다. 세 경우 모두 파랑과 주황이 겹치지 않고, 합하면 축 전체가 된다. 어느 한 점도 두 가설에 동시에 속하지 않아야 한다는 것이 가설 설정의 최소 요건이다.
첫 줄의 \(H_0\)은 한 점이므로 단순가설이고, 아래 두 줄의 \(H_0\)은 구간이므로 복합가설이다. 단순가설이 편리한 것은 "\(H_0\)이 참일 때의 분포"가 하나로 정해지기 때문이다. 복합가설에서는 그 분포가 여럿이므로, 보통 \(H_0\)의 경계인 \(\mu = \mu_0\)에서 계산한다. \(H_0\) 안에서 기각확률이 가장 큰 자리가 그 경계여서, 거기서 \(\alpha\)를 지키면 \(H_0\) 전체에서 지켜지기 때문이다(연습문제 8).
그래서 우측검정의 \(H_0: \mu \leq \mu_0\)과 \(H_0: \mu = \mu_0\)은 실제 계산이 같아진다. 많은 교재가 둘을 섞어 쓰는 이유가 이것이다.
정리하면, 단순가설과 복합가설의 선택은 모수를 완전히 지정하는지 아니면 가정에 여지를 두는지에 달려 있다. 단측검정과 양측검정의 선택은 특정 방향의 효과를 찾는지 아니면 어떤 차이든 검정하는지에 달려 있다. 두 개념 모두 구체적인 연구 질문에 답하는 타당한 가설검정을 설계하는 데 중요하다.
여덟 모수가 같은 꼴을 쓴다¶
위의 분류는 \(\mu\) 하나로 설명했지만 이 장이 다룰 모수는 여덟이다. 그런데 가설을 세우는 일은 한 번만 익히면 된다 — 여덟이 똑같은 꼴을 쓰기 때문이다. \(H_0\) 은 언제나 등호 하나이고, \(H_a\) 는 그 등호를 깨는 세 가지 가운데 하나다.
| 설계 | 모수 | \(H_0\) | 양측 \(H_a\) | 단측 \(H_a\) | 어디서 |
|---|---|---|---|---|---|
| 일표본 | \(\mu\) | \(\mu = 5\) | \(\mu \neq 5\) | \(\mu > 5\) · \(\mu < 5\) | 9.2절 μ에 대한 t-검정 |
| \(p\) | \(p = 0.4\) | \(p \neq 0.4\) | \(p > 0.4\) · \(p < 0.4\) | 9.2절 p에 대한 Z-검정 | |
| \(\sigma^2\) | \(\sigma^2 = 3\) | \(\sigma^2 \neq 3\) | \(\sigma^2 > 3\) · \(\sigma^2 < 3\) | 9.2절 σ²에 대한 카이제곱 검정 | |
| 이표본 | \(\mu_1 - \mu_2\) | \(= 0\) | \(\neq 0\) | \(> 0\) · \(< 0\) | 9.3절 이표본 t-검정 |
| \(p_1 - p_2\) | \(= 0.1\) | \(\neq 0.1\) | \(> 0.1\) · \(< 0.1\) | 9.3절 p₁−p₂에 대한 이표본 Z-검정 | |
| \(\sigma_1^2/\sigma_2^2\) | \(= 1\) | \(\neq 1\) | \(> 1\) · \(< 1\) | 9.3절 σ₁²/σ₂²에 대한 F-검정 | |
| 대응표본 | \(\mu_D\) | \(= 0.15\) | \(\neq 0.15\) | \(> 0.15\) · \(< 0.15\) | 9.4절 μ_D에 대한 대응 t-검정 |
| \(p_D\) | 대칭이다 | 대칭이 아니다 | 한쪽으로 치우쳤다 | 11.2절 McNemar 검정 |
이 표에서 읽을 것이 셋이다.
하나. \(H_0\) 의 값이 \(0\) 이거나 \(1\) 일 까닭이 없다. 위에서 일부러 \(p_1 - p_2 = 0.1\) 과 \(\mu_D = 0.15\) 로 적었다. 「새 약이 기존 약보다 \(10\) 퍼센트포인트 이상 낫다」를 주장하려면 귀무가설의 값이 \(0\) 이 아니라 \(0.1\) 이어야 한다. 책의 보기가 대부분 \(0\) 과 \(1\) 을 쓰는 것은 「차이 없음」이 가장 흔한 기본값이기 때문이지 정의가 그래서가 아니다. 값이 \(0\) 이 아니면 계산이 달라지는 자리도 있다 — 9.3절 p₁−p₂에 대한 이표본 Z-검정은 \(\delta_0 = 0\) 일 때만 합동 표준오차를 쓸 수 있고 그 밖에는 왈드 표준오차로 가야 한다고 적는다.
둘. 가르는 것은 모수가 아니라 설계다. 같은 「비율의 차」라도 서로 다른 두 집단에서 왔으면 \(p_1 - p_2\) 이고, 같은 사람을 두 번 물었으면 대응된 \(p_D\) 여서 검정 자체가 달라진다. 첫 물음은 「무엇을 재는가」가 아니라 「자료가 어떻게 모였는가」다. 8.1절 신뢰수준과 포함확률의 「먼저 설계를 가른다」 표가 같은 분류를 신뢰구간 쪽에서 한다 — 두 표의 줄이 같다. 같아야 하는 까닭이 신뢰구간과 검정의 쌍대성이다.
셋. 셋 가운데 어느 \(H_a\) 인지는 자료보다 먼저 정한다. 표의 넷째 열과 다섯째 열은 같은 자료에서 다른 판정을 낸다. 귀무분포가 대칭이고 통계량이 대립가설 쪽에 떨어졌다면 단측의 \(p\) 값은 양측의 정확히 절반이므로, 양측에서 \(p = 0.07\) 로 기각하지 못한 자료가 단측으로 바꾸면 \(p = 0.035\) 로 기각된다. 자료를 본 뒤에 유리한 쪽을 고르면 실제 제1종 오류율이 \(0.05\) 가 아니라 \(0.10\) 이 된다. 9.2절 μ에 대한 Z-검정 보기 3 이 그 수를 따진다.
그림으로 보는 통계학 1. 찻잔 여덟 개로 세운 귀무가설
§2 가 가설의 종류를 갈라 놓았다. 그런데 「귀무가설을 세운다」는 말이 실제로 무엇을 하는 일인지는, 이 방법이 처음 활자로 설명된 자리를 보는 편이 빠르다.
\(1930\) 년대 로담스테드 시험장의 어느 오후, 조류학자 뮤리엘 브리스틀이 자기는 홍차에 우유를 먼저 넣었는지 차를 먼저 넣었는지 맛으로 안다고 말한다. 자리에 있던 피셔가 그 말을 흘려 듣지 않고 실험으로 만들었다.
그가 짠 것은 이렇다. 찻잔 여덟 개를 내는데 넷은 우유를 먼저, 넷은 차를 먼저 넣는다. 넷씩이라는 사실을 미리 알려 주고, 내어놓는 순서만 무작위로 섞는다. 그리고 우유가 먼저인 넷을 골라 보라고 한다.
귀무가설 「가려내지 못한다」 아래에서 맞힌 개수의 분포는 잔을 어떻게 섞었는지만으로 정해진다. 정규성(normality)도 모집단 모형도 쓰이지 않았다. 자료에서 직접 그렸다.
귀무가설은 「가려내지 못한다」 하나다. 가려내지 못한다면 그저 여덟 중 넷을 아무렇게나 고르는 것이고, 고르는 방법이 \(\binom{8}{4} = 70\) 가지다. 그러면 맞힌 개수의 분포가 완전히 정해진다 — 왼쪽 막대가 그것이다. 추정할 모수도, 가정할 분포도 없다. 섞은 방식이 분포를 만든다.
여기서 §2 로 돌아가 읽을 것이 셋이다.
하나. 귀무가설은 「아무 일도 없다」를 적은 것이지 믿는 바가 아니다. 피셔도 그가 못 가려낸다고 믿은 것이 아니다. 다만 못 가려낼 때 무슨 일이 일어나는지는 셀 수 있으므로, 그것을 기준으로 삼은 것이다.
둘. 자료를 받기 전에 \(p\) 값이 정해져 있다. 넷을 다 맞히면 \(1/70 = 0.0143\), 셋을 맞히면 \(17/70 = 0.243\) 이다. 차를 따르기도 전에 이 표가 다 적혀 있다.
셋. 잔의 수를 정하는 일이 곧 임계값을 정하는 일이다. 오른쪽 그림이 그 자리다. 여섯 잔이면 다 맞혀도 \(1/20 = 0.0500\) 으로 \(5\%\) 에 딱 걸린다 — 완벽해도 간신히 통과한다. 여덟 잔으로 늘리면 \(0.0143\) 이 되어 여유가 생긴다. 열 잔이면 \(0.0040\) 이지만 잔이 늘수록 혀가 지친다.
그리고 왼쪽 그림의 고약한 점. \(5\%\) 아래에 있는 결과가 넷을 다 맞힌 경우 하나뿐이다. 하나만 틀려도 \(p = 0.243\) 이다. 이 실험은 완벽한 성적 말고는 증거로 치지 않겠다고 설계된 것이고, 그 사실 역시 자료를 보기 전에 정해져 있었다.
브리스틀이 몇 개를 맞혔는지 피셔는 책에 적지 않았다. 그 자리에 있던 사람이 뒷날 여덟 개를 다 맞혔다고 전했다는 이야기가 있을 뿐이다.
확인한 곳 — 피셔가 『The Design of Experiments』(\(1935\)) 둘째 장에서 이 실험을 실험설계의 원리를 설명하는 보기로 들었고, 그것이 「피셔의 정확검정」으로 이어진다는 것은 통계사의 표준적인 이야기다 · 상대가 로담스테드의 조류학자 뮤리엘 브리스틀이었다는 것과 그가 모두 맞혔다는 전언은 뒷사람들의 회고로 전해지는 것이라 피셔의 책 자체에는 없다 · 표의 수치는 초기하분포에서 이 쪽이 직접 셈했다
3. 이 장이 가는 길¶
가설을 세우고 나면 물음이 둘 남는다. 증거의 강도를 어떻게 하나의 수로 요약하는가와 그 수를 어디서 끊는가다. 앞엣것이 검정통계량과 p 값이고 뒤엣것이 유의수준과 판정 규칙이다. 그렇게 끊는 자리를 정하면 틀릴 길이 둘 생기는데 — 참인 \(H_0\) 을 기각하거나, 거짓인 \(H_0\) 을 기각하지 못하거나 — 둘의 트레이드오프(trade-off)은 9.5절 제1종 오류와 제2종 오류가 따진다. 한쪽을 줄이면 다른 쪽이 는다는 것이 요점이고, 표본크기만이 둘을 함께 줄인다.
그리고 위에 적은 「가설은 자료보다 먼저」가 이 장의 뒤쪽 절반을 끌고 간다. 자료를 보고 가설이나 절차를 고르면 제1종 오류율이 약속한 \(\alpha\) 를 넘어서는데, 그 초과분을 수로 세는 것이 9.6절 분석의 자유는 곱해진다다. 그리고 검정을 여럿 할 때 그 넘침을 되돌리는 방법이 같은 절의 본페로니와 홀름 보정과 9.7절 ★ 거짓발견율이다.
연습문제¶
연습문제 1. 어떤 식당 주인이 음료 기계가 너무 많이 따른다고 의심한다(목표 530 mL). 표본 30개. 가설을 세워라.
풀이
\(H_0: \mu = 530\) 대 \(H_a: \mu > 530\) (넘치는 것을 의심하므로 단측).
대립가설의 방향은 연구 질문에서 나온다. 귀무가설에는 항상 등호가 들어간다. 진술의 대상은 표본평균(sample mean)이 아니라 모수 \(\mu\)이다.
연습문제 2. 다음에 대한 가설을 써라: (a) 약이 위약보다 혈압을 낮춘다. (b) 동전이 앞면 쪽으로 치우쳐 있다. (c) 두 공정의 분산이 다르다.
풀이
(a) \(H_0: \mu_{\text{drug}} = \mu_{\text{placebo}}\) 대 \(H_a: \mu_{\text{drug}} < \mu_{\text{placebo}}\) (감소에 대한 단측).
(b) \(H_0: p = 0.5\) 대 \(H_a: p > 0.5\) (단측).
(c) \(H_0: \sigma_1^2 = \sigma_2^2\) 대 \(H_a: \sigma_1^2 \ne \sigma_2^2\) (양측).
방향이 있는 주장 → 단측, "다르다/같지 않다" → 양측.
연습문제 3. 음료 기계에 대한 제1종 오류(type I error)와 제2종 오류(type II error)를 각각 기술하라.
풀이
제1종 오류는 참인 \(H_0\) 을 기각하는 것이다 — 기계가 넘치게 따르지 않는데 넘친다고 결론짓는다. 그 확률이 \(\alpha\) 이고, 치르는 비용은 불필요한 재교정이다.
제2종 오류는 거짓인 \(H_0\) 을 기각하지 못하는 것이다 — 기계가 넘치게 따르는 것을 놓친다. 그 확률이 \(\beta\) 이고, 치르는 비용은 계속되는 음료 낭비다.
표본크기가 정해져 있으면 \(\alpha\) 를 줄일수록 \(\beta\) 가 커진다(검정력이 낮아진다). 그래서 \(\alpha\) 를 정하려면 두 오류의 비용을 견주어야 한다.
연습문제 4. 단측 대 양측. 언제 적절한가? 단측의 대가는?
풀이
단측: 한쪽 방향만 관심 대상일 때. 그 방향으로는 검정력이 크다(\(\alpha\) 전부를 한쪽 꼬리에 쓴다).
양측: 어느 쪽으로의 이탈이든 중요할 때. 임계값이 \(z_{1-\alpha/2}\) — 기각하기가 조금 더 어렵다.
단측의 대가: 진실이 고르지 않은 방향에 있으면 결코 탐지하지 못한다. 안전이 걸린 맥락에서 결정적이다.
현대의 기본값: 사전 지식이 한쪽 방향을 배제하지 않는 한 양측. 학술지는 흔히 단측에 대한 정당화를 요구한다.
연습문제 5. 왜 \(\alpha = 0.05\)인가? 언제 벗어나야 하는가?
풀이
피셔(1925)에서 온 관례이며 깊은 근거가 있는 것은 아니다. 유의수준과 판정 규칙의 「편리하므로」 상자가 적은 대로, 피셔가 든 까닭은 그 기준이 「편리하다」는 것이었다.
벗어나야 할 때는 이렇다.
- 이해관계가 큰 경우(약물 승인): \(\alpha = 0.01\) 이하.
- 다중검정: \(\alpha/m\) (본페로니).
- 탐색적 연구: 약한 신호를 찾기 위해 \(\alpha = 0.10\).
- 물리학의 "발견": \(5\sigma\) (\(\alpha \approx 6 \times 10^{-7}\)).
2016년 미국통계학회(ASA) 성명의 취지도 같다 — \(0.05\) 라는 기준 하나로 결론을 내리지 말고, 정확한 p 값과 함께 효과크기(effect size)와 신뢰구간을 보고하라는 것이다.
연습문제 6. 가설검정과 신뢰구간. 각각 언제 쓰는가?
풀이
검정이 답하는 것: 자료가 \(H_0\)과 모순되는가? 신뢰구간이 답하는 것: \(\theta\)의 그럴듯한 범위는 무엇인가?
수학적 동등성: 수준 \(\alpha\)의 양측검정이 \(H_0: \theta = \theta_0\)을 기각할 필요충분조건은 \(\theta_0\)이 \((1-\alpha)\) 신뢰구간 밖에 있는 것이다.
구체적인 가설에는 검정을 쓰고(규제, 과학), 불확실성을 보고할 때는 신뢰구간을 쓴다. 현대의 선호: 신뢰구간이 주, 검정이 보조.
효과크기 + 신뢰구간이 "유의하다/아니다"라는 이분법보다 정보가 풍부하다.
연습문제 7. \(H_0\)과 \(H_a\)의 역할이 비대칭인 이유를 설명하고, 무엇을 귀무가설로 둘지 정하는 기준을 세워라.
풀이
비대칭의 원천. 검정 절차는 \(\alpha\)를 통제하고 \(\beta\)는 통제하지 않는다. 따라서
- \(H_0\)은 보호받는다. 강한 증거가 없으면 기각되지 않는다.
- \(H_a\)는 입증 책임을 진다. 자료가 \(H_0\)과 충분히 어긋나야 채택된다.
이 구조가 왜 그렇게 짜여 있는지는 장 개요의 두 재판이 말해 둔다 — 두 잘못의 무게가 달라서 입증 책임을 한쪽에만 지운다.
무엇을 \(H_0\)으로 둘 것인가 — 네 기준.
-
기존의 통념이나 현상 유지. 새 주장을 하는 쪽이 입증 책임을 진다.
-
더 심각한 오류를 피하는 쪽. 잘못 기각했을 때 피해가 큰 쪽을 \(H_0\)으로 둔다.
-
신약 승인: \(H_0\) = "약이 효과 없다". 효과 없는 약을 승인하는 것이 더 나쁘다.
- 안전성 검사: \(H_0\) = "제품이 위험하다". 위험한 제품을 통과시키는 것이 더 나쁘다.
두 예의 방향이 반대라는 점이 중요하다. 규제의 목적에 따라 \(H_0\)가 뒤집힌다.
-
검정 가능한 형태. \(H_0\)은 분포를 특정할 수 있어야 한다. "\(\mu=0\)"은 되지만 "\(\mu\ne0\)"은 되지 않는다(분포가 하나로 정해지지 않으므로).
-
주장하고 싶은 것을 \(H_a\)에. 기각이 곧 "발견"이므로, 증명하려는 명제를 \(H_a\)에 둔다.
\(H_0\)를 잘못 두면 생기는 일.
-
동등성을 주장하려는데 \(H_0:\delta=0\)을 쓰면 기각 실패가 곧 동등성이 되어 버린다. 앞서 본 대로 틀렸다. 동등성 시험은 \(H_0:|\delta|\ge\Delta\)로 뒤집어야 한다.
-
적합도 검정(goodness-of-fit test)도 같은 구조다. \(H_0\) = "자료가 정규분포를 따른다"이므로, 기각하지 못한 것이 "정규성 확인"이 아니다. \(n\)이 작으면 어떤 분포도 기각되지 않는다.
한 문장 기준. "기각하지 못했을 때 받아들이고 싶은 결론" 을 \(H_0\)에 둔다. 그 결론이 보호받는다.
연습문제 8. 복합 귀무가설(\(H_0:\mu\le\mu_0\))에서 수준을 어떻게 정의하는지 설명하고, 점 귀무가설과 실질적으로 같아지는 이유를 밝혀라.
풀이
정의. \(H_0\)이 여러 \(\theta\)를 포함하면 수준을 최악의 경우로 정의한다.
이를 크기(size) 라 하며, 모든 \(\theta\in\Theta_0\)에서 오류율이 \(\alpha\) 이하여야 한다.
예 — 단측 \(z\) 검정. \(H_0:\mu\le0\) 대 \(H_a:\mu>0\)에서 \(\bar X>c\)이면 기각한다면
이 \(\mu\)의 증가함수다. 따라서 최댓값이 \(\mu=0\)(경계)에서 나온다.
import numpy as np
from scipy import stats
n, sigma = 25, 1.0
c = stats.norm.ppf(0.95) * sigma / np.sqrt(n)
print(f"임계값 c = {c:.4f}")
print(f"{'μ':>7s} {'기각확률':>10s}")
for mu in [-1.0, -0.5, -0.2, -0.05, 0.0, 0.2, 0.5]:
print(f"{mu:7.2f} {stats.norm.sf((c - mu) / (sigma / np.sqrt(n))):10.5f}")
임계값 c = 0.3290
μ 기각확률
-1.00 0.00000
-0.50 0.00002
-0.20 0.00409
-0.05 0.02906
0.00 0.05000
0.20 0.25951
0.50 0.80376
\(\mu=0\)에서 정확히 0.05이고, \(\mu<0\)에서는 그보다 작다. 따라서 크기가 0.05다.
점 귀무가설과 같아지는 이유. 검정력함수가 \(\mu\)에 대해 단조이므로, 최악의 경우가 항상 경계 \(\mu=\mu_0\)에서 나온다. 그 지점에서 수준을 맞추면 \(H_0\) 전체에서 보장된다. 따라서 \(H_0:\mu\le0\)과 \(H_0:\mu=0\)이 같은 검정을 낳는다.
일반화 — 단조가능도비. 지수족처럼 가능도비(likelihood ratio)가 통계량 \(T\)에 대해 단조이면 이 구조가 성립하고, \(T>c\) 형태의 검정이 일양최강력(uniformly most powerful, UMP) 이 된다 — 대립가설의 어느 \(\theta\) 에서나 같은 수준의 다른 검정보다 검정력이 크거나 같다는 뜻이다.
단조가 아니면 달라진다.
- 양측 대립 \(H_0:\mu=0\) 대 \(H_a:\mu\ne0\)에서는 검정력함수가 \(\mu=0\)에서 최소인 U자 모양이고, UMP가 없다.
- 구간 귀무가설 \(H_0:|\mu|\le\Delta\)에서는 최악의 경우가 \(\mu=\pm\Delta\) 두 곳이다. 그래서 동등성 검정의 TOST(two one-sided tests)가 두 개의 단측검정으로 구성된다.
- 분산성분의 \(H_0:\sigma_b^2=0\) 처럼 경계가 모수공간의 끝이면 점근분포 자체가 달라진다.
실무적 함의. 단측 검정을 "\(H_0:\mu=\mu_0\)"으로 적든 "\(H_0:\mu\le\mu_0\)"으로 적든 계산은 같다. 다만 후자가 논리적으로 더 정확하다. 기각하지 못했을 때 "\(\mu\)가 \(\mu_0\)보다 크다는 증거가 없다"고 말할 수 있기 때문이다.
연습문제 9. 자료를 본 뒤에 가설을 정하는 HARKing이 왜 문제이며, 오류율을 얼마나 부풀리는지 모의실험으로 보여라.
풀이
HARKing. "Hypothesizing After the Results are Known" — 결과를 본 뒤 그것이 원래 가설이었던 것처럼 보고하는 것이다.
import numpy as np
from scipy import stats
rng = np.random.default_rng(13)
M, n = 20_000, 30
print(f"{'결과변수 수':>10s} {'적어도 하나 유의':>16s} {'명목':>8s}")
for k in [1, 2, 3, 5, 10, 20]:
# 모든 결과변수에서 참 효과가 0 (서로 독립)
z = rng.normal(0, 1, (M, k))
p = 2 * stats.norm.sf(np.abs(z))
print(f"{k:10d} {np.mean(p.min(1) < 0.05):16.4f} {0.05:8.2f}")
결과변수 수 적어도 하나 유의 명목
1 0.0509 0.05
2 0.0979 0.05
3 0.1464 0.05
5 0.2235 0.05
10 0.4014 0.05
20 0.6420 0.05
결과변수를 20개 재고 그중 유의한 것을 "가설이었다"고 보고하면, 오류율이 64%다. 명목 5%의 13배다.
상관된 결과변수라면 덜하지만 여전히 크다.
rho = 0.5
k = 10
L = np.linalg.cholesky(rho * np.ones((k, k)) + (1 - rho) * np.eye(k))
z = rng.standard_normal((M, k)) @ L.T
p = 2 * stats.norm.sf(np.abs(z))
print(f"상관 0.5인 결과변수 10개: {np.mean(p.min(1) < 0.05):.4f}")
상관 0.5인 결과변수 10개: 0.2824
28%다. 상관이 있어도 명목의 다섯 배가 넘는다.
HARKing의 여러 형태.
| 형태 | 내용 |
|---|---|
| 결과변수 선택하기 | 여러 결과 중 유의한 것만 주 결과로 |
| 하위집단 선택하기 | 전체는 비유의, "여성에서만" 유의 |
| 방향 바꾸기 | 양측으로 계획했다가 단측으로 |
| 공변량 조정 | 유의해지는 조합을 찾음 |
| 사후 이론화 | 결과에 맞는 설명을 만들고 사전 예측처럼 서술 |
왜 잡아내기 어려운가. HARKing된 논문은 완벽하게 일관된 이야기를 들려준다. 이론, 가설, 결과가 모두 맞아떨어진다. 오히려 정직한 논문보다 설득력 있게 읽힌다. 이것이 가장 위험한 점이다.
대처.
- 사전등록. 가장 확실하다.
- 탐색적 분석을 명시. "사후 분석이며 확증이 필요하다"고 적으면 HARKing이 아니다.
- 모든 결과변수를 보고. 유의하지 않은 것도 표에 넣는다.
- 결과와 무관하게 게재를 보장하는 등록보고서(registered report) 제도.
구별해야 할 것. 탐색적 연구 자체는 잘못이 아니다. 새 가설을 자료에서 찾는 것은 과학의 정상적인 활동이다. 잘못은 탐색을 확증인 척하는 것이다.
연습문제 10. 통계적 가설과 과학적 가설 사이의 간극을 논하라. 통계적 기각이 과학적 주장으로 이어지려면 무엇이 더 필요한가?
풀이
두 가설의 차이.
| 통계적 가설 | 과학적 가설 | |
|---|---|---|
| 형태 | \(\mu_1=\mu_2\) 같은 수식 | "이 기전이 작동한다" |
| 대상 | 모수 | 자연 현상 |
| 검정 | 자료로 직접 | 여러 예측을 통해 간접적으로 |
| 기각의 의미 | 모수가 특정 값이 아님 | 이론이 틀렸을 수 있음 |
간극을 만드는 것들.
1 — 보조가정의 다발. \(p\) 값이 작다는 것은 "\(H_0\)이 틀렸다"가 아니라 "\(H_0\)과 보조가정을 합친 모형 전체 중 무언가가 자료와 맞지 않는다"는 뜻이다. 보조가정에는
- 무작위 표본추출, 독립성(independence)
- 분포 형태, 등분산
- 측정 도구의 타당도와 신뢰도
- 결측 기전, 이상치(outlier) 처리
- 처리가 의도대로 전달됨(조작 점검)
이 모두 포함된다. 뒤엠–콰인 논제가 말하는 상황이며, 어느 것이 틀렸는지 자료만으로는 알 수 없다.
2 — 대립가설의 다중성. \(H_0\)을 기각하면 "\(\mu_1\ne\mu_2\)"를 얻지만, 그것이 당신의 이론 때문이라는 보장은 없다. 같은 자료를 설명하는 다른 기전이 얼마든지 있다.
- 교란요인
- 위약효과, 실험자 기대
- 선택 편향
- 측정의 인공물
3 — 구성개념 타당도. "불안"을 재는 척도가 정말 불안을 재는가. 통계적 결론은 측정된 변수에 대한 것이지 개념에 대한 것이 아니다.
4 — 일반화 범위. 대학생 100명에서 얻은 결과가 어느 모집단에 적용되는가. 통계적 추론은 표본틀까지만 보장한다.
간극을 좁히는 것.
-
여러 독립적 예측. 좋은 이론은 하나가 아니라 여러 개의 구체적 예측을 낳는다. 그것들이 모두 맞으면 설명력이 커진다.
-
위험한 예측. 이론이 틀렸다면 나오기 어려운 예측일수록 확증의 가치가 크다. "차이가 있다"보다 "차이가 대략 0.3단위일 것"이 훨씬 위험한 예측이다.
-
경쟁 이론의 배제. 대안 설명을 설계로 미리 차단한다(무작위화(randomization), 눈가림, 능동 대조군).
-
재현. 다른 연구실, 다른 표본, 다른 측정 도구에서도 나오는가.
-
기전의 증거. 효과가 왜 생기는지 별도로 보인다.
-
효과크기의 일관성. 여러 연구의 효과크기가 이론이 예측한 크기 근처에 모이는가.
한 문장. \(p<0.05\)는 과학적 주장의 시작점이지 종착점이 아니다. 통계는 "이 패턴이 우연으로 설명되기 어렵다"고 말할 뿐이며, "왜 그런가"는 설계, 이론, 반복이 답한다.
정리하며¶
가설검정은 입증 책임을 한쪽에 지우는 절차다.
- \(H_0\) 과 \(H_a\) 는 대칭이 아니다. 무죄 추정처럼 \(H_0\) 이 기본값이고, 그것을 뒤집을 만큼 강한 증거가 있을 때만 기각한다. 자료가 어느 쪽을 지지하는지 저울질하는 것이 아니다.
- "기각하지 못한다"는 "참이다"가 아니다. 무죄 평결이 결백의 증명이 아닌 것과 같다. 증거가 부족했을 뿐이며, 표본이 작아서 그랬을 수도 있다. \(H_0\) 을 "받아들인다"고 쓰지 않는 이유다.
- \(H_0\) 에는 등호가 들어간다. 그래야 그 아래에서 검정통계량(test statistic)의 분포가 하나로 정해지고 확률을 계산할 수 있다. 단순가설은 분포를 완전히 지정하고, 복합가설은 그렇지 않다.
- 가설은 자료를 보기 전에 세운다. 자료를 보고 방향을 정하면 제1종 오류율이 명목값을 넘어서며, 그것이 이 장 뒤에서 다룰 \(p\)-해킹의 출발점이다.
다음 절 검정통계량과 p 값으로 넘어간다. 증거의 강도를 하나의 수로 요약하는 방법이다.