귀무가설과 대립가설¶

\(H_0: \mu = 530\) 대 \(H_1: \mu > 530\) (넘치는 것을 의심하므로 단측).

대립가설의 방향은 연구 질문에서 나온다. 귀무가설에는 항상 등호가 들어간다. 진술의 대상은 표본평균이 아니라 모수 \(\mu\)이다.

(a) \(H_0: \mu_{\text{drug}} = \mu_{\text{placebo}}\) 대 \(H_1: \mu_{\text{drug}} < \mu_{\text{placebo}}\) (감소에 대한 단측).

(b) \(H_0: p = 0.5\) 대 \(H_1: p > 0.5\) (단측).

(c) \(H_0: \sigma_1^2 = \sigma_2^2\) 대 \(H_1: \sigma_1^2 \ne \sigma_2^2\) (양측).

방향이 있는 주장 → 단측, "다르다/같지 않다" → 양측.

제1종: 참인 \(H_0\)을 기각 — 기계가 넘치지 않는데 넘친다고 결론짓는다. 확률 \(\alpha\). 비용: 불필요한 재교정.

제2종: 거짓인 \(H_0\)을 기각하지 못함 — 기계가 넘치는 것을 놓친다. 확률 \(\beta\). 비용: 계속되는 낭비와 고객 과금.

맞바꿈: \(\alpha\)가 작을수록 \(\beta\)가 커진다(검정력이 낮아진다). \(\alpha\)를 정하려면 비용을 저울질해야 한다.

단측: 한쪽 방향만 관심 대상일 때. 그 방향으로는 검정력이 크다(\(\alpha\) 전부를 한쪽 꼬리에 쓴다).

양측: 어느 쪽으로의 이탈이든 중요할 때. 임계값이 \(z_{\alpha/2}\) — 기각하기가 조금 더 어렵다.

단측의 대가: 진실이 고르지 않은 방향에 있으면 결코 탐지하지 못한다. 안전이 걸린 맥락에서 결정적이다.

현대의 기본값: 사전 지식이 한쪽 방향을 배제하지 않는 한 양측. 학술지는 흔히 단측에 대한 정당화를 요구한다.

Fisher(1925)에서 온 관례이며 깊은 근거가 있는 것은 아니다. "20분의 1"이 심리적으로 다루기 쉬웠다.

벗어나야 할 때:

• 이해관계가 큰 경우(약물 승인): \(\alpha = 0.01\) 이하.
• 다중검정: \(\alpha/m\) (Bonferroni).
• 탐색적 연구: 약한 신호를 찾기 위해 \(\alpha = 0.10\).
• 물리학의 "발견": \(5\sigma\) (\(\alpha \approx 6 \times 10^{-7}\)).

2019년 ASA 성명: 0.05를 맹목적으로 쓰지 말라. 정확한 p-값, 효과크기, 신뢰구간을 보고하라.

검정이 답하는 것: 자료가 \(H_0\)과 모순되는가? 신뢰구간이 답하는 것: \(\theta\)의 그럴듯한 범위는 무엇인가?

수학적 동등성: 수준 \(\alpha\)의 양측검정이 \(H_0: \theta = \theta_0\)을 기각할 필요충분조건은 \(\theta_0\)이 \((1-\alpha)\) 신뢰구간 밖에 있는 것이다.

구체적인 가설에는 검정을 쓰고(규제, 과학), 불확실성을 보고할 때는 신뢰구간을 쓴다. 현대의 선호: 신뢰구간이 주, 검정이 보조.

효과크기 + 신뢰구간이 "유의하다/아니다"라는 이분법보다 정보가 풍부하다.

비대칭의 원천. 검정 절차는 \(\alpha\)를 통제하고 \(\beta\)는 통제하지 않는다. 따라서

• \(H_0\)은 보호받는다. 강한 증거가 없으면 기각되지 않는다.
• \(H_1\)은 입증 책임을 진다. 자료가 \(H_0\)과 충분히 어긋나야 채택된다.

형사재판의 비유. "무죄 추정"이 \(H_0\)이고, 검사가 "합리적 의심을 넘는" 증거를 제시해야 유죄(\(H_1\))가 된다. 무죄 판결은 "결백하다는 증명"이 아니라 "유죄를 입증하지 못했다"는 뜻이다.

무엇을 \(H_0\)으로 둘 것인가 — 네 기준.

1. 기존의 통념이나 현상 유지. 새 주장을 하는 쪽이 입증 책임을 진다.

2. 더 심각한 오류를 피하는 쪽. 잘못 기각했을 때 피해가 큰 쪽을 \(H_0\)으로 둔다.

3. 신약 승인: \(H_0\) = "약이 효과 없다". 효과 없는 약을 승인하는 것이 더 나쁘다.

4. 안전성 검사: \(H_0\) = "제품이 위험하다". 위험한 제품을 통과시키는 것이 더 나쁘다.

두 예의 방향이 반대라는 점이 중요하다. 규제의 목적에 따라 \(H_0\)가 뒤집힌다.

1. 검정 가능한 형태. \(H_0\)은 분포를 특정할 수 있어야 한다. "\(\mu=0\)"은 되지만 "\(\mu\ne0\)"은 되지 않는다(분포가 하나로 정해지지 않으므로).

2. 주장하고 싶은 것을 \(H_1\)에. 기각이 곧 "발견"이므로, 증명하려는 명제를 \(H_1\)에 둔다.

\(H_0\)를 잘못 두면 생기는 일.

• 동등성을 주장하려는데 \(H_0:\delta=0\)을 쓰면 기각 실패가 곧 동등성이 되어 버린다. 앞서 본 대로 틀렸다. 동등성 시험은 \(H_0:|\delta|\ge\Delta\)로 뒤집어야 한다.

• 적합도 검정도 같은 구조다. \(H_0\) = "자료가 정규분포를 따른다"이므로, 기각하지 못한 것이 "정규성 확인"이 아니다. \(n\)이 작으면 어떤 분포도 기각되지 않는다.

한 문장 기준. "기각하지 못했을 때 받아들이고 싶은 결론" 을 \(H_0\)에 둔다. 그 결론이 보호받는다.

정의. \(H_0\)이 여러 \(\theta\)를 포함하면 수준을 최악의 경우로 정의한다.

이를 크기(size) 라 하며, 모든 \(\theta\in\Theta_0\)에서 오류율이 \(\alpha\) 이하여야 한다.

예 — 단측 \(z\) 검정. \(H_0:\mu\le0\) 대 \(H_1:\mu>0\)에서 \(\bar X>c\)이면 기각한다면

이 \(\mu\)의 증가함수다. 따라서 최댓값이 \(\mu=0\)(경계)에서 나온다.

import numpy as np
from scipy import stats

n, sigma = 25, 1.0
c = stats.norm.ppf(0.95) * sigma / np.sqrt(n)
print(f"임계값 c = {c:.4f}")
print(f"{'μ':>7s} {'기각확률':>10s}")
for mu in [-1.0, -0.5, -0.2, -0.05, 0.0, 0.2, 0.5]:
    print(f"{mu:7.2f} {stats.norm.sf((c - mu) / (sigma / np.sqrt(n))):10.5f}")

임계값 c = 0.3290
      μ       기각확률
  -1.00    0.00000
  -0.50    0.00002
  -0.20    0.00409
  -0.05    0.02906
   0.00    0.05000
   0.20    0.25951
   0.50    0.80376

\(\mu=0\)에서 정확히 0.05이고, \(\mu<0\)에서는 그보다 작다. 따라서 크기가 0.05다.

점 귀무가설과 같아지는 이유. 검정력함수가 \(\mu\)에 대해 단조이므로, 최악의 경우가 항상 경계 \(\mu=\mu_0\)에서 나온다. 그 지점에서 수준을 맞추면 \(H_0\) 전체에서 보장된다. 따라서 \(H_0:\mu\le0\)과 \(H_0:\mu=0\)이 같은 검정을 낳는다.

일반화 — 단조가능도비. 지수족처럼 가능도비가 통계량 \(T\)에 대해 단조이면 이 구조가 성립하고, \(T>c\) 형태의 검정이 일양최강력(UMP) 이 된다.

단조가 아니면 달라진다.

• 양측 대립 \(H_0:\mu=0\) 대 \(H_1:\mu\ne0\)에서는 검정력함수가 \(\mu=0\)에서 최소인 U자 모양이고, UMP가 없다.
• 구간 귀무가설 \(H_0:|\mu|\le\Delta\)에서는 최악의 경우가 \(\mu=\pm\Delta\) 두 곳이다. 그래서 앞서 본 TOST가 두 개의 단측검정으로 구성된다.
• 분산성분의 \(H_0:\sigma_b^2=0\) 처럼 경계가 모수공간의 끝이면 점근분포 자체가 달라진다.

실무적 함의. 단측 검정을 "\(H_0:\mu=\mu_0\)"으로 적든 "\(H_0:\mu\le\mu_0\)"으로 적든 계산은 같다. 다만 후자가 논리적으로 더 정확하다. 기각하지 못했을 때 "\(\mu\)가 \(\mu_0\)보다 크다는 증거가 없다"고 말할 수 있기 때문이다.

HARKing. "Hypothesizing After the Results are Known" — 결과를 본 뒤 그것이 원래 가설이었던 것처럼 보고하는 것이다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(13)
M, n = 20_000, 30

print(f"{'결과변수 수':>10s} {'적어도 하나 유의':>16s} {'명목':>8s}")
for k in [1, 2, 3, 5, 10, 20]:
    # 모든 결과변수에서 참 효과가 0 (서로 독립)
    z = rng.normal(0, 1, (M, k))
    p = 2 * stats.norm.sf(np.abs(z))
    print(f"{k:10d} {np.mean(p.min(1) < 0.05):16.4f} {0.05:8.2f}")

    결과변수 수        적어도 하나 유의       명목
         1           0.0509     0.05
         2           0.0979     0.05
         3           0.1464     0.05
         5           0.2235     0.05
        10           0.4014     0.05
        20           0.6420     0.05

결과변수를 20개 재고 그중 유의한 것을 "가설이었다"고 보고하면, 오류율이 64%다. 명목 5%의 13배다.

상관된 결과변수라면 덜하지만 여전히 크다.

rho = 0.5
k = 10
L = np.linalg.cholesky(rho * np.ones((k, k)) + (1 - rho) * np.eye(k))
z = rng.standard_normal((M, k)) @ L.T
p = 2 * stats.norm.sf(np.abs(z))
print(f"상관 0.5인 결과변수 10개: {np.mean(p.min(1) < 0.05):.4f}")

상관 0.5인 결과변수 10개: 0.2824

28%다. 상관이 있어도 명목의 다섯 배가 넘는다.

HARKing의 여러 형태.

왜 잡아내기 어려운가. HARKing된 논문은 완벽하게 일관된 이야기를 들려준다. 이론, 가설, 결과가 모두 맞아떨어진다. 오히려 정직한 논문보다 설득력 있게 읽힌다. 이것이 가장 위험한 점이다.

대처.

1. 사전등록. 가장 확실하다.
2. 탐색적 분석을 명시. "사후 분석이며 확증이 필요하다"고 적으면 HARKing이 아니다.
3. 모든 결과변수를 보고. 유의하지 않은 것도 표에 넣는다.
4. 결과와 무관하게 게재를 보장하는 등록보고서(registered report) 제도.

구별해야 할 것. 탐색적 연구 자체는 잘못이 아니다. 새 가설을 자료에서 찾는 것은 과학의 정상적인 활동이다. 잘못은 탐색을 확증인 척하는 것이다.

두 가설의 차이.

간극을 만드는 것들.

1 — 보조가정의 다발. \(p\)-값이 작다는 것은 "\(H_0\)이 틀렸다"가 아니라 "\(H_0\)과 보조가정을 합친 모형 전체 중 무언가가 자료와 맞지 않는다"는 뜻이다. 보조가정에는

• 무작위 표본추출, 독립성
• 분포 형태, 등분산
• 측정 도구의 타당도와 신뢰도
• 결측 기전, 이상치 처리
• 처리가 의도대로 전달됨(조작 점검)

이 모두 포함된다. 뒤엠-콰인 논제가 말하는 상황이며, 어느 것이 틀렸는지 자료만으로는 알 수 없다.

2 — 대립가설의 다중성. \(H_0\)을 기각하면 "\(\mu_1\ne\mu_2\)"를 얻지만, 그것이 당신의 이론 때문이라는 보장은 없다. 같은 자료를 설명하는 다른 기전이 얼마든지 있다.

• 교란요인
• 위약효과, 실험자 기대
• 선택 편향
• 측정의 인공물

3 — 구성개념 타당도. "불안"을 재는 척도가 정말 불안을 재는가. 통계적 결론은 측정된 변수에 대한 것이지 개념에 대한 것이 아니다.

4 — 일반화 범위. 대학생 100명에서 얻은 결과가 어느 모집단에 적용되는가. 통계적 추론은 표본틀까지만 보장한다.

간극을 좁히는 것.

1. 여러 독립적 예측. 좋은 이론은 하나가 아니라 여러 개의 구체적 예측을 낳는다. 그것들이 모두 맞으면 설명력이 커진다.

2. 위험한 예측. 이론이 틀렸다면 나오기 어려운 예측일수록 확증의 가치가 크다. "차이가 있다"보다 "차이가 대략 0.3단위일 것"이 훨씬 위험한 예측이다.

3. 경쟁 이론의 배제. 대안 설명을 설계로 미리 차단한다(무작위화, 눈가림, 능동 대조군).

4. 재현. 다른 연구실, 다른 표본, 다른 측정 도구에서도 나오는가.

5. 기전의 증거. 효과가 왜 생기는지 별도로 보인다.

6. 효과크기의 일관성. 여러 연구의 효과크기가 이론이 예측한 크기 근처에 모이는가.

한 문장. \(p<0.05\)는 과학적 주장의 시작점이지 종착점이 아니다. 통계는 "이 패턴이 우연으로 설명되기 어렵다"고 말할 뿐이며, "왜 그런가"는 설계, 이론, 반복이 답한다.