제1종 오류와 제2종 오류¶

• 제1종 오류: 이 도시의 실업률이 실제로 9%인데 시장이 9%와 다르다고 잘못 결론짓는다.
• 제2종 오류: 이 도시의 실업률이 실제로 9%와 다른데 시장이 그 차이를 탐지하지 못한다.

제1종: 거짓 양성(\(\alpha\) = 유의수준). 제2종: 거짓 음성($\beta = 1 - $ 검정력).

제1종: 도시의 실업률이 실제로 9%인데(\(H_0\) 참) 시장이 다르다고 결론짓는다(\(H_0\) 기각). 대가: 잘못된 보도자료, 불필요한 정책 대응.

제2종: 도시의 실업률이 9%와 다른데(\(H_0\) 거짓) 시장이 탐지하지 못한다(기각 못함). 대가: 놓친 통찰, 도시가 전국 평균과 같다는 잘못된 믿음.

표본크기가 고정되어 있으면 \(\alpha\)를 줄이는 것(기각을 어렵게 하는 것)이 대개 \(\beta\)를 키운다(참인 대립가설을 더 자주 놓친다).

둘을 동시에 줄이려면 표본크기 \(n\)을 늘려야 한다. \(n\)이 고정되어 있으면 맞바꿈을 피할 수 없다.

극단적인 경우:

• 결코 기각하지 않음: \(\alpha = 0\), \(\beta = 1\) (참 효과를 항상 놓친다).
• 항상 기각함: \(\alpha = 1\), \(\beta = 0\) (항상 탐지하지만 항상 거짓 경보이다).

실무적 균형: 먼저 \(\alpha = 0.05\)를 고르고, 원하는 \(\beta\)(보통 검정력 80%에 해당하는 0.20)를 달성하도록 \(n\)을 설계한다.

검정력 = \(1 - \beta = P(\text{기각} \mid H_1\) 참\()\).

\(H_0\) 아래: \(\bar X \sim N(0, 100/30)\), \(\mathrm{SE} = \sqrt{100/30} \approx 1.83\). \(\bar X > z_{0.05} \cdot 1.83 = 3.00\)이면 기각한다.

\(H_1\) (\(\mu = 5\)) 아래: \(\bar X \sim N(5, 100/30)\). 검정력 = \(P(\bar X > 3 \mid \mu = 5) = P(Z > (3 - 5)/1.83) = P(Z > -1.09) = 0.862\).

검정력 ≈ 86%. 괜찮지만 아주 높지는 않다. 관례적인 목표는 80%이다.

단측검정에서 검정력 \(1 - \beta\)를 위한 표본크기:

여기서 \(z_{0.05} = 1.645\), \(z_{0.10} = 1.282\), \(\sigma = 10\), 효과 = 5이므로:

\(n = ((1.645 + 1.282) \cdot 10/5)^2 = (5.854)^2 \approx 34.3\). 올림하면 \(n = 35\).

(검정력 86%를 준) 연습문제 4의 \(n = 30\)보다 조금 크다. 공식이 맞바꿈을 확인해 준다: 검정력을 높이려면 자료가 더 필요하다.

모든 \(H_0\)이 참이면 각 검정이 독립적으로 확률 \(0.05\)로 기각한다. 기각 수의 기댓값: \(100 \cdot 0.05 = 5\).

적어도 한 번 잘못 기각할 가족단위 확률: \(1 - (0.95)^{100} \approx 0.994\) — 순전한 잡음에서 "유의한" 결과를 보게 될 것이 거의 확실하다.

보정:

• Bonferroni: \(\alpha/m = 0.0005\)에서 검정한다. 보수적이며 가족단위 오류 \(\le 0.05\).
• Holm-Bonferroni: 단계적 하강 방식으로 약간 더 강력하다.
• Benjamini-Hochberg (FDR): 양성으로 선언한 것 중 잘못된 기각의 기대 비율을 통제한다. 덜 보수적이다.

고차원 상황(유전체학, A/B 검정 플랫폼)에서 타당한 추론을 하려면 사전등록과 Bonferroni류 보정이 필수적이다.

두 확률의 방향이 다르다.

조건이 뒤집혀 있다. 베이즈 정리로 연결된다.

여기서 \(\pi_0\)는 검정된 가설 중 \(H_0\)이 참인 비율이다.

import numpy as np

print(f"{'π0':>6s} {'검정력':>8s} {'FDR':>8s}")
for pi0 in [0.5, 0.8, 0.9, 0.99]:
    for pw in [0.80, 0.50, 0.20]:
        fdr = 0.05 * pi0 / (0.05 * pi0 + pw * (1 - pi0))
        print(f"{pi0:6.2f} {pw:8.2f} {fdr:8.4f}")

    π0      검정력      FDR
  0.50     0.80   0.0588
  0.50     0.50   0.0909
  0.50     0.20   0.2000
  0.80     0.80   0.2000
  0.80     0.50   0.2857
  0.80     0.20   0.5000
  0.90     0.80   0.3600
  0.90     0.50   0.4737
  0.90     0.20   0.6923
  0.99     0.80   0.8609
  0.99     0.50   0.9083
  0.99     0.20   0.9612

\(\alpha=0.05\)인데 FDR이 0.06에서 0.96까지 걸친다. "\(p<0.05\)이면 5%만 틀린다"는 생각이 완전히 잘못임을 보여 준다.

결정적인 두 요인.

1. \(\pi_0\)(가설의 사전 그럴듯함). 유전체 전장연관분석처럼 \(\pi_0\approx0.9999\)인 영역에서는 \(\alpha=0.05\)가 무의미하다. 이것이 \(5\times10^{-8}\) 같은 문턱을 쓰는 이유다.

2. 검정력. 검정력이 낮으면 참인 발견을 놓쳐 분모의 둘째 항이 작아진다. 검정력이 낮은 분야는 발표된 결과의 신뢰도가 낮다.

이오아니디스의 주장. "발표된 연구 결과의 대부분은 거짓이다"라는 논문의 핵심 계산이 바로 이것이다. 여기에 편향(\(p\)-해킹)과 여러 팀의 경쟁을 더하면 FDR이 더 올라간다.

어떻게 낮추는가.

주의. 위 계산의 \(\pi_0\)는 알 수 없는 양이다. 그래서 정확한 FDR을 계산할 수는 없고, 어느 범위인지 가늠하는 데 쓴다. 다중검정 상황에서는 자료에서 \(\pi_0\)를 추정하는 방법(스토리의 \(q\)-값)이 있다.

대응표.

import numpy as np

sens, spec = 0.95, 0.95            # 민감도·특이도 모두 95%
print(f"{'유병률':>8s} {'양성예측도':>10s} {'음성예측도':>10s} "
      f"{'양성 1000명 중 참':>16s}")
for prev in [0.50, 0.10, 0.01, 0.001]:
    ppv = sens * prev / (sens * prev + (1 - spec) * (1 - prev))
    npv = spec * (1 - prev) / (spec * (1 - prev) + (1 - sens) * prev)
    print(f"{prev:8.3f} {ppv:10.4f} {npv:10.4f} {1000 * ppv:16.0f}")

     유병률      양성예측도      음성예측도     양성 1000명 중 참
   0.500     0.9500     0.9500              950
   0.100     0.6786     0.9942              679
   0.010     0.1610     0.9995              161
   0.001     0.0187     0.9999               19

민감도·특이도가 95%로 좋은데도, 유병률이 0.1%면 양성예측도가 1.9%다. 양성 판정을 받은 1,000명 중 19명만 실제 환자다.

왜 그런가. 유병률 0.1%, 인구 100만 명이면

• 환자 1,000명 중 950명이 양성(참양성),
• 건강한 999,000명 중 49,950명이 양성(거짓양성).

거짓양성이 참양성의 53배다. 특이도 95%는 "5%가 거짓양성"인데, 건강한 사람이 압도적으로 많아 절대 수가 커진다.

실무적 함의.

1. 선별검사에는 매우 높은 특이도가 필요하다. 유병률이 낮을수록 그렇다. 99.9% 특이도라도 유병률 0.1%면 PPV가 50%다.

2. 2단계 검사 전략. 민감한 검사로 선별하고, 양성자만 특이한 검사로 확진한다. 두 번째 단계에서는 유병률이 이미 크게 올라가 있으므로 PPV가 높다.

3. 검사 전 확률이 결정적이다. 증상이 있는 환자와 무증상 선별에서 같은 검사의 의미가 전혀 다르다.

4. 음성예측도는 거꾸로 좋다. 유병률이 낮으면 음성은 거의 확실히 맞는다. "아니다"를 배제하는 데는 유용하다.

통계적 검정과의 연결. 앞 문제의 FDR이 정확히 \(1-\text{PPV}\)다. \(\pi_0\)가 유병률의 여집합에 해당한다. "유의한 결과"를 "양성 판정"으로 읽으면 같은 계산이다.

제3종 오류 — 정의가 여럿이다.

(a) 카이저·겔먼의 정의 — 방향을 틀리는 것. 앞서 본 S-오류와 같다. \(H_0\)을 옳게 기각했지만 효과의 부호를 반대로 결론 내리는 경우다. 검정력이 낮을 때 나타난다.

(b) 모스텔러의 정의 — 틀린 질문에 옳게 답하는 것. 통계적 절차는 완벽했으나 문제 설정 자체가 잘못된 경우다.

• 관심은 "이 정책이 효과가 있는가"인데 "평균 차이가 0인가"를 검정.
• 관심은 "환자가 나아지는가"인데 대리 지표(바이오마커)를 검정.
• 관심은 "일반 인구"인데 표본은 대학생.

(c) 제4종 오류 — 옳은 답을 잘못 해석하거나 쓰는 것. 분석은 정확한데 결론이나 정책 권고가 자료를 넘어서는 경우다.

왜 이것들이 더 중요할 수 있는가.

1. \(\alpha\)와 \(\beta\)는 통제할 수 있지만 제3·4종은 그렇지 않다. 표본을 늘려도 틀린 질문은 여전히 틀린 질문이다. \(n\to\infty\)에서 제3종 오류는 사라지지 않는다.

2. 더 흔하다. 실무에서 잘못된 결론의 원인을 따져 보면, \(p\)-값의 계산 오류보다 문제 설정·측정·해석의 오류가 압도적으로 많다.

3. 통계 교육이 다루지 않는다. 교과서는 \(\alpha\)와 \(\beta\)에 지면을 쏟지만, 제3종 오류에 대한 훈련은 거의 없다.

구체적인 예 — 대리 지표의 함정.

통계적으로는 흠잡을 데 없는 검정이었지만, 검정한 질문이 진짜 질문이 아니었다.

대처.

추정 대상(estimand) 개념. 최근 임상시험 지침이 강조하는 것이 이것이다. "무엇을, 누구에게서, 어떤 조건에서, 어떻게 요약하는가"를 분석 전에 명시하도록 한다. 제3종 오류를 줄이려는 제도적 장치다.

한 문장. \(\alpha\)와 \(\beta\)는 답의 품질을, 제3·4종은 질문과 해석의 품질을 말한다. 전자가 아무리 좋아도 후자가 틀리면 결과가 무용하다.

판단의 축 넷.

1. 되돌릴 수 있는가. 되돌릴 수 없는 쪽이 더 나쁘다. 사망이나 형 집행은 되돌릴 수 없고, 추가 검사는 되돌릴 수 있다.

2. 누가 피해를 보는가. 개인인가 사회인가. 피해가 집중되는가 분산되는가. 스팸 필터에서 중요 메일 차단이 심각한 이유는 피해가 개인에게 집중되기 때문이다.

3. 후속 절차가 있는가. 선별검사의 거짓양성은 확진검사가 걸러 준다. 2단계 구조가 있으면 1단계에서 민감도를 우선할 수 있다.

4. 빈도. 드문 사건이면 절대 수로 환산해야 한다. 앞서 본 유병률 계산이 그 예다.

같은 문제에서 방향이 뒤집히는 경우.

신약 승인과 부작용 감시가 같은 약에 대해 반대 방향이다.

• 효능 평가: "효과가 없다"를 \(H_0\)으로 두고 강한 증거를 요구한다.
• 안전성 평가: "안전하다"를 \(H_0\)으로 두면 안 된다. 오히려 위험 신호에 민감해야 한다.

실제로 안전성 분석에서는 \(\alpha\)를 0.10이나 0.20으로 높이거나, 아예 가설검정 대신 신호 탐지의 틀을 쓴다.

정량화 시도. 앞서 본 손실함수 접근으로 최적 \(\alpha\)를 구할 수 있다. 다만

• 두 오류의 비용을 같은 단위(생명, 금액, 효용)로 환산해야 하고,
• 그 환산 자체가 가치판단이다.

그래서 통계학자 혼자 정할 수 없다. 규제기관, 임상의, 환자 대표, 경제학자가 함께 판단해야 한다.

실무 권고.

1. \(H_0\)을 정하기 전에 두 오류의 결과를 글로 적어 본다. 이 과정에서 방향이 잘못되었음을 발견하는 경우가 많다.
2. \(\alpha=0.05\)를 자동으로 쓰지 않는다. 상황에 맞게 조정하고 그 근거를 밝힌다.
3. 검정력을 반드시 함께 계획한다. \(\beta\)를 무시하면 제2종 오류의 비용을 0으로 취급하는 셈이다.