사건의 독립¶

이므로 독립이다.

이고 \(\tfrac{1}{6} \neq \tfrac{1}{4}\)이므로 독립이 아니다. 같은 주사위 한 번에서 나온 두 사건이라 서로 정보를 준다.

import numpy as np
from itertools import product

def check_independence(sample_space, prob, event_A, event_B, labels=("A", "B")):
    """두 사건이 독립인지 정의대로 확인한다.

    prob 는 {결과: 확률} 사전이고, 사건은 결과들의 집합이다.
    사건의 확률 = 그 사건에 속한 결과들의 확률의 합.
    """
    p_A = sum(prob[s] for s in event_A)
    p_B = sum(prob[s] for s in event_B)
    # event_A & event_B 는 집합의 교집합, 즉 두 사건이 동시에 일어난 결과들이다
    p_AB = sum(prob[s] for s in event_A & event_B)

    # 독립의 정의: P(A ∩ B) = P(A)P(B).
    # 부동소수점 비교이므로 == 대신 isclose 를 쓴다.
    independent = np.isclose(p_AB, p_A * p_B)

    print(f"P({labels[0]}) = {p_A:.4f}")
    print(f"P({labels[1]}) = {p_B:.4f}")
    print(f"P({labels[0]} ∩ {labels[1]}) = {p_AB:.4f}")
    print(f"P({labels[0]}) × P({labels[1]}) = {p_A * p_B:.4f}")
    print(f"Independent: {independent}\n")

# 예 1: 주사위 한 번. "짝수"와 "3 이하"는 독립인가?
# 얼핏 무관해 보이지만 확인해 봐야 안다.
#   P(짝수) = 3/6, P(3 이하) = 3/6, P(둘 다) = P({2}) = 1/6
#   1/6 vs (1/2)(1/2) = 1/4  ->  다르므로 종속이다.
outcomes = {i: 1/6 for i in range(1, 7)}
A = {2, 4, 6}       # 짝수
B = {1, 2, 3}       # 3 이하
check_independence(outcomes, outcomes, A, B, ("Even", "≤3"))

# 예 2: 동전 두 번. 첫 번째가 앞면인 사건과 두 번째가 앞면인 사건.
# product로 표본공간 HH, HT, TH, TT 를 만들고 각각 확률 1/4을 준다.
flips = list(product(['H', 'T'], repeat=2))
prob = {f: 0.25 for f in flips}
A = {f for f in flips if f[0] == 'H'}
B = {f for f in flips if f[1] == 'H'}
check_independence(flips, prob, A, B, ("1st=H", "2nd=H"))

출력:

P(Even) = 0.5000
P(≤3) = 0.5000
P(Even ∩ ≤3) = 0.1667
P(Even) × P(≤3) = 0.2500
Independent: False

P(1st=H) = 0.5000
P(2nd=H) = 0.5000
P(1st=H ∩ 2nd=H) = 0.2500
P(1st=H) × P(2nd=H) = 0.2500
Independent: True

이다. 쌍별로는 독립인데 셋을 함께 보면 독립이 아니다.

(1) 이론값. 동전이 공정하고 두 던지기가 독립이면 세 참값은

이다. 모의실험이 확인할 것은 "\(0.25\)가 나오는가"가 아니라 곱 규칙이 성립하는가, 곧 셋째 추정값이 앞의 두 추정값의 곱과 같은가다. 그래서 보아야 할 양은 차이

이고, 이것은 지시변수 \(X = \mathbf 1_{H_1}\), \(Y = \mathbf 1_{H_2}\)의 표본공분산이다. 참 공분산은 독립이므로 \(0\)이다. 그 표준오차는 \(X, Y\)를 중심화해 보면

이므로

이다. 각 비율 자체의 표준오차는 \(\sqrt{0.25/200000} = 0.00112\)로 그 두 배다.

독립을 수치로 확인한다는 것은 "차이가 \(0\)이다"를 보이는 일이 아니라 "차이가 \(0.00056\) 규모 안에 있다"를 보이는 일이다. 20만 번으로는 그 이상 말할 수 없다.

(2) 모의실험.

import numpy as np

def simulate_independence(n_simulations=200_000):
    """동전 두 번 던지기가 독립임을 세어서 확인한다."""
    np.random.seed(42)
    flip1 = np.random.randint(0, 2, size=n_simulations)  # 0=뒷면, 1=앞면
    flip2 = np.random.randint(0, 2, size=n_simulations)

    # 0/1 배열의 평균이 곧 "1이 나온 비율" = P(앞면) 이다
    p_A = flip1.mean()
    p_B = flip2.mean()

    # 둘 다 앞면인 비율. 이것이 결합확률 P(A ∩ B) 다.
    p_AB = ((flip1 == 1) & (flip2 == 1)).mean()

    # 독립의 정의는 P(A ∩ B) = P(A)P(B) 다.
    # 아래 출력에서 마지막 두 줄이 같은 값인지 보면 된다.

    print(f"P(H₁) = {p_A:.4f},  P(H₂) = {p_B:.4f}")
    print(f"P(H₁ ∩ H₂) = {p_AB:.4f}")
    print(f"P(H₁) × P(H₂) = {p_A * p_B:.4f}")

    # 네 자리에서 멈추지 말고 차이를 직접 재어 (1)의 오차와 견준다.
    se = 0.25 / np.sqrt(n_simulations)
    print(f"차이 = {p_AB - p_A * p_B:+.6f},  se = {se:.6f}"
          f"  ({(p_AB - p_A * p_B) / se:+.2f} se)")

simulate_independence()

출력:

P(H₁) = 0.4996,  P(H₂) = 0.5013
P(H₁ ∩ H₂) = 0.2505
P(H₁) × P(H₂) = 0.2505
차이 = +0.000028,  se = 0.000559  (+0.05 se)

맞는다. 차이가 \(+0.000028\)로 표준오차의 \(0.05\)배다. 곱 규칙이 20만 번의 자료가 가려낼 수 있는 한계 안에서 성립한다.

다만 넷째 자리까지 같게 나온 것은 운이 좋았던 것이다. 차이의 표준오차가 \(0.00056\)이므로 넷째 자리 단위(\(0.00005\))의 열 배이고, 보통은 \(0.2505\) 대 \(0.2499\)처럼 넷째 자리에서 갈린다. 실제로 씨앗만 바꿔 같은 모의실험을 돌리면 차이가 \(-0.00036\), \(+0.00044\), \(+0.00079\)처럼 나온다. "소수 몇째 자리까지 같다"는 것은 독립의 증거가 아니고, 몇째 자리까지 같아야 하는지를 정해 주는 것이 (1)의 표준오차다.

두 변의 추정값이 각각 \(0.4996\)과 \(0.5013\)으로 \(0.5\)에서 \(-0.4\), \(+1.2\) 표준오차만큼 비껴나 있는 것도 같은 이야기다. 모의실험은 참값을 보여 주지 않고 참값 둘레의 난수를 보여 준다.

(a) \(\Omega = \{(i, j) : i, j \in \{1,\ldots,6\}\}\)이고 \(|\Omega| = 36\)이다.

(b) \(A = \{(1,6), (2,5), (3,4), (4,3), (5,2), (6,1)\}\). \(B = \{(3,1),(3,2),(3,3),(3,4),(3,5),(3,6)\}\). \(A \cap B = \{(3,4)\}\).

(c) \(P(A) = 6/36 = 1/6\), \(P(B) = 1/6\), \(P(A \cap B) = 1/36\).

(d) \(P(A) \cdot P(B) = 1/36 = P(A \cap B)\)이므로 독립이다. 직관: 첫 굴림이 3임을 알아도 합이 7일 확률은 변하지 않는다. 두 번째 굴림의 여섯 값 중 정확히 하나(즉 4)만이 합 7을 만들기 때문이다.

독립성에 의해 \(P(A \cap B) = P(A) P(B)\)이다.

\(P(A^c \cap B) = P(B) - P(A \cap B) = P(B) - P(A) P(B) = P(B)[1 - P(A)] = P(B) P(A^c)\).

따라서 \(A^c\)와 \(B\)는 독립이다. 대칭적인 논증으로 \(A\)와 \(B^c\)도 독립이다. 같은 논증을 \(A\)와 \(B^c\)의 독립에서 출발해 적용하면 \(A^c\)와 \(B^c\)의 독립을 얻는다.

교훈: 독립성은 여집합을 취해도 보존된다. 때로는 여집합으로 독립성을 확인하는 편이 더 쉽다(예: 신뢰도 분석에서 \(P(\text{고장 없음}) = \prod P(\text{부품 } i \text{ 작동})\)).

표본공간은 36개의 순서쌍이고 각각 확률 \(1/36\)이다.

주변확률. \(P(A) = 3/6 = 1/2\), \(P(B) = 3/6 = 1/2\)이다. 합이 \(9\)가 되는 쌍은 \((3,6), (4,5), (5,4), (6,3)\) 넷이므로 \(P(C) = 4/36 = 1/9\)이다.

세 개의 교집합. \(A \cap B\)는 "첫 굴림이 \(3\)"이고, 거기서 합이 \(9\)가 되려면 두 번째가 \(6\)이어야 하므로 \(A \cap B \cap C = \{(3,6)\}\)이다.

그런데 쌍은 모두 종속이다.

세 줄 모두 왼쪽과 오른쪽이 다르므로 어느 쌍도 독립이 아니다.

교훈. 보기 3과 이 문제를 나란히 놓으면 정리 3의 정의가 왜 "모든 부분집합"을 요구하는지 분명해진다. 쌍의 곱 규칙과 셋의 곱 규칙은 어느 쪽도 다른 쪽을 함의하지 않는다. 그래서 부분집합 하나하나를 따로 확인해야 하며, \(n\)개 사건이면 \(2^n - n - 1\)개의 조건이 된다.

공정한 주사위를 한 번 굴리고 다음과 같이 정의하자.

• \(A = \{1, 2, 3\}\), \(P(A) = 1/2\).
• \(B = \{1, 4\}\), \(P(B) = 1/3\).
• \(C = \{4, 5, 6\}\), \(P(C) = 1/2\).

확인:

• \(A \cap B = \{1\}\)이므로 \(P = 1/6 = P(A) P(B)\). ✓ 독립
• \(B \cap C = \{4\}\)이므로 \(P = 1/6 = P(B) P(C)\). ✓ 독립
• \(A \cap C = \emptyset\)이므로 \(P = 0 \ne P(A) P(C) = 1/4\). ✗ 독립 아님

따라서 \(A\)와 \(B\)가 독립이고 \(B\)와 \(C\)가 독립이지만 \(A\)와 \(C\)는 독립이 아니다. 독립성은 추이적이지 않다.

\(A = \{2, 4\}\)이므로 \(P(A) = 1/2\)이다. \(B = \{1, 2\}\)이므로 \(P(B) = 1/2\)이다. \(A \cap B = \{2\}\)이므로 \(P = 1/4 = P(A) P(B)\)로 독립이다. ✓

일반화: 여기서 독립이 나오는 이유는 네 결과 \(\{1, 2, 3, 4\}\)를 비트 \((b_1, b_2)\)로 부호화할 수 있기 때문이다. 여기서 \(b_1\)은 "짝수" 지시자, \(b_2\)는 "\(\le 2\)" 지시자다. 네 결과가 어떤 순서로든 \((\bar b_1, \bar b_2), (b_1, \bar b_2), (\bar b_1, b_2), (b_1, b_2)\)이고 각각의 확률이 1/4이므로, 두 비트가 균등하고 i.i.d.가 되어 독립이다.

더 일반적으로, 크기 \(|\Omega| = n\)인 유한 표본공간 위의 균등분포에서 사건 \(A\)와 \(B\)가 독립일 필요충분조건은 네 칸의 도수 \(|A \cap B|, |A \cap B^c|, |A^c \cap B|, |A^c \cap B^c|\)가 계수 1인 \(2 \times 2\) 행렬을 이루는 것, 즉 행과 열이 서로 비례하는 것이다. 이는 독립인 결합분포의 계수 1 분해 성질에 대응하는 이산판이다.

\(T = \hat P(A \cap B) - \hat P(A) \hat P(B)\)로 정의하자. 독립성 아래에서 \(T\)의 모집단 값은 \(0\)이다. 표본의 \(T\)는 근사적으로 다음 분포를 갖는다.

점근적으로 \(\sqrt{n} \cdot T \xrightarrow{d} N(0, \sigma^2)\)이며, 여기서 \(\sigma^2 = P(A) P(B)(1 - P(A))(1 - P(B))\)이다(크라메르–월드 / 델타 방법 계산).

따라서 \(\mathbb{E}|T| \approx \sqrt{2/\pi} \cdot \sigma/\sqrt{n} = O(n^{-1/2})\)이다.

귀결: 유한 표본에서 \(T\)가 0이 아니라고 해서 종속성이 증명되지는 않는다. \(T\)의 표준오차가 \(n^{-1/2}\) 차수이기 때문이다. 독립성에 대한 카이제곱 검정이 이를 형식화한다. \(H_0\) 아래에서 검정통계량이 카이제곱분포를 따르며, 값이 클 때에만 종속성의 증거가 된다.

이는 다른 곳에서와 같은 교훈이다. 구조적인 모집단 성질(독립성, 인과관계 없음)은 표본 자료로 결정적으로 입증할 수 없다. 오직 독립성의 실패(\(T = 0\)에서 유의하게 벗어남)만이 귀무가설에 반하는 증거가 된다.

(a) 직렬. 모든 부품이 동시에 작동해야 하므로 곱 규칙을 그대로 쓴다.

(b) 병렬. "하나라도 살아 있다"를 직접 세면 경우가 많다. 여사건을 보는 것이 쉽다. 시스템이 멈추려면 모두 고장나야 하므로

이다. 독립이 쓰인 자리는 두 경우 모두 곱으로 묶는 단계다.

(c) \(0.99^{100} = 0.366\)이다.

부품 하나하나는 \(99\%\) 믿을 만한데 전체는 \(37\%\)에 그친다. 신뢰도가 곱으로 쌓이기 때문이며, \(1\)에 가까운 수라도 \(100\)번 곱하면 멀리 내려간다. 같은 부품을 병렬로 이으면 \(1 - 0.01^{100} \approx 1\)로 사실상 완벽해진다. 구조를 바꾸는 것이 부품을 개선하는 것보다 훨씬 강력할 수 있다는 것이 신뢰도공학의 출발점이다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)

print("카이제곱 독립 검정의 기각률 (P(A)=P(B)=0.5)")
print(f"{'의존 강도':>10}" + "".join(f"{'n=' + str(n):>11}" for n in (50, 200, 1000)))
for phi in (0.0, 0.1, 0.2, 0.3):
    row = f"{phi:>10.1f}"
    for n in (50, 200, 1000):
        rej = 0
        for _ in range(3000):
            a = rng.random(n) < 0.5
            b = np.where(rng.random(n) < phi, a, rng.random(n) < 0.5)
            tab = np.array([[np.sum(a & b), np.sum(a & ~b)],
                            [np.sum(~a & b), np.sum(~a & ~b)]])
            if tab.sum(0).min() > 0 and tab.sum(1).min() > 0:
                if stats.chi2_contingency(tab, correction=False)[1] < 0.05:
                    rej += 1
        row += f"{rej / 3000:>11.4f}"
    print(row)

출력:

카이제곱 독립 검정의 기각률 (P(A)=P(B)=0.5)
     의존 강도       n=50      n=200     n=1000
       0.0     0.0567     0.0533     0.0520
       0.1     0.1183     0.2970     0.8893
       0.2     0.3230     0.8183     1.0000
       0.3     0.5893     0.9927     1.0000

첫 줄이 1종 오류율이다. 실제로 독립일 때 \(0.052\)–\(0.057\)로 명목 수준을 지킨다.

나머지 줄이 검정력이다.

약한 의존은 작은 표본에서 거의 탐지되지 않는다. \(\phi = 0.1\)이고 \(n = 50\)이면 \(88\%\)의 경우 "독립"으로 판정된다.

함의가 두 방향이다.

• "검정이 기각하지 않았으므로 독립이다"는 틀렸다. 검정력이 낮으면 종속을 놓친다. 1장에서 반복한 "기각 실패 \(\ne\) 귀무가설 참"이 여기서도 그대로다.
• 반대로 \(n\)이 아주 크면 사소한 종속도 기각한다. 2장 모자이크 문서 연습문제 7과 2장 왜도·첨도 문서 연습문제 10에서 본 문제다. \(\phi = 0.01\)짜리 의존도 \(n = 10^5\)이면 확실히 기각된다.

그래서 독립성은 검정보다 설계와 지식으로 확보하는 것이 옳다. 무작위 배정으로 독립을 만들거나(1장), 물리적으로 분리된 측정임을 논증하는 편이 자료에서 독립을 확인하려 애쓰는 것보다 확실하다.

연습문제 6의 결과와 이어진다. \(P(A) = P(B) = 1/2\)이면 연습문제 6의 \(\sigma = \sqrt{\tfrac12\cdot\tfrac12\cdot\tfrac12\cdot\tfrac12} = 1/4\)이므로, 표본에서 \(\hat{P}(A\cap B) - \hat{P}(A)\hat{P}(B)\)의 표준편차가 대략 \(1/(4\sqrt{n})\) 규모다. 그보다 작은 의존은 표본에서 보이지 않는다. \(\square\)

상호정보량은

로 정의된다. 결합분포와 "독립이라면 그랬을 분포"의 쿨백–라이블러 거리다.

핵심 성질. \(I(X;Y) \ge 0\)이고, \(I(X;Y) = 0\)일 필요충분조건이 독립이다. 상관계수와 달리 "\(0\)이면 독립"이 성립한다.

import numpy as np

rng = np.random.default_rng(0)

def mutual_info(a, b):
    tab = np.array([[np.mean(a & b), np.mean(a & ~b)],
                    [np.mean(~a & b), np.mean(~a & ~b)]])
    px, py = tab.sum(1, keepdims=True), tab.sum(0, keepdims=True)
    with np.errstate(divide="ignore", invalid="ignore"):
        terms = tab * np.log2(tab / (px * py))
    return np.nansum(terms)

N = 400_000
print(f"{'의존 강도':>10}{'상호정보량 (bit)':>18}{'|phi 계수|':>12}")
for phi in (0.0, 0.2, 0.5, 0.9):
    a = rng.random(N) < 0.5
    b = np.where(rng.random(N) < phi, a, rng.random(N) < 0.5)
    print(f"{phi:>10.1f}{mutual_info(a, b):>18.6f}"
          f"{abs(np.corrcoef(a, b)[0, 1]):>12.4f}")

출력:

     의존 강도       상호정보량 (bit)    |phi 계수|
       0.0          0.000001      0.0013
       0.2          0.028765      0.1990
       0.5          0.187827      0.4989
       0.9          0.715882      0.9011

의존이 없으면 \(I = 0\)이고, 강해질수록 커진다(\(0 \to 0.716\) bit).

상관계수와의 차이.

마지막 줄이 실무의 걸림돌이다. 상호정보량은 결합분포 전체를 추정해야 하므로 표본이 많이 필요하고, 연속변수에서는 구간화나 밀도추정이 필요해 그 선택이 값을 바꾼다(2장 히스토그램·KDE 문서에서 본 문제와 같다). 그리고 유한 표본에서 위로 편향된다. 독립인 자료에서도 추정값이 양수로 나오므로 보정이 필요하다.

해석의 의미. \(I(X;Y)\)는 "\(Y\)를 알면 \(X\)에 대한 불확실성이 몇 비트 줄어드는가"다. 위에서 \(0.716\)비트는 \(X\)의 엔트로피 \(1\)비트 중 \(72\%\)가 해소된다는 뜻이다.

관련 척도들. 거리상관은 상호정보량처럼 "\(0\)이면 독립"을 만족하면서 추정이 더 안정적이다. 최대정보계수(MIC)는 상호정보량을 정규화해 비교 가능하게 만든 것이다. 2장 쌍그림 문서 연습문제 7에서 언급한 도구들이 이것이다. \(\square\)

import numpy as np

p = 0.9                                        # 부품 하나의 신뢰도
print(f"부품 신뢰도 {p}, 독립 가정")
print(f"{'부품 수':>8}{'직렬':>10}{'병렬':>10}")
for k in (1, 2, 3, 5):
    print(f"{k:>8}{p ** k:>10.5f}{1 - (1 - p) ** k:>10.5f}")

q = 1 - p
print(f"\n3중 병렬에 공통원인 고장(확률 c)이 있으면")
print(f"{'c':>8}{'실제 신뢰도':>14}{'독립 가정':>12}{'고장 확률 배수':>16}")
for c in (0.0, 0.005, 0.01, 0.05):
    rel = (1 - c) * (1 - ((q - c) / (1 - c)) ** 3) if c < q else 1 - c
    naive = 1 - q ** 3
    print(f"{c:>8.3f}{rel:>14.5f}{naive:>12.5f}{(1 - rel) / (1 - naive):>16.1f}")

출력:

부품 신뢰도 0.9, 독립 가정
    부품 수        직렬        병렬
       1   0.90000   0.90000
       2   0.81000   0.99000
       3   0.72900   0.99900
       5   0.59049   0.99999

3중 병렬에 공통원인 고장(확률 c)이 있으면
       c        실제 신뢰도       독립 가정        고장 확률 배수
   0.000       0.99900     0.99900             1.0
   0.005       0.99413     0.99900             5.9
   0.010       0.98926     0.99900            10.7
   0.050       0.94986     0.99900            50.1

독립이면 중복이 극적으로 효과적이다. 신뢰도 \(0.9\)인 부품 세 개를 병렬로 두면 \(0.999\)가 된다. 고장 확률이 \(0.1\)에서 \(0.001\)로 \(100\)배 줄어든다.

공통원인 고장이 있으면 무너진다.

공통 고장 확률이 \(5\%\)뿐인데 실제 고장 확률이 독립 가정의 \(50\)배다. 그리고 부품을 더 늘려도 소용없다. 공통원인이 발동하면 모두 함께 고장 나기 때문이다.

왜 이것이 중요한가.

• 중복 설계의 한계. 같은 설계·같은 공장·같은 소프트웨어의 부품을 여러 개 두면 공통원인 고장에 함께 노출된다. 그래서 항공기에서는 서로 다른 팀이 다른 언어로 개발한 소프트웨어를 병렬로 쓰는 다양성 설계를 한다.
• 금융 위기의 구조. 개별 대출의 부도 확률이 낮아도 상관되어 있으면 포트폴리오 손실이 폭발한다. \(2008\)년 이전의 모형들이 부도 상관을 낮게 잡은 것이 핵심 실패였다.
• 역학과 전파. 개인의 감염 확률을 곱해 집단 확률을 구하면 크게 빗나간다. 접촉 구조가 독립을 깨뜨린다.

일반 원리. 독립 가정은 계산을 극적으로 단순하게 만들지만(정리 1의 곱 규칙 하나로 \(n\)개의 수만 곱하면 끝난다), 틀렸을 때의 오차가 꼬리에서 가장 크다. 평균적인 결과는 비슷해도 "모두 함께 잘못될 확률"은 몇 자릿수씩 어긋난다. 그리고 위험관리에서 중요한 것은 정확히 그 꼬리다. \(\square\)