확률의 공리¶

이고, \(A \cup B = \Omega\)이므로 정규화 공리와 어긋나지 않는다.

(1) 가법성은 가정이 아니라 합의 성질이다. 무게 목록 \(p_1, \ldots, p_6\)에서 출발해 \(P(A) = \sum_{i \in A} p_i\)로 정의했다고 하자. \(A\)와 \(B\)가 서로소이면 \(A \cup B\)에 속한 첨자의 모임은 \(A\)의 첨자와 \(B\)의 첨자를 겹침 없이 이어 붙인 것이므로

이다. 유한개든 가산무한개든 같다. 항이 모두 음이 아니어서 급수가 절대수렴하므로 항의 순서를 바꾸어 묶어도 합이 변하지 않기 때문이다. \(P(\emptyset) = 0\)도 같은 자리에서 나온다. 공집합에 속한 첨자가 하나도 없으므로 빈 합, 곧 \(0\)이다.

그러므로 무게로 확률을 만드는 순간 공리 (3)과 \(P(\emptyset) = 0\)은 공짜로 따라온다. 남는 것은 무게 자체에 대한 두 조건뿐이다.

코드의 단언문이 정확히 이 둘이고, 셋째 공리에 주석만 달려 있는 이유가 이것이다.

(2) 기운 주사위. 짝수는 \(\{2, 4, 6\}\)이므로 무게를 더하면 된다.

여집합은 정리 2의 여집합 규칙으로 \(1 - 0.7 = 0.3\)이고, 직접 더해도 \(0.1 + 0.1 + 0.1 = 0.3\)으로 같다. 둘의 합이 \(1\)인 것이 정규화 공리다.

import numpy as np

def verify_axioms(probabilities):
    """이산 확률분포가 콜모고로프의 세 공리를 만족하는지 확인한다."""
    # 공리 1: 확률은 0 과 1 사이다
    assert all(0 <= p <= 1 for p in probabilities), "Range violated"

    # 공리 2: 전체 확률이 1 이다
    #   P(공집합) = 0 은 따로 확인할 것이 없다. 공집합에 속한 결과가 하나도
    #   없으므로 무게의 합이 빈 합, 즉 0 이기 때문이다.
    total = sum(probabilities)
    assert np.isclose(total, 1.0), f"Normalization violated: total = {total}"

    # 공리 3: 서로소 사건의 확률은 더해진다(만드는 방식으로 이미 보장된다)
    print("All axioms satisfied!")
    print(f"  Total probability: {total:.4f}")
    print(f"  Min probability:   {min(probabilities):.4f}")
    print(f"  Max probability:   {max(probabilities):.4f}")

# 공정한 주사위
fair_die = [1/6] * 6
verify_axioms(fair_die)

# 한쪽으로 기운 주사위
loaded_die = [0.1, 0.1, 0.1, 0.1, 0.1, 0.5]
verify_axioms(loaded_die)

# 사건의 확률은 무게를 더한 것이다. 짝수는 {2, 4, 6} 이므로 2, 4, 6번 칸.
for name, probs in [("fair  ", fair_die), ("loaded", loaded_die)]:
    p_even = probs[1] + probs[3] + probs[5]
    print(f"{name}: P(even) = {p_even:.4f},  P(odd) = {1 - p_even:.4f},"
          f"  sum = {p_even + (1 - p_even):.4f}")

출력:

All axioms satisfied!
  Total probability: 1.0000
  Min probability:   0.1667
  Max probability:   0.1667
All axioms satisfied!
  Total probability: 1.0000
  Min probability:   0.1000
  Max probability:   0.5000
fair  : P(even) = 0.5000,  P(odd) = 0.5000,  sum = 1.0000
loaded: P(even) = 0.7000,  P(odd) = 0.3000,  sum = 1.0000

손으로 더한 \(0.7\)과 \(0.3\)이 코드의 마지막 줄과 같고, 두 목록 모두 단언문을 통과했다. 두 길이 맞는다.

찌그러진 주사위도 공리를 만족한다는 점에 주목하라. 공리는 확률이 공정할 것을 요구하지 않는다. 기운 쪽의 무게가 \(0.1\)에서 \(0.5\)까지 다섯 배 차이 나지만 음이 아니고 합이 \(1\)이면 그것으로 충분하다. 공리가 걸러 내는 것은 "불공정한 주사위"가 아니라 "무게가 음수이거나 합이 \(1\)이 아닌 목록"이다.

(가) \(P(\emptyset) = 0\). \(\emptyset \cap \emptyset = \emptyset\)이므로 공집합은 자기 자신과도 서로소다. 따라서

는 서로소인 가산 합집합이고, 가산가법성에 의해

이다. \(P(\Omega) = 1\)은 유한하므로 양변에서 지울 수 있어 \(\sum_j P(\emptyset) = 0\)이고, 각 항이 \(0\) 이상이니 \(P(\emptyset) = 0\)이다. \(\square\)

(나) \(P(A) \leq 1\). \(A\)와 \(A^c\)는 서로소이고, 나머지 자리를 공집합으로 채우면

이므로 가산가법성과 (가)의 \(P(\emptyset) = 0\)에 의해

이다. \(P(A^c) \geq 0\)이므로 \(P(A) = 1 - P(A^c) \leq 1\)이다. \(\square\)

순환이 아님을 확인하라. (나)는 \(P(A^c) \geq 0\)만 쓴다. 즉 공리 (1)의 아래쪽 부등호만 쓰고 증명하려는 위쪽은 쓰지 않는다. (가)도 마찬가지다.

유한성이 쓰이는 곳. (가)에서 \(P(\Omega)\)를 양변에서 지우는 단계다. \(P(\Omega) = \infty\)라면 \(\infty = \infty + c\)가 모든 \(c\)에 대해 성립하므로 아무것도 결론 낼 수 없다.

그래서 두 조건의 지위가 같지 않다. 일반 측도론에서는 \(\mu(\Omega) = \infty\)가 허용되어 (가)의 소거를 할 수 없고, 그래서 \(\mu(\emptyset) = 0\)을 측도의 정의에 넣는다. 반면 상한은 측도론에 아예 없는 조건이다. \(\mu(A) \leq 1\)은 전체 무게를 1로 못박은 확률에만 있는 것이다. 둘 다 편의로 적어 두었지만, 측도의 정의와 모양이 맞는 쪽은 \(P(\emptyset) = 0\) 하나다.

\(A\)와 \(A^c\)는 서로 배반이고 \(A \cup A^c = \Omega\)이므로 가법성 공리에 의해

이다. 정규화 공리에 의해 \(P(\Omega) = 1\)이므로

이고, 정리하면

이다. \(\square\)

\(A \cup B\)를 서로소인 합집합으로 쓴다. \(A \cup B = A \cup (B \cap A^c)\)이고 \(A\)와 \(B \cap A^c\)는 서로소임에 유의하라. 가법성 공리에 의해

이다. 마찬가지로 \(B = (B \cap A) \cup (B \cap A^c)\)도 서로소인 합집합이므로

이고, \(P(B \cap A^c)\)에 대해 풀면

이다. 이를 대입하면

를 얻는다. \(\square\)

첫 번째 학생: 포함배제를 쓰면 \(P(A \cap B) = P(A) + P(B) - P(A \cup B) = 0.4 + 0.5 - 0.8 = 0.1\)이다. \(0 \leq 0.1 \leq \min(0.4, 0.5)\)이고 모든 확률이 \([0,1]\)에 있으므로 이 배정은 공리와 모순되지 않는다.

두 번째 학생: \(P(A \cup B) = P(A) + P(B) - P(A \cap B) = 0.7 + 0.6 - 0.1 = 1.2\)여야 한다. 그러나 정규화 공리는 \(P(A \cup B) \leq P(\Omega) = 1\)을 요구한다. \(1.2 > 1\)이므로 이 배정은 공리를 위반하며 따라서 불가능하다.

\(A \subseteq B\)이므로 \(B = A \cup (B \cap A^c)\)로 쓸 수 있고, \(A\)와 \(B \cap A^c\)는 서로소다. 가법성 공리에 의해

이다. 공리 (1)에 의해 \(P(B \cap A^c) \geq 0\)이므로

이다. \(\square\)

\(n\)에 대한 귀납법으로 증명한다. 기저 단계 \(n = 1\): 자명하게 \(P(A_1) \le P(A_1)\)이다.

귀납 단계: \(P(\bigcup_{i=1}^k A_i) \le \sum_{i=1}^k P(A_i)\)라고 가정하자. 포함배제에 의해

이고 마지막 항이 음이 아니므로

이다. \(\square\)

용도: 다중비교에서 각각 수준 \(\alpha\)로 \(n\)번의 가설검정을 수행한다고 하자. 적어도 한 번 잘못 기각할 확률은 본페로니에 의해 \(P(\bigcup_i \text{Reject}_i \mid H_0) \le n\alpha\)다. 따라서 수준 \(\alpha/n\)으로 검정하면 가족단위 오류율이 \(\le \alpha\)가 된다. 본페로니 보정은 보수적이지만 의존 구조와 무관하게 언제나 타당하다.

유한 가법성: 서로소인 (유한 모임) \(A_1, \ldots, A_n\)에 대해 \(P(\bigcup_{i=1}^n A_i) = \sum_{i=1}^n P(A_i)\).

\(\sigma\)-가법성(가산가법성, 콜모고로프의 공리 3): 서로소인 사건의 가산무한 열 \(A_1, A_2, \ldots\)에 대해 \(P(\bigcup_{i=1}^\infty A_i) = \sum_{i=1}^\infty P(A_i)\).

왜 \(\sigma\)-가법성인가? 유용한 여러 결과가 이를 필요로 한다.

• 측도의 연속성: \(A_1 \subseteq A_2 \subseteq \ldots\)이고 \(A = \bigcup A_n\)이면 \(P(A) = \lim P(A_n)\)이다. 극한정리에 결정적이다.
• 확률밀도의 존재: 연속분포를 정의하려면 임의로 잘게 나눈 부분들에 확률을 부여해야 하는데, 이는 가산 연산이다.
• 강한 큰수의 법칙: 가산 합집합으로 정의되는 거의 확실한 수렴을 필요로 한다.

유한 가법성만으로는 역설적인 배정이 허용된다(예: 직관적이지만 \(\sigma\)-가법적이지 않은 정수 위의 "균등" 분포). 콜모고로프는 이런 것들을 배제하고 확률을 측도론과 연결하기 위해 \(\sigma\)-가법성을 택했다.

포함배제 공식은

이다. 보네페로니 부등식(일반화된 본페로니)은 이 급수를 \(m\)번째 항에서 자르면

임을 말한다. \(m = 1\)인 경우가 연습문제 6의 본페로니 부등식이다.

import numpy as np
from itertools import combinations

rng = np.random.default_rng(0)
N, n = 400_000, 5
p = rng.uniform(0.15, 0.4, n)
X = rng.random((N, n)) < p                    # 독립인 다섯 사건

truth = np.mean(X.any(axis=1))
print(f"참 P(합집합) = {truth:.6f}\n")

terms = []
for k in range(1, n + 1):
    terms.append(sum(np.mean(X[:, list(c)].all(axis=1))
                     for c in combinations(range(n), k)))

print(f"{'절단 차수 m':>12}{'부분합':>12}{'관계':>10}{'오차':>12}")
partial = 0.0
for k in range(1, n + 1):
    partial += (-1) ** (k + 1) * terms[k - 1]
    rel = "상계" if k % 2 == 1 else "하계"
    print(f"{k:>12}{partial:>12.6f}{rel:>10}{partial - truth:>+12.6f}")

출력:

참 P(합집합) = 0.752478

     절단 차수 m         부분합        관계          오차
           1    1.194400        상계   +0.441922
           2    0.641637        하계   -0.110840
           3    0.765327        상계   +0.012850
           4    0.751905        하계   -0.000573
           5    0.752477        상계   -0.000000

부분합이 참값을 번갈아 넘나들며 조여 온다.

\(m = 1\)일 때 \(1.194\)로 \(1\)을 넘는 것에 주목하라. 본페로니 상계는 확률이 아닐 수 있다. 그래도 부등식으로는 유효하며, 다만 그 경우 아무 정보도 주지 못한다.

왜 유용한가.

• \(m = 2\)에서 이미 쓸 만한 하계를 얻는다. 항의 개수가 \(\binom{n}{1} + \binom{n}{2}\)로 전체 \(2^n - 1\)보다 훨씬 적다.
• \(n\)이 크면 포함배제를 끝까지 계산할 수 없다. \(n = 30\)이면 항이 \(10\)억 개가 넘는다. 절단이 실용적 유일한 방법이다.
• 다중검정 보정의 근거가 \(m=1\) 본페로니다. 1장 절충 문서 연습문제 8에서 본 그 부등식이며, 보수적인 이유가 여기서 분명해진다. 첫 항만 쓰므로 겹침을 전혀 반영하지 않는다. \(\square\)

사건열 \(A_1, A_2, \ldots\)에 대해 "무한히 자주 일어난다"는 사건을

로 정의한다. 측도의 연속성이 이 무한 연산을 다룰 수 있게 해 준다.

제\(1\) 보조정리. \(\sum_n P(A_n) < \infty\)이면 \(P(A_n \text{ i.o.}) = 0\)이다.

증명 스케치. \(B_m = \bigcup_{n \ge m} A_n\)이라 하면 \(B_m\)은 감소열이고 \(\bigcap_m B_m = \{A_n \text{ i.o.}\}\)이다. 정리 \(3\)의 위에서의 연속성으로

이다. 마지막 등호는 수렴하는 급수의 꼬리가 \(0\)으로 가기 때문이다. \(\square\)

제\(2\) 보조정리. \(A_n\)이 독립이고 \(\sum_n P(A_n) = \infty\)이면 \(P(A_n \text{ i.o.}) = 1\)이다.

import numpy as np

rng = np.random.default_rng(0)
window = np.arange(5000, 10_000)

for label, p_fn in [("p_n = 1/n^2  (합이 수렴)", lambda n: 1 / n ** 2),
                    ("p_n = 1/n    (합이 발산)", lambda n: 1 / n)]:
    p = p_fn(window)
    hits = np.mean([(rng.random(len(window)) < p).any() for _ in range(300)])
    print(f"{label}")
    print(f"  구간 합 = {p.sum():.4f}")
    print(f"  이 구간에서 한 번이라도 일어날 확률: 모의 {hits:.4f}, "
          f"이론 {1 - np.exp(-p.sum()):.4f}\n")

출력:

p_n = 1/n^2  (합이 수렴)
  구간 합 = 0.0001
  이 구간에서 한 번이라도 일어날 확률: 모의 0.0000, 이론 0.0001

p_n = 1/n    (합이 발산)
  구간 합 = 0.6932
  이 구간에서 한 번이라도 일어날 확률: 모의 0.5100, 이론 0.5000

\(p_n = 1/n^2\)이면 \(n \ge 5000\) 구간 전체에서 사건이 일어날 확률이 \(0.0001\)에 불과하다. 꼬리 합이 \(0\)으로 가므로 결국 아무 일도 일어나지 않는다.

\(p_n = 1/n\)이면 같은 구간에서 확률이 \(0.51\)이다. 그리고 구간을 뒤로 옮겨도 그 확률이 \(0\)으로 가지 않는다(\(\sum 1/n\)이 발산하므로). 그래서 무한히 자주 일어난다.

왜 이것이 중요한가.

• 큰수의 강법칙 증명의 핵심 도구다. "거의 확실한 수렴"을 다루려면 무한히 많은 사건의 극한을 확률로 계산해야 하는데, 그것이 정확히 측도의 연속성이 하는 일이다.
• 유한 가법성만으로는 불가능하다. 연습문제 7의 답이 여기서 구체화된다. \(\{A_n \text{ i.o.}\}\)는 가산 무한 번의 합집합과 교집합으로 만들어지므로, 가산가법성이 없으면 이 사건에 확률을 부여할 수조차 없다.
• 두 보조정리의 비대칭. 제\(1\)은 독립을 요구하지 않지만 제\(2\)는 요구한다. 독립이 없으면 \(\sum P(A_n) = \infty\)여도 \(P(A_n \text{ i.o.}) = 0\)일 수 있다(예: 모든 \(A_n\)이 같은 사건). \(\square\)

불가능하다. 각 자연수에 같은 확률 \(c\)를 준다고 하자. 가산가법성에 의해

인데, \(c > 0\)이면 우변이 \(\infty\)이고 \(c = 0\)이면 \(0\)이다. 어느 쪽도 \(1\)이 될 수 없다. \(\square\)

import numpy as np

print("자연수에 균등 확률을 주려는 시도")
for c in (1e-3, 1e-6, 1e-9, 0.0):
    # 앞의 N 개만 더해도 발산하거나 0 이다
    for N in (10 ** 3, 10 ** 6, 10 ** 9):
        print(f"  c={c:.0e}, 앞 {N:.0e}개의 합 = {c * N:.3e}", end="")
        if c * N > 1:
            print("   → 이미 1 을 넘었다")
            break
        print()
    if c == 0:
        print("  c=0 이면 전체 합이 0")
print("\n어떤 c 도 합을 정확히 1 로 만들 수 없다")

print("\n반면 유한집합에서는 문제가 없다")
for N in (10, 1000, 10 ** 6):
    print(f"  {N}개 원소에 각 1/{N}: 합 = {N * (1 / N):.1f}")

출력:

자연수에 균등 확률을 주려는 시도
  c=1e-03, 앞 1e+03개의 합 = 1.000e+00
  c=1e-03, 앞 1e+06개의 합 = 1.000e+03   → 이미 1 을 넘었다
  c=1e-06, 앞 1e+03개의 합 = 1.000e-03
  c=1e-06, 앞 1e+06개의 합 = 1.000e+00
  c=1e-06, 앞 1e+09개의 합 = 1.000e+03   → 이미 1 을 넘었다
  c=1e-09, 앞 1e+03개의 합 = 1.000e-06
  c=1e-09, 앞 1e+06개의 합 = 1.000e-03
  c=1e-09, 앞 1e+09개의 합 = 1.000e+00
  c=0e+00, 앞 1e+03개의 합 = 0.000e+00
  c=0e+00, 앞 1e+06개의 합 = 0.000e+00
  c=0e+00, 앞 1e+09개의 합 = 0.000e+00
  c=0 이면 전체 합이 0

어떤 c 도 합을 정확히 1 로 만들 수 없다

반면 유한집합에서는 문제가 없다
  10개 원소에 각 1/10: 합 = 1.0
  1000개 원소에 각 1/1000: 합 = 1.0
  1000000개 원소에 각 1/1000000: 합 = 1.0

유한 가법성만 요구하면 이런 "균등 분포"가 존재한다. 바나흐–타르스키 유형의 구성으로, 선택공리를 쓰면 자연수 위에 유한 가법적이고 모든 유한집합에 \(0\)을 주는 측도(밀도 측도)를 만들 수 있다. 그런 측도는 "짝수의 확률 \(= 1/2\)"처럼 자연밀도와 일치하는 값을 준다.

그것을 왜 쓰지 않는가.

• 극한을 다룰 수 없다. 연습문제 9에서 본 대로 \(\lim_n P(A_n) = P(\lim_n A_n)\)이 성립하지 않으므로, 큰수의 법칙도 중심극한정리도 진술할 수 없다.
• 기댓값이 잘 정의되지 않는다. 단조수렴정리와 지배수렴정리가 가산가법성 위에 서 있다.
• 유일성을 잃는다. 그런 유한 가법적 측도는 유일하지 않으며, 어느 것을 쓰느냐에 따라 답이 달라진다.

실무적 함의. "무작위로 자연수 하나를 고른다"는 말은 정의되지 않는다. 마찬가지로 "무작위로 실수 하나를 고른다"도 범위를 정하지 않으면 무의미하다. 이런 무한 균등 직관이 만드는 역설(예: 두 봉투 문제의 어떤 변형)은 대개 존재하지 않는 분포를 가정한 데서 나온다.

반면 가산 집합에 균등하지 않은 확률은 얼마든지 가능하다. \(P(n) = 2^{-n}\)처럼 합이 \(1\)이 되면 된다. 금지되는 것은 균등성이지 가산성이 아니다. \(\square\)

모든 부분집합에 확률을 줄 수 있다면 좋겠지만 불가능하다. \([0,1)\) 위의 균등확률을 생각하자. 이 측도가 가져야 할 자연스러운 성질은 평행이동 불변성이다. 구간을 옮겨도 길이가 변하지 않으므로

이어야 한다.

비탈리 집합. \(x \sim y \iff x - y \in \mathbb{Q}\)로 동치관계를 정의하고, 선택공리를 써서 각 동치류에서 대표원 하나씩을 골라 모은 집합을 \(V\)라 하자. 그러면 \([0,1)\)의 유리수 \(q_1, q_2, \ldots\)에 대해

로 가산개의 서로 배반인 조각으로 정확히 분할된다. 가산가법성과 평행이동 불변성을 적용하면

인데, 우변은 \(P(V) = 0\)이면 \(0\)이고 \(P(V) > 0\)이면 \(\infty\)다. 어느 쪽도 \(1\)이 될 수 없다.

연습문제 10과 정확히 같은 구조의 모순이다. 결론은 \(P(V)\)가 존재할 수 없다는 것, 즉 \(V\)에는 확률을 부여할 수 없다는 것이다. \(\square\)

import numpy as np

print("연습문제 10 과 같은 형태의 모순")
print(f"{'P(V)':>10}{'가산합':>14}{'판정':>10}")
for c in (0.0, 1e-9, 1e-3, 0.5):
    total = "0" if c == 0 else "무한대"
    print(f"{c:>10.0e}{total:>14}{'모순':>10}")
print("\n어느 값도 1 을 줄 수 없으므로 P(V) 는 정의될 수 없다")

# 유한 근사로는 모순이 보이지 않는다
print("\n유한개 조각으로 자르면 아무 문제가 없다")
for k in (2, 10, 1000):
    print(f"  {k}조각으로 균등 분할: 각 1/{k}, 합 = {k * (1/k):.1f}")

출력:

연습문제 10 과 같은 형태의 모순
      P(V)           가산합        판정
     0e+00             0        모순
     1e-09           무한대        모순
     1e-03           무한대        모순
     5e-01           무한대        모순

어느 값도 1 을 줄 수 없으므로 P(V) 는 정의될 수 없다

유한개 조각으로 자르면 아무 문제가 없다
  2조각으로 균등 분할: 각 1/2, 합 = 1.0
  10조각으로 균등 분할: 각 1/10, 합 = 1.0
  1000조각으로 균등 분할: 각 1/1000, 합 = 1.0

그래서 확률공간은 세 쌍 \((\Omega, \mathcal{F}, P)\)이다.

\(\mathcal{F}\)가 만족해야 할 조건은 공리 자체가 요구하는 것들이다. 여집합 규칙을 쓰려면 \(A \in \mathcal{F} \Rightarrow A^c \in \mathcal{F}\)여야 하고, 가산가법성을 쓰려면 가산 합집합에 대해 닫혀 있어야 한다. \(\sigma\)-대수의 정의가 곧 "공리를 적용할 수 있는 집합족"의 정의다.

실무에서 걱정할 일은 거의 없다. 실수 위에서는 보렐 \(\sigma\)-대수(구간들로부터 생성되는 최소 \(\sigma\)-대수)를 쓰는데, 여기에는 상상할 수 있는 거의 모든 집합이 들어 있다. 비탈리 집합처럼 선택공리로만 만들어지는 병리적 집합만 빠진다.

그럼에도 \(\mathcal{F}\)가 중요한 이유가 따로 있다. 확률변수의 정의(가측함수), 조건부기댓값, 여과(filtration)와 마팅게일 이론이 모두 "어느 시점에 어떤 정보를 알고 있는가"를 \(\sigma\)-대수로 표현한다. \(\mathcal{F}\)는 병리적 집합을 막는 장치이기 전에 정보를 형식화하는 언어다. \(\square\)