표본공간과 사건¶

• 표본공간: \(\Omega = \{1, 2, 3, 4, 5, 6\}\)
• 사건 \(A\)("짝수가 나옴"): \(A = \{2, 4, 6\}\)
• 사건 \(B\)("홀수가 나옴"): \(B = \{1, 3, 5\}\)

여기서 \(A\)와 \(B\)는 서로소이고 \(A \cup B = \Omega\)이므로 \(\Omega\)의 분할을 이룬다.

• 표본공간: \(\Omega = \{HHH, HHT, HTH, HTT, THH, THT, TTH, TTT\}\)
• 사건("앞면이 정확히 2개"): \(A = \{HHT, HTH, THH\}\)

결과가 \(2^3 = 8\)개이고 그중 3개가 \(A\)에 속한다.

(1) 해석적으로. 동전마다 결과가 두 가지이고 세 동전이 서로 무관하므로 결과의 수는 자리마다 두 가지를 곱한 것이다.

공정한 동전이면 여덟 결과의 무게가 모두 같으므로 \(P(\omega) = 1/8\)이고, 정리 2의 등가중 꼴 \(P(A) = |A|/|\Omega|\)를 쓸 수 있다. 남은 일은 \(|A|\)를 세는 것이다. 앞면이 들어갈 자리 두 개를 세 자리에서 고르는 가짓수이므로

이다. 같은 셈을 동전 \(n\)개로 밀면

이 된다. 분자가 "앞면 자리를 고르는 방법의 수", 분모가 "전체 결과의 수"다.

(2) 나열해서. 코드가 하는 일이 정확히 정리 2다. 표본공간을 만들고, 사건에 해당하는 결과를 고르고, 개수를 센다.

from itertools import product
from math import comb

# 동전 세 번 던지기의 표본공간
sample_space = list(product(['H', 'T'], repeat=3))
print(f"Sample space size: {len(sample_space)}")
print(f"Sample space: {sample_space}")

# 사건: 앞면이 정확히 두 번
event_2_heads = [s for s in sample_space if s.count('H') == 2]
print(f"\nEvent (2 heads): {event_2_heads}")
print(f"P(2 heads) = {len(event_2_heads)}/{len(sample_space)} = {len(event_2_heads)/len(sample_space):.4f}")

# (1)의 일반식과 맞는지 본다. 세지 않고 조합으로 바로 구한 값이다.
print(f"C(3,2)/2^3  = {comb(3, 2)}/{2**3} = {comb(3, 2)/2**3:.4f}")

출력:

Sample space size: 8
Sample space: [('H', 'H', 'H'), ('H', 'H', 'T'), ('H', 'T', 'H'), ('H', 'T', 'T'), ('T', 'H', 'H'), ('T', 'H', 'T'), ('T', 'T', 'H'), ('T', 'T', 'T')]

Event (2 heads): [('H', 'H', 'T'), ('H', 'T', 'H'), ('T', 'H', 'H')]
P(2 heads) = 3/8 = 0.3750
C(3,2)/2^3  = 3/8 = 0.3750

나열이 \(8\)개를 내놓고 그중 \(3\)개를 골라 \(0.3750\)을 주었다. 조합으로 바로 센 \(\binom{3}{2}/2^3\)도 같은 \(0.3750\)이다. 두 길이 맞는다.

다만 나열은 \(n\)이 조금만 커져도 쓸 수 없다. 결과의 수가 \(2^n\)이므로 \(n = 20\)이면 \(1{,}048{,}576\)개, \(n = 50\)이면 \(10^{15}\)개를 넘는다. 목록을 메모리에 담는 일 자체가 불가능해진다. 그런데 (1)의 일반식은 \(n\)이 얼마든 분자와 분모를 한 번 계산하면 끝난다. 표본공간을 다 적는 것은 확률을 정의하는 방법이지 계산하는 방법이 아니다. 이 일반식에 이름을 붙인 것이 4장의 이항분포다.

공에 \(R_1, R_2, R_3, B_1, B_2\)라는 이름을 붙이자. 순서를 고려한 뽑기의 표본공간은 다음과 같다.

똑같이 일어날 법한 순서 있는 결과가 \(5 \times 4 = 20\)개다. 사건 "빨간 공 두 개"는 \(A = \{(R_1,R_2),(R_1,R_3),(R_2,R_1),(R_2,R_3),(R_3,R_1),(R_3,R_2)\}\)로 결과가 6개다. 따라서

이다.

표본공간은 주사위 결과와 동전 결과의 곱집합이다.

똑같이 일어날 법한 결과가 \(6 \times 2 = 12\)개다.

사건 \(A\) = {주사위 짝수 그리고 앞면} = \(\{(2,H),(4,H),(6,H)\}\)로 결과가 3개다.

원소가 3개인 집합은 \(2^3 = 8\)개의 부분집합을 갖는다.

유한 표본공간: 결과의 집합이 유한하다. 예: 주사위를 굴리면 \(\Omega = \{1,2,3,4,5,6\}\)이고 \(|\Omega| = 6\)이다.

가산무한 표본공간: 결과의 집합을 자연수와 일대일 대응시킬 수 있다. 예: 첫 앞면이 나올 때까지 동전을 던지면 \(\Omega = \{H, TH, TTH, TTTH, \ldots\}\)이다. 결과가 무한히 많지만(첫 앞면 전에 나오는 뒷면의 개수마다 하나씩) 차례로 열거할 수 있다.

비가산 표본공간: 결과의 집합이 실수의 농도를 가지며 열거할 수 없다. 예: 완벽하게 균형 잡힌 회전판을 돌려 각도를 기록하면 \(\Omega = [0, 360)\)이며 이는 비가산집합이다. 개별 각도의 확률은 0이고 확률은 구간에 부여된다.

기저 단계: \(n = 0\)이면 \(\Omega = \emptyset\)의 부분집합은 공집합뿐이므로 \(|2^\Omega| = 1 = 2^0\)이다. ✓

귀납 단계: 원소가 \(k\)개인 임의의 집합 \(A\)에 대해 \(|2^A| = 2^k\)라고 가정하자. \(\Omega\)의 원소가 \(k + 1\)개라 하고 원소 하나 \(x\)를 고른다. \(\Omega\)의 모든 부분집합은 \(x\)를 포함하거나(\(\Omega \setminus \{x\}\)의 부분집합 개수만큼 있으므로 \(2^k\)개) 포함하지 않는다(역시 \(2^k\)개). 합치면 \(2 \cdot 2^k = 2^{k+1}\)이다. \(\square\)

멱집합인 이유: 이산 \(\Omega\)에서는 모든 부분집합이 가측 사건이기를 원한다. 결과들의 어떤 조합에도 확률을 부여할 수 있어야 하기 때문이다. 멱집합은 이산 상황에서 모든 한 점 집합을 포함하는 유일한 \(\sigma\)-대수다.

연속(비가산) \(\Omega\)에서는 멱집합이 너무 커서 \(\sigma\)-가법 측도를 허용하지 못한다. 대신 열린구간이 생성하는 보렐 \(\sigma\)-대수를 쓰는데, 이는 병적인 비가측 집합(비탈리 집합, 바나흐–타르스키)을 배제하면서 합리적인 모든 사건을 포함한다.

두 가지 예:

1. 한 점 집합: \(\{0.5\}\)의 확률은 0이다. 균등분포는 어떤 한 점에도 질량을 부여하지 않는다.
2. 유리수: \(\mathbb{Q} \cap [0, 1]\)의 확률은 0이다. 유리수는 가산이며, 한 점 집합들의 가산 합집합의 확률은 \(\sum 0 = 0\)이다.

불가능한 사건인가? 아니다. "불가능"은 \(A = \emptyset\), 즉 그 사건이 일어날 수 없다는 뜻이다. "확률 0"은 \(P(A) = 0\)이라는 뜻이며 \(A\)가 공집합이 아닐 수도 있다.

이 구분은 연속 확률에서 중요하다. "\([0, 1]\)에서 균등하게 무작위한 수를 뽑는다"고 하면 그 결과는 어떤 구체적인 실수다. 그 수가 어떤 특정 값(자기 자신을 포함해!)이 될 확률은 0인데도 실제로 일어났다. 가산가법성 공리는 확률 0인 사건들의 가산 합집합의 확률이 여전히 0임을 보장할 뿐이며, 비가산 합집합은 양의 확률을 가질 수 있다(예: \([0, 1]\) 안 모든 한 점 집합의 비가산 합집합은 확률이 1인 \([0, 1]\)이다).

수학자들이 "거의 확실하게"(\(P = 1\)이고 여집합의 \(P = 0\)이지만 여집합이 공집합일 필요는 없음)와 "확실하게"(\(A = \Omega\)이고 여집합이 공집합)를 구분하는 이유가 이것이다. 유한한 \(\Omega\)에서는 둘이 일치하지만 연속인 \(\Omega\)에서는 갈린다.

import numpy as np
from math import comb, factorial

n, k = 5, 3
print(f"원소 {n}개에서 {k}개를 뽑는 네 가지 방식")
print(f"  순서 O, 복원 O:  n^k           = {n ** k}")
print(f"  순서 O, 복원 X:  n!/(n-k)!     = {factorial(n) // factorial(n - k)}")
print(f"  순서 X, 복원 X:  C(n, k)       = {comb(n, k)}")
print(f"  순서 X, 복원 O:  C(n+k-1, k)   = {comb(n + k - 1, k)}")

rng = np.random.default_rng(0)
N = 400_000
balls = np.array([0, 0, 0, 1, 1])           # 빨강 3, 파랑 2
hits = sum((balls[rng.choice(5, 2, replace=False)] == 0).all() for _ in range(N))

print(f"\n빨강 2개를 뽑을 확률")
print(f"  모의               {hits / N:.5f}")
print(f"  순서 없는 표본공간  C(3,2)/C(5,2) = {comb(3,2)}/{comb(5,2)} = {comb(3,2)/comb(5,2):.5f}")
print(f"  순서 있는 표본공간  (3x2)/(5x4)   = {3*2}/{5*4} = {3*2/(5*4):.5f}")

출력:

원소 5개에서 3개를 뽑는 네 가지 방식
  순서 O, 복원 O:  n^k           = 125
  순서 O, 복원 X:  n!/(n-k)!     = 60
  순서 X, 복원 X:  C(n, k)       = 10
  순서 X, 복원 O:  C(n+k-1, k)   = 35

빨강 2개를 뽑을 확률
  모의               0.29869
  순서 없는 표본공간  C(3,2)/C(5,2) = 3/10 = 0.30000
  순서 있는 표본공간  (3x2)/(5x4)   = 6/20 = 0.30000

두 표본공간이 같은 답을 준다. 크기가 \(10\)과 \(20\)으로 다른데도 그렇다.

왜 그런가. 두 표본공간 모두 각 결과가 동등확률이 되도록 구성되었기 때문이다. 순서를 붙이면 결과가 두 배로 늘지만 관심 사건의 결과도 두 배가 되므로 비가 유지된다.

그러나 언제나 그런 것은 아니다. 순서를 무시한 표본공간이 동등확률이 아닌 경우가 많다.

달랑베르의 오류가 이것이다. 동전 두 개에서 \(\{앞앞, 앞뒤, 뒤뒤\}\)를 각각 \(1/3\)로 두는 것인데, "앞뒤"가 두 가지 순서를 포함하므로 틀렸다.

실무 규칙. 동등확률로 다루려면 결과를 충분히 세분해야 한다. 순서를 붙이거나 개체를 구별하면 대개 동등확률이 되고, 그러면 정리 \(2\)의 "무게를 세는" 계산이 단순한 세기 문제로 바뀐다. 세분하는 것이 손해가 아니라 안전장치다. \(\square\)

베르트랑의 역설. 반지름 \(1\)인 원에 무작위로 현을 하나 긋는다. 그 현이 내접 정삼각형의 한 변(\(\sqrt{3}\))보다 길 확률은?

import numpy as np

rng = np.random.default_rng(0)
N = 500_000
side = np.sqrt(3)

# 방법 1: 한 끝점을 고정하고 다른 끝점을 원둘레에 균등하게
theta = rng.uniform(0, 2 * np.pi, N)
chord1 = 2 * np.sin(theta / 2)

# 방법 2: 반지름을 하나 고르고 그 위에 중점을 균등하게
d = rng.uniform(0, 1, N)
chord2 = 2 * np.sqrt(1 - d ** 2)

# 방법 3: 중점을 원 안에 균등하게
dd = np.sqrt(rng.uniform(0, 1, N))
chord3 = 2 * np.sqrt(1 - dd ** 2)

print(f"{'무작위의 정의':>14}{'P(현 > 변)':>13}{'이론':>10}")
for label, c, th in [("끝점 균등", chord1, 1 / 3),
                     ("반지름 위 균등", chord2, 1 / 2),
                     ("중점 균등", chord3, 1 / 4)]:
    print(f"{label:>14}{np.mean(c > side):>13.5f}{th:>10.5f}")

출력:

       무작위의 정의     P(현 > 변)        이론
         끝점 균등      0.33278   0.33333
      반지름 위 균등      0.50010   0.50000
         중점 균등      0.24973   0.25000

같은 질문에 세 가지 답이 나온다. \(1/3\), \(1/2\), \(1/4\)이며 모두 계산이 옳다.

원인은 "무작위로 현을 긋는다"가 표본공간을 지정하지 않았다는 것이다.

세 표본공간이 서로 다르고, 어느 것도 "옳지" 않다. 물리적 실험 절차를 지정해야만 답이 정해진다. 막대를 원 위에 무작위로 던지면 방법 \(2\)에 가깝고, 원판에 다트를 던져 중점을 정하면 방법 \(3\)이다.

유한 표본공간과의 결정적 차이. 유한이면 "각 결과가 동등확률"이 자연스러운 기본값이지만, 비가산이면 그런 기본값이 없다. "균등"이라는 말 자체가 어떤 매개변수로 잰 균등인지에 의존한다.

정리 \(3\)의 세 번째 경우가 어려운 이유가 이것이다. 비가산 표본공간에서는 확률을 부여해야 하며, 그 부여가 모형 선택이다. 다음 절 공리 문서 연습문제 \(10\)–\(11\)에서 보듯, 공리는 어떤 부여가 허용되는지만 말하고 어느 것을 고를지는 말하지 않는다.

실무적 교훈. 연속 확률 문제에서 "무작위로"라는 말을 보면 어떤 절차로 무작위인지를 물어야 한다. 뒤에 나올 조건부확률 문서의 두 아이 문제·몬티 홀과 같은 종류의 모호함이며, 여기서는 그것이 연속 세계에서 나타난 것이다. \(\square\)

import numpy as np

rng = np.random.default_rng(0)
steps = 4000

print(f"{steps}걸음 안에 원점으로 돌아올 확률")
for d in (1, 2, 3):
    M = 10_000 if d == 1 else 1000
    if d == 1:
        pos = np.cumsum(rng.choice([-1, 1], (M, steps)), axis=1)
        back = (pos == 0).any(axis=1)
    else:
        step = np.zeros((M, steps, d))
        axis = rng.integers(0, d, (M, steps))
        sign = rng.choice([-1, 1], (M, steps))
        step[np.arange(M)[:, None], np.arange(steps)[None, :], axis] = sign
        pos = np.cumsum(step, axis=1)
        back = (np.abs(pos).sum(axis=2) == 0).any(axis=1)
    print(f"  {d}차원: {back.mean():.4f}")

출력:

4000걸음 안에 원점으로 돌아올 확률
  1차원: 0.9883
  2차원: 0.7170
  3차원: 0.3160

차원이 오를수록 복귀가 어려워진다(\(0.99 \to 0.72 \to 0.32\)).

폴리아의 정리가 극한을 말해 준다. \(1\)차원과 \(2\)차원 대칭 확률보행은 확률 \(1\)로 원점에 무한히 자주 돌아오고(\(\text{재귀적}\)), \(3\)차원 이상에서는 양의 확률로 영영 돌아오지 않는다(\(\text{일시적}\)). \(3\)차원의 복귀 확률은 약 \(0.3405\)다.

"술 취한 사람은 집에 돌아오지만 술 취한 새는 영영 길을 잃는다."

가산무한 표본공간에서 무엇이 달라지는가.

• 각 결과의 확률이 \(0\)이 아니어도 된다. 다음 절 공리 문서 연습문제 10에서 보듯 균등한 배정은 불가능하지만, 균등하지만 않으면 가산집합에 확률질량을 줄 수 있다. 복귀 시점의 분포가 그런 예다.
• 기댓값이 무한할 수 있다. \(1\)차원 확률보행은 확률 \(1\)로 돌아오지만 평균 복귀 시간은 무한대다. "반드시 일어나지만 평균적으로 무한히 오래 걸린다"는 유한 표본공간에서는 불가능한 현상이다.
• 극한 사건에 확률을 부여하려면 가산가법성이 필요하다. "무한히 자주 돌아온다"는 사건은 가산 무한 번의 합집합·교집합으로 만들어진다(공리 문서 연습문제 9의 보렐–칸텔리).

실무적 함의. 대기행렬, 분기과정, 마르코프 연쇄가 모두 가산무한 상태공간을 갖는다. "결국 흡수될 것인가", "평균 도달 시간은 유한한가" 가 핵심 질문이며, 둘의 답이 다를 수 있다는 것이 이 절의 요점이다. \(\square\)

import numpy as np

rng = np.random.default_rng(3)
N = 500_000

# 몬티 홀: 진행자의 행동까지 표본공간에 넣어야 한다
car = rng.integers(0, 3, N)
pick = np.zeros(N, dtype=int)                    # 참가자는 항상 0번 문

# 규칙 A: 진행자가 염소 문 중 하나를 무작위로 연다 (표준)
host_a = np.empty(N, dtype=int)
for i in range(N):
    choices = [d for d in (0, 1, 2) if d != pick[i] and d != car[i]]
    host_a[i] = choices[rng.integers(len(choices))]
switch_a = np.array([[d for d in (0, 1, 2) if d != pick[i] and d != host_a[i]][0]
                     for i in range(min(N, 200_000))])
print(f"규칙 A (표준): 바꾸면 승률 {np.mean(switch_a == car[:len(switch_a)]):.5f}   이론 2/3")

# 규칙 B: 진행자가 무작위로 문을 열고, 자동차가 나오면 그 판은 무효
host_b = rng.integers(0, 3, N)
valid = (host_b != pick) & (host_b != car)
sw_b = np.array([[d for d in (0, 1, 2) if d != pick[i] and d != host_b[i]][0]
                 for i in np.flatnonzero(valid)[:200_000]])
car_b = car[np.flatnonzero(valid)[:200_000]]
print(f"규칙 B (무지한 진행자): 바꾸면 승률 {np.mean(sw_b == car_b):.5f}   이론 1/2")

출력:

규칙 A (표준): 바꾸면 승률 0.66619   이론 2/3
규칙 B (무지한 진행자): 바꾸면 승률 0.49906   이론 1/2

같은 관측("진행자가 염소 문을 열었다")인데 답이 \(2/3\)과 \(1/2\)로 갈린다. 차이는 오직 진행자의 행동 규칙이며, 그것은 관측되는 결과가 아니라 자료 생성 과정이다.

표본공간을 정할 때의 지침.

마지막 두 줄이 이 책 전체를 관통한다.

• 베이즈 방법이 하는 일이 "모수를 \(\Omega\)에 넣는 것"이다. 빈도주의는 모수를 고정된 미지수로 두어 \(\Omega\) 밖에 놓고, 베이즈는 \(\Omega\) 안에 넣어 확률변수로 만든다. 두 접근의 차이가 표본공간을 어디까지 잡느냐의 차이로 환원된다.
• 1장의 편향 논의가 모두 "\(\Omega\)를 잘못 잡았다"로 요약된다. 생존자 편향은 관측된 것만 \(\Omega\)에 넣은 것이고, 무응답 편향은 응답 여부를 \(\Omega\)에 넣지 않은 것이다.

가장 중요한 조언. 확률 문제를 만나면 계산을 시작하기 전에 \(\Omega\)를 명시적으로 적어라. 대부분의 확률 역설은 계산 실수가 아니라 표본공간을 서로 다르게 잡은 데서 나온다. \(\square\)