제3장: 확률의 기초¶

개요¶

이 장은 통계적 추론 전체를 떠받치는 확률의 토대를 세운다. 표본공간과 확률의 공리에서 출발해 조건부확률, 베이즈 정리, 사건의 독립을 전개한다. 이어서 확률변수(이산형과 연속형)와 그 분포(확률질량함수, 확률밀도함수, 누적분포함수)를 형식화하고, 변수를 둘 이상 함께 놓아 결합분포·주변분포·조건부분포와 확률변수의 독립까지 다룬다. 그다음 분포에서 유도되는 요약 측도(기댓값, 분산, 공분산, 상관계수, 적률생성함수)를 세운다. 마지막으로 확률론과 실제 통계를 잇는 강력한 극한정리 — 큰수의 법칙과 중심극한정리 — 로 마무리한다.

1. 표본공간을 좁히면 확률이 달라진다
     정리 1. 조건부확률의 정의 — 좁혀진 표본공간에서의 비율
2. 두 단계 시행과 확률나무
     정리 2. 곱셈 규칙 — 경로의 곱
3. 원인을 나누어 전체를 더하기
     정리 3. 전확률의 법칙 — 경로의 합
연습문제
정리하며

장의 구성¶

3.1 확률론¶

확률의 공리적 토대:

• 표본공간과 사건 — 가능한 모든 결과의 집합으로서 표본공간을, 표본공간의 부분집합으로서 사건을 정의하고, 사건을 결합하는 데 쓰는 기본 집합 연산(합집합, 교집합, 여집합)을 다룬다.
• 확률의 공리 — 확률 공리의 서로 동등한 세 가지 정식화(소박한 정식화, 중간 정식화, 콜모고로프의 측도론적 정식화)를 제시하여 사건에 확률을 부여하는 형식적 규칙을 세운다.
• 조건부확률 — 다른 사건이 일어났음을 알게 되었을 때 사건의 확률이 어떻게 달라지는지 정의하고, 공식 P(A|B) = P(A와 B)/P(B)와 표본공간을 제한한다는 직관을 소개한다.
• 베이즈 정리 — 조건의 방향을 뒤집는 공식(P(B|A)에서 P(A|B)를 계산)을 유도하고 사전확률, 가능도, 사후확률, 증거를 밝히며, 의학 진단·스팸 필터링·금융에 적용한다.

3.2 독립¶

확률적 독립의 개념과 그 확장:

• 사건의 독립 — 독립을 P(A와 B) = P(A)P(B)로 정의하고 배반과 대비시키며, 여러 사건의 상호독립으로 정의를 확장한다.
• 조건부 독립 — 조건이 되는 사건을 도입해 독립을 확장하고, 두 사건이 주변적으로는 종속이면서 조건부로는 독립일 수 있음을(그리고 그 반대도) 보이며, 그래프 모형과 베이즈 망에 적용한다.

3.3 확률변수¶

결과에서 수로 가는 사상의 형식화와, 변수를 둘 이상 함께 놓았을 때 생기는 구조:

• 이산확률변수 — 확률변수를 표본공간에서 실직선으로 가는 함수로 정의하고, 받침이 가산인 이산확률변수를 소개하며, 분포를 이해하기 위한 "수직선 위의 벽돌" 비유를 전개한다.
• 연속확률변수 — 연속 구간의 값을 취하는 변수로 틀을 확장하고, 확률밀도함수와 임의의 한 점에 대해 P(X = x) = 0이라는 핵심 성질을 소개한다.
• 확률질량함수, 확률밀도함수, 누적분포함수 — 세 가지 기본 분포함수를 통합적으로 다룬다. 이산변수의 확률질량함수, 연속변수의 확률밀도함수, 그리고 둘 다에 적용되는 누적분포함수다.
• 결합분포와 주변분포 — 확률변수를 둘 함께 보면 무게가 평면 위에 놓인다. 한 축으로 눌러 모으면 주변분포가 남지만, 그림자에서 원래 무게로 돌아가는 길은 없다.
• 확률변수의 독립 — 사건의 독립을 모든 사건 쌍으로 넓힌 것이며, 결합분포가 주변분포의 곱으로 인수분해된다는 한 줄로 요약된다. i.i.d.와 가능도가 여기서 나온다.
• 조건부분포 — 무게를 세로로 자른 단면을 다시 1로 맞춘 것. 조건부 기댓값과 전체 기댓값의 법칙, 그리고 Eve의 법칙을 함께 다룬다.

3.4 기댓값과 적률¶

분포에서 유도되는 요약 측도:

• 기댓값과 선형성 — 기댓값을 장기적인 평균(분포의 무게중심)으로 정의하고, 확률에서 가장 강력하고 널리 쓰이는 성질 중 하나인 기댓값의 선형성을 확립한다.
• 분산과 공분산 — 분산을 평균으로부터의 기대 제곱편차로 정의하고, 두 확률변수가 함께 움직이는 정도를 재는 공분산과 상관을 소개하며, 위험 측정과 포트폴리오 이론에 적용한다.
• 상관계수 — 공분산에서 단위를 없앤 값. \(|\rho| \le 1\)의 증명, 선형 관계만 잰다는 한계, 잰 집단에 따라 부호까지 뒤집히는 현상, 그리고 변수가 여럿일 때의 공분산행렬을 다룬다.
• 독립성과 무상관성의 차이 — 독립이면 무상관이지만 역은 거짓이다. 독립은 모든 함수 쌍을 요구하고 무상관은 한 쌍만 확인하기 때문이며, 결합정규분포에서만 둘이 같아진다.
• 적률생성함수 — 분포의 모든 적률을 하나의 함수에 담아내는 도구로 적률생성함수를 소개하여, 기댓값의 우아한 계산, 극한정리의 증명, 분포의 특성화를 가능하게 한다.

3.5 극한정리¶

확률과 통계를 잇는 근본적인 수렴 결과:

• 큰수의 법칙 — 큰수의 법칙의 약한 형태와 강한 형태를 모두 진술하고 증명하여, 표본 크기가 커지면 표본평균이 모평균으로 수렴함을 보이고 추정의 이론적 토대를 제공한다.
• 중심극한정리 — 원래 분포가 무엇이든 표준화된 표본평균이 표준정규분포로 분포수렴함을 확립하여, 정규분포에 근거한 추론 방법이 널리 쓰이는 것을 정당화한다. 큰수의 법칙과의 관계를 배율의 문제로 밝히고, 뚜렷하게 비정규인 모집단들에서 모양의 수렴과 폭의 수축을 모의실험으로 확인한다.
• 베리–에센 정리 — 중심극한정리의 수렴 속도에 대한 명시적인 상한을 제공하여, 표본 크기와 3차 절대적률의 함수로 정규근사가 얼마나 빨리 정확해지는지를 정량화한다.
• 도박사의 역설(큰수의 법칙의 실패) — 상트페테르부르크 게임으로 기댓값이 무한할 때 표본평균이 수렴하지 않음을 보이고, 극한정리들이 요구하는 가정을 계층으로 정리한다.

선수 지식¶

이 장은 다음을 바탕으로 한다:

• 제0장(선수 지식) — 확률과 기댓값을 정의하는 데 필요한 집합론 표기, 수열과 극한, 합과 적분.
• 제1장(자료 수집) — 형식적인 확률 틀의 필요성을 동기 지어 주는 모집단과 표본의 개념.
• 제2장(기술통계) — 확률변수의 기댓값과 분산에서 이론적 대응물을 찾게 되는, 중심(평균, 중앙값)과 퍼짐(분산, IQR)의 경험적 측도.

핵심 요약¶

1. 확률론은 세 가지 공리(범위, 정규화, 가법성) 위에 서 있으며, 이들이 불확실성을 다루는 엄밀한 토대를 제공한다.
2. 조건부확률과 베이즈 정리는 새로운 증거에 비추어 믿음을 갱신하는 기계장치를 제공한다.
3. 사건의 독립은 \(P(A \cap B) = P(A)P(B)\)라는 등식 하나이며, 확률 계산을 단순하게 만드는 대부분의 통계 방법 뒤에 놓인 근본 가정이다.
4. 확률변수는 추상적인 결과와 수치적 분석을 잇는 다리를 형식화하며, 확률질량함수·확률밀도함수·누적분포함수가 분포에 대한 완전한 기술을 제공한다.
5. 변수가 둘이면 무게가 평면 위에 놓인다. 결합분포에서 주변분포로 가는 길(주변화)은 언제나 열려 있지만 되돌아오는 길은 닫혀 있다. 의존 구조는 주변분포 바깥에 있는 정보다.
6. 확률변수의 독립은 결합분포가 주변분포들의 곱으로 인수분해되는 것과 동치이며, i.i.d. 가정과 가능도가 모두 이 한 줄의 인수분해 위에 서 있다.
7. 조건부분포는 무게를 세로로 자른 단면을 다시 \(1\)로 맞춘 것이다. 조건부 기댓값 \(E[Y \mid X]\)는 제곱오차 기준에서 최선의 예측이며, 전체 기댓값의 법칙과 Eve의 법칙이 조건부 적률과 주변 적률을 이어 준다.
8. 기댓값은 분포의 중심을, 분산은 퍼짐을 주고, 공분산과 상관계수는 두 변수가 함께 움직이는 방식을 포착한다. 다만 상관계수는 선형 관계만 재므로 무상관이 독립을 뜻하지는 않는다.
9. 적률생성함수는 분포의 모든 정보를 압축적으로 담아내며 이론적 결과를 증명하는 강력한 도구다.
10. 큰수의 법칙은 표본평균이 모평균으로 수렴함을 보장하여, 추정에 자료를 쓰는 것을 정당화한다.
11. 중심극한정리는 정규분포가 실무에서 그토록 자주 나타나는 이유를 설명하며 신뢰구간과 가설검정의 구성을 떠받친다.