충분성과 완비성¶

충분성: 결합 PMF는 \(p^{\sum x_i}(1-p)^{n - \sum x_i}\)로, \(\mathbf{x}\)에 오직 \(T = \sum x_i\)를 통해서만 의존한다. 인수분해 정리에 의해 \(T\)는 충분하다.

완비성: \(T \sim \text{Binomial}(n, p)\)이다. 완비성을 보이려면 모든 \(p \in (0,1)\)에 대해 \(E[g(T)] = 0\)이면 \(g(T) = 0\) a.s.임을 보여야 한다.

\(r = p/(1-p) \in (0, \infty)\)로 두면 이는 항등적으로 0인 \(r\)에 대한 \(n\)차 다항식이다. 모든 곳에서 0인 다항식은 계수가 모두 0이므로 모든 \(t\)에 대해 \(g(t)\binom{n}{t} = 0\)이고, 따라서 모든 \(t\)에 대해 \(g(t) = 0\)이다. \(\square\)

Lehmann-Scheffé 정리: \(T\)가 완비충분통계량이고 \(h(T)\)가 \(\tau(\theta)\)의 불편추정량이면 \(h(T)\)는 \(\tau(\theta)\)의 유일한 UMVUE이다.

\(T = \sum X_i \sim \text{Bin}(n, p)\)의 함수이면서 \(\tau(p) = p(1-p)\)에 대해 불편인 추정량을 찾는다.

\(h(T) = \frac{T(n - T)}{n(n-1)}\)을 생각하자:

\(T\)가 완비충분이고 \(h(T)\)가 \(p(1-p)\)에 대해 불편이므로 Lehmann-Scheffé 정리에 의해 이것이 UMVUE이다. \(\square\)

충분통계량 \(T\)가 완비라는 것은 기댓값이 항등적으로 0인 자명하지 않은 \(T\)의 함수가 없다는 뜻이다: 모든 \(\theta\)에 대해 \(E[g(T)] = 0\)이면 \(g(T) = 0\) a.s.이다.

이는 불편추정량의 유일성을 보장한다: \(h_1(T)\)와 \(h_2(T)\)가 모두 \(\tau(\theta)\)에 대해 불편이면 모든 \(\theta\)에 대해 \(E[h_1(T) - h_2(T)] = 0\)이다. 완비성에 의해 \(h_1(T) - h_2(T) = 0\) a.s.이므로 \(h_1 = h_2\)이다.

완비성이 없으면 \(T\)의 불편인 함수가 여럿 존재할 수 있고, Rao-Blackwell 정리만으로는 유일한 최량 추정량이 보장되지 않는다. 완비성이 이 틈을 메워 (존재한다면) UMVUE를 유일하게 만든다.

Uniform\((0, \theta)\): \(T = X_{(n)}\)의 밀도는 \(0 < t < \theta\)에서 \(f_T(t) = nt^{n-1}/\theta^n\)이다. 결합밀도가 \(\theta^{-n}\mathbf{1}\{X_{(n)} \le \theta\}\)이므로 인수분해 정리에 의해 \(T\)는 충분하다.

완비성: 모든 \(\theta > 0\)에 대해 \(E_\theta[g(T)] = \frac{n}{\theta^n}\int_0^\theta g(t)t^{n-1}\,dt = 0\)이라 하자. 그러면 모든 \(\theta\)에 대해 \(\int_0^\theta g(t)t^{n-1}\,dt = 0\)이고, \(\theta\)에 대해 미분하면 (거의 모든 \(\theta\)에서) \(g(\theta)\theta^{n-1} = 0\)이므로 \(g \equiv 0\) a.e.이다. 따라서 \(T\)는 완비이다.

Uniform\((\theta, \theta + 1)\): 여기서는 \(T = (X_{(1)}, X_{(n)})\)이 충분하다. 범위 \(R = X_{(n)} - X_{(1)}\)의 분포는 \(\theta\)에 의존하지 않고(전체 자료를 \(\theta\)만큼 평행이동해도 \(R\)은 변하지 않는다) \(E[R] = \frac{n-1}{n+1}\)이다. 따라서

은 모든 \(\theta\)에 대해 \(E[g(T)] = 0\)이지만 \(g \neq 0\) a.s.이다. 즉 \(T\)는 충분하지만 완비가 아니다.

교훈: 완비성은 충분통계량만의 성질이 아니라 통계 모형의 성질이다. 받침이 유계인 위치족은 흔히 완비성이 깨진다.

\(k\)-모수 지수족.

\(\boldsymbol\eta\)를 모수로 쓰면(자연 모수화)

충분성. 인수분해 정리에서 곧바로 나온다. \(n\)개 표본의 결합밀도가

이므로 \(\mathbf{T}_n = \sum_i\mathbf{T}(x_i)\)가 충분하다. \(n\)개를 \(k\)개로 압축한다.

완비성의 조건. 자연 모수공간

가 \(\mathbb{R}^k\)에서 열린 집합을 포함하면(즉 \(k\)차원 내부를 가지면) \(\mathbf{T}_n\)이 완비다.

이 조건이 중요한 이유 — 곡선 지수족. 모수가 \(k\)개보다 적게 움직이면 \(\Omega\)가 저차원 곡선이 되어 완비성이 깨진다.

예: \(N(\theta,\theta^2)\)는 자연통계량이 \((x,x^2)\)로 2차원인데 모수는 \(\theta\) 하나다. 자연 모수 \((\eta_1,\eta_2) = (1/\theta,\ -1/(2\theta^2))\)가 \(\eta_1^2 = -2\eta_2\)라는 곡선 위에만 놓인다. 이때 \((\sum X_i,\sum X_i^2)\)은 충분하지만 완비가 아니다.

왜 완비성이 필요한가. 앞서 본 대로 레만-셰페 정리가 유일한 최소분산불편추정량을 보장하려면 완비성이 있어야 한다. 완비가 아니면 충분통계량의 함수인 불편추정량이 여럿 존재해 어느 것이 최선인지 알 수 없다.

충분통계량. \((\bar X, S^2)\)이 완비충분통계량이다.

후보. \(S\)는 불편이 아니다. 앞서 본 대로 \(E[S]=c_4\sigma\)이고

불편으로 고치면.

이 불편이고 완비충분통계량의 함수이므로, 레만-셰페에 따라 유일한 최소분산불편추정량이다. \(\square\)

분산. \(\operatorname{Var}(S) = \sigma^2(1-c_4^2)\)이므로

이다(마지막은 \(c_4\approx1-1/\{4(n-1)\}\)을 쓴 근사).

크라메르-라오 하한과 비교. \(\sigma\)에 대한 정보량이 \(I_1(\sigma)=2/\sigma^2\)이므로 하한이 \(\sigma^2/(2n)\)이다. 최소분산불편추정량의 분산 \(\sigma^2/\{2(n-1)\}\)이 이보다 크다.

하한이 달성되지 않는다. 앞서 본 대로 \(\sigma\)가 자연통계량의 평균모수가 아니기 때문이며, \(\mu\)를 추정하느라 잃은 자유도가 그 차이를 만든다.

실무. \(c_4\) 보정은 \(n\)이 작을 때만 의미가 있고(\(n=5\)에서 6%), \(n\ge25\)면 1% 미만이다. 관리도처럼 작은 부분군을 여럿 쓰는 경우에 표준적으로 적용한다.

출발 추정량. \(\hat g_0 = \mathbb{1}\{X_1=0\}\)이 불편이다(\(E=P(X_1=0)=e^{-\lambda}\)).

라오-블랙웰화. \(T=\sum_i X_i\)가 완비충분통계량이고, \(T=t\)가 주어지면 \(X_1\sim\text{Binomial}(t,1/n)\)이므로

레만-셰페에 따라

가 유일한 최소분산불편추정량이다.

MLE와 비교. 불변성에서 \(\hat g_{\text{MLE}} = e^{-\bar X}\)다.

실제로 \((1-1/n)^n\to e^{-1}\)이므로 두 추정량이 점근적으로 일치한다.

수치 비교. \(n=10\), \(\bar x=2\)(즉 \(T=20\))이면

• UMVUE: \((0.9)^{20} = 0.1216\)
• MLE: \(e^{-2} = 0.1353\)

참값이 \(e^{-2}=0.1353\)이라면 MLE가 정확히 맞은 것처럼 보이지만, 이는 한 표본에서의 우연이다. 기대값을 보면 MLE가 체계적으로 크다.

흥미로운 점. \(n=1\)이면 UMVUE가 \(0^{X_1}\), 즉 \(\mathbb{1}\{X_1=0\}\)으로 0 또는 1만 취한다. 확률을 추정하는데 0이나 1을 내놓는 것이 이상해 보이지만, 관측이 하나뿐이니 그것이 최선의 불편추정량이다. 불편성이 언제나 합리적인 추정값을 주지는 않는다는 좋은 예다.

예 — 코시분포. \(X_i\sim\text{Cauchy}(\theta,1)\)에서 최소충분통계량은 순서통계량 전체 \((X_{(1)},\dots,X_{(n)})\)이다. 차원이 \(n\)이라 아무 압축도 되지 않는다.

확인. 가능도비

가 모든 \(\theta\)에서 상수이려면, 분자와 분모가 \(\theta\)의 다항식으로서 같아야 한다. 다항식의 근이 일치해야 하므로 \(\{x_i\}\)와 \(\{y_i\}\)가 집합으로 같아야 한다. 레만-셰페 판정법에서 순서통계량이 최소충분이다.

다른 예들.

• \(t\) 분포(위치-척도): 순서통계량 전체.
• 로지스틱분포: 순서통계량 전체.
• 혼합분포: 일반적으로 압축되지 않는다.
• 비모수 모형: 경험분포함수 전체가 필요하다.

무엇을 뜻하는가.

1. 자료를 요약해 버릴 수 없다. 정규 모형에서 \((\bar x, s^2)\)만 보고하면 충분하지만, 코시 모형에서는 원자료 전체가 필요하다. 앞서 본 "요약통계만 보고하면 모형을 고정해 버린다"는 논점의 근거다.

2. 계산이 무겁다. 추정에 모든 관측값을 매번 써야 하므로, 스트리밍이나 대규모 자료에서 부담이 된다. 강건 추정이 비싼 근본적인 이유다.

3. 지수족이 아니다. 충분통계량의 차원이 고정된 것은 지수족의 특징이며(다르무아-피트만-쿠프만 정리), 지지집합이 모수에 무관한 분포족 중에서 이 성질을 갖는 것은 지수족뿐이다.

4. 켤레 사전분포가 없다. 유한 차원의 충분통계량이 없으면 갱신이 닫힌 형태로 되지 않는다. 코시 모형의 베이즈 추론에 MCMC가 필요한 이유다.

긍정적인 면. 압축이 안 된다는 것은 모든 관측값이 고유한 정보를 갖는다는 뜻이기도 하다. 꼬리가 두꺼운 분포에서 극단값이 위치 추정에 거의 기여하지 않고 중앙 부근의 관측값이 지배하는데, 그 구조가 순서통계량에 담겨 있다.

이유. 충분성의 정의가 "\(T\)가 주어지면 나머지 자료의 조건부분포가 \(\theta\)에 의존하지 않는다"는 것이다. 즉

이다. \(\theta\)에 대한 정보가 \(T\)에 모두 들어 있다는 뜻이지만, 뒤집어 보면

• \(T\)는 모형이 맞다는 전제 아래 모수를 추정하는 데 필요한 모든 것을 담는다.
• 모형이 맞는지에 대한 정보는 \(T\)가 아니라 나머지, 즉 조건부분포에 있다.

따라서 모형 검정은 조건부분포를 보아야 한다. \(T\)만 보아서는 모형이 맞는지 알 수 없다.

구체적으로 무엇을 보는가.

1. 잔차. 회귀에서 \(\hat\varepsilon_i\)가 정확히 "충분통계량이 담지 못한 부분"이다. 잔차가 \(\hat{\boldsymbol\beta}\)와 직교하는 공간에 놓인다는 사실이 그 형식적 표현이다.

2. 부수통계량. 앞서 본 대로 분포가 \(\theta\)에 무관한 통계량이다. 그 분포가 알려져 있으므로 관측값이 그 분포와 어긋나면 모형이 틀렸다는 신호다. 바수의 정리에 따라 완비충분통계량과 독립이므로, 모수 추정과 독립적인 진단을 준다.

3. 조건부 예측 점검. \(T\)를 고정하고 나머지 자료의 분포를 모형이 예측한 것과 비교한다. \(2\times2\) 표에서 주변합을 고정하고 초기하분포와 비교하는 것이 그 예다.

4. 사후 예측 점검. 베이즈 틀에서 같은 발상이다. 다만 앞서 본 대로 자료를 두 번 쓰므로 보수적이다.

예시. 정규 모형을 적합하고 \((\bar x, s^2)\)을 보고했다고 하자. 이 둘만으로는

• 자료가 이봉인지,
• 이상치가 있는지,
• 치우쳤는지

를 전혀 알 수 없다. Q-Q 그림과 히스토그램이 필요하며, 이들이 보는 것이 바로 조건부분포다.

한 문장으로. 충분통계량은 "모형을 믿는다면 이것으로 충분하다"는 조건부 진술이고, 그 조건을 검증하려면 버려진 정보를 보아야 한다.

(1) 근사 충분통계량과 ABC. 가능도를 계산할 수 없는 모형에서는 자료 전체를 비교하는 대신 요약통계량을 비교한다.

\(S\)가 충분하면 근사가 정확하지만, 대개 충분통계량이 없거나 모른다. 요약통계량을 고르는 것이 ABC의 핵심 설계 결정이며, 정보 손실과 차원의 저주 사이에서 절충해야 한다. 자동으로 \(S\)를 학습하는 방법(회귀 기반, 신경망 기반)이 연구되고 있다.

(2) 정보 병목과 표현 학습. 신경망이 입력 \(X\)에서 표현 \(Z\)를 만들 때, 목표를 정보 병목으로 적으면

가 된다. "\(Y\)에 대한 정보는 최대한 남기고 \(X\)의 나머지는 버린다"는 것이며, \(Y\)에 대한 충분통계량을 학습하는 것과 같은 발상이다. \(\beta\to\infty\) 극한에서 최소충분통계량에 해당한다.

(3) 지수족 신경망과 자연 매개변수. 변분 오토인코더나 확률적 그래프모형에서 조건부분포를 지수족으로 두고, 신경망이 자연 모수를 출력하게 한다. 그러면 충분통계량의 구조가 그대로 살아 있어 켤레 갱신이 가능해지고, 추론이 닫힌 형태의 메시지 전달로 환원된다.

덧붙여.

• 공평성과 프라이버시. 민감 속성 \(A\)에 대해 "충분하지 않은" 표현을 만드는 것이 공평성 제약의 한 형식화다. 차분 프라이버시에서 충분통계량에만 잡음을 더하는 기법도 널리 쓰인다.
• 연합 학습. 각 기관이 원자료 대신 충분통계량만 보내면 통계적 손실 없이 결합할 수 있다. 앞서 본 웰퍼드 결합 공식이 그 예이며, 지수족이면 일반적으로 가능하다.

공통된 구조. 세 경우 모두 "무엇을 버려도 되는가"를 묻는다. 고전적 충분성이 "모수 추정에 필요 없는 것"을 답했다면, 현대적 확장은 목적(예측, 공평성, 프라이버시, 통신 비용)에 따라 그 답을 다시 정의한다.