절사평균과 윈저화 평균¶

import numpy as np
from scipy import stats
rng = np.random.default_rng(0)
n, B = 30, 5000
x = rng.gamma(shape=3, scale=2, size=n)
mean_boot, med_boot = np.empty(B), np.empty(B)
for b in range(B):
    xb = rng.choice(x, size=n, replace=True)
    mean_boot[b] = xb.mean(); med_boot[b] = np.median(xb)
print(f"SE(mean): boot={mean_boot.std(ddof=1):.3f}, theory={x.std(ddof=1)/np.sqrt(n):.3f}")
m = np.median(x); f_hat = stats.gaussian_kde(x)(m)[0]
print(f"SE(med): boot={med_boot.std(ddof=1):.3f}, asymp={1/(2*f_hat*np.sqrt(n)):.3f}")

출력:

SE(mean): boot=0.577, theory=0.585
SE(med): boot=0.856, asymp=0.771

평균: 붓스트랩과 이론이 잘 일치한다.

중앙값: \(n = 30\)에서 붓스트랩이 점근 공식보다 대개 5–15% 크다 — 점근 공식은 아직 완전히 도달하지 않은 대표본 영역을 가정하기 때문이다. 붓스트랩이 유한표본 거동을 더 정확히 포착한다.

20% 절사(\(\alpha = 0.2\), \(k = \lfloor 0.2n \rfloor\))에서 절사평균은 \(X_{(k+1)}\)부터 \(X_{(n-k)}\)까지를 평균한다. 이 평균을 얼마든지 움직이려면 절사 후 남는 범위 안쪽의 관측값을 적어도 하나 오염시켜야 한다 — 즉 가운데 관측값 하나를 극단적으로 만들어야 한다.

한쪽 꼬리의 순서통계량을 가운데로 밀어넣으려면 그 꼬리에서 \(k\)개보다 많은 오염이 필요할 수 있다. 실질적인 붕괴점: \(k/n = \alpha = 0.2\), 즉 20%.

일반 규칙: \(\alpha\)-절사평균의 붕괴점은 \(\alpha\)이다. 절사를 늘리면 로버스트성이 올라가고 정규 아래에서의 효율은 내려간다.

\(n = 7\), \(\alpha = 0.2\), \(k = \lfloor 1.4 \rfloor = 1\).

가장 작은 1개와 가장 큰 1개를 절사하면 \(\{3, 5, 7, 9, 11\}\)이 남는다. 절사평균 = \((3+5+7+9+11)/5 = 7\).

표본평균: \((1+3+5+7+9+11+100)/7 \approx 19.4\). 이상점에 지배된다.

중앙값: \(7\) (가운데 값).

절사평균과 중앙값은 모두 7을 주는 반면 표본평균은 오해를 부른다. 로버스트 추정량은 자료의 깨끗한 부분의 "전형적인" 값을 되찾아 준다.

절사는 정보를 버린다. 정규 자료에서는 모든 관측값이 평균에 관한 정보를 담고 있으므로 무엇을 버리든 유효표본크기가 줄어든다.

구체적으로 \(\alpha\)-절사평균의 점근분산은 대략 \(\sigma^2 \cdot c(\alpha)/n\)이며 \(\alpha > 0\)이면 \(c(\alpha) > 1\)이다. ARE = \(1/c(\alpha) < 1\).

전형적인 값: \(\alpha = 0.1\)이면 ARE \(\approx 0.97\). \(\alpha = 0.2\): \(\approx 0.93\). 중앙값(\(\alpha = 0.5\)): \(\approx 0.64\).

결론: 약한 절사(10–20%)는 정규 아래에서 효율을 거의 잃지 않으면서 상당한 로버스트성을 준다. 과감한 절사(중앙값 쪽으로)는 로버스트성의 이득이 크지 않은 채 효율만 잃는다(붕괴점 0.2 대신 0.5가 필요한 경우는 드물다).

Huber의 M-추정량은 \(\sum \psi((X_i - \hat\mu)/s) = 0\)을 푼다. 여기서 \(|u| \le c\)이면 \(\psi(u) = u\), \(|u| > c\)이면 \(\psi(u) = c \cdot \text{sign}(u)\)이다. 가운데에서는 OLS처럼, 꼬리에서는 중앙값처럼 행동한다.

\(c\)가 작으면 중앙값처럼, \(c\)가 크면 표본평균처럼 행동한다.

표준적인 선택 \(c = 1.345 \sigma\): 정규 아래에서 효율 95%, 붕괴점은 조율에 따라 \(\approx \min(\alpha, 0.5)\).

실무에서 M-추정량이 절사평균을 앞서는 이유:

• OLS와 중앙값 사이를 매끄럽게 이어준다(급격한 절단이 없다).
• 공변량을 넣을 수 있다(로버스트 회귀).
• 중간 정도의 오염 수준에서 효율이 더 좋다.

statsmodels.RLM을 비롯한 대부분의 현대 통계 소프트웨어에서 기본 로버스트 추정량이다.

표본평균을 쓸 때:

• 자료가 근사적으로 대칭이고 대략 정규일 때.
• 완전한 효율이 필요할 때(큰 \(n\) 또는 정밀한 추정이 필요할 때).
• 이상점이 없다고 믿거나 이미 전처리했을 때.

중앙값을 쓸 때:

• 자료에 극단적인 이상점이 있거나 꼬리가 두꺼울 때.
• 최대 붕괴점(50%)을 원할 때.
• 효율이 중요하지 않을 때(큰 \(n\)을 쓸 수 있을 때).

절사평균을 쓸 때:

• 중간 정도의 이상점이 예상될 때(오염 5–20%).
• 효율과 로버스트성 사이의 절충을 원할 때.
• 단순하고 잘 알려진 추정량이 필요할 때.

M-추정량을 쓸 때:

• 유연성이 필요할 때(회귀 맥락, 사용자 정의 손실).
• 중간 정도의 오염에서 절사평균보다 나은 효율을 원할 때.
• 전용 소프트웨어를 쓸 수 있을 때.

실무에서는 깨끗한 자료에는 평균, "이상점이 잦은" 자료에는 중앙값, 판단이 서지 않으면 절사평균(10–20%)을 기본으로 삼는다.

예이의 절사평균 \(t\) 검정. 절사평균 \(\bar X_\alpha\)와 윈저화 분산 \(s_w^2\)을 써서

를 계산하고, 자유도 \(h-1\)인 \(t\) 분포와 비교한다. 여기서 \(h = n-2\lfloor\alpha n\rfloor\)은 절사 후 남은 관측 수다.

\(n=50\), \(\alpha=0.2\)면 \(\lfloor10\rfloor=10\)개씩 잘라 \(h=30\)이고 자유도가 29다. 표본평균 \(t\) 검정의 49보다 작다.

왜 윈저화 분산인가. 절사평균의 점근분산이

이고 \(\sigma_w^2\)이 윈저화한 분포의 분산이기 때문이다. 절사한 자료의 분산을 그냥 쓰면 안 된다. 잘라 낸 관측값이 여전히 변동에 기여하기 때문이며, 그것을 경계값으로 대체해 반영하는 것이 윈저화다.

다른 방법들.

• 부트스트랩. 가장 일반적이다. 절사평균의 부트스트랩 분포에서 백분위나 BCa 구간을 얻는다. 분포 가정이 거의 없고 비대칭 구간을 준다.
• 순열검정. 두 집단 비교에서 절사평균 차이를 통계량으로 삼아 표지를 섞는다.
• M-추정량의 왈드 구간. \(\operatorname{SE}^2 = E[\psi^2]/\{n(E[\psi'])^2\}\)을 표본에서 추정해 \(\hat\theta\pm1.96\operatorname{SE}\).

성능. 예이의 검정은 꼬리가 두껍거나 치우친 자료에서 표본평균 \(t\) 검정보다 제1종 오류율이 훨씬 안정적이고 검정력도 높다. 윌콕스의 연구가 이를 폭넓게 보고했으며, 이분산이 있는 두 표본 비교에서도 웰치식 보정과 결합해 쓴다.

두 종류의 이상치.

• 잔차 이상치(수직 이상치). \(y\)가 회귀선에서 크게 벗어나지만 \(x\)는 평범한 점. \(\psi\)를 유계로 만들면(후버 회귀) 잘 막힌다.
• 지렛값(leverage point). \(x\)가 자료 중심에서 멀리 떨어진 점. \(y\)가 직선 위에 있으면(좋은 지렛값) 오히려 추정을 정밀하게 해 주지만, 벗어나면(나쁜 지렛값) 회귀선 전체를 끌고 간다.

왜 중요한가. 위치 문제에서는 이상치가 한 종류뿐이지만 회귀에서는 둘이고, 둘을 막는 방법이 다르다.

후버 회귀의 한계. \(\psi\)가 잔차를 자르지만, 지렛값이 큰 점은 잔차가 작게 나온다. 회귀선이 그 점을 지나도록 끌려갔기 때문이다. 잔차를 보고 판단하는 방법으로는 잡을 수 없다.

로 지렛값 \(h_{ii}\)가 1에 가까우면 잔차가 0에 가까워진다.

해결.

• 가중치를 \(x\)에도 준다. GM-추정량은 \(\psi(r_i)w(x_i)\) 꼴로 지렛값에도 가중치를 준다.
• 고붕괴점 방법. LTS는 \(n\)개 잔차 제곱 중 작은 \(h\)개의 합을 최소로 한다. \(x\) 공간의 이상치까지 자동으로 배제되지만 효율이 낮다(정규에서 약 7%).
• MM-추정. LTS로 고붕괴점 초기값을 잡고 재하강 M-추정으로 효율을 올린다. 붕괴점 0.5와 정규 효율 95%를 동시에 달성하며, 현재 표준적인 권고다.

진단이 먼저. 어느 방법을 쓰든 지렛값 \(h_{ii}\)와 스튜던트화 잔차를 그려 보는 것이 출발점이다. 쿡 거리가 둘을 결합한 영향력 척도이며, 큰 값을 보이는 관측값을 개별적으로 확인해야 한다.

(1) 자료가 실제로 정규에 가깝고 표본이 작을 때. 로버스트 방법은 정규에서 효율을 잃는다. \(n=15\)인 깨끗한 정규 자료에서 20% 절사평균을 쓰면 효율 7%를 버리는데, 그 정도 표본에서는 7%가 아깝다. 이상치가 있다는 증거가 없으면 표준 방법이 낫다.

(2) 극단값이 관심 대상일 때. 로버스트 방법은 극단값의 영향을 줄이도록 설계되었다. 그런데

• 금융 위험관리: 꼬리 손실이 바로 관심사다.
• 보험 요율 산정: 대형 사고가 손해율을 좌우한다.
• 신뢰성 공학: 조기 고장이 문제다.

이런 경우 극단값을 눌러 버리는 것이 분석의 목적을 배반한다. 꼬리를 직접 모형화하는 극단값 이론이 필요하다.

(3) 치우침이 분포의 본질일 때. 앞 절에서 본 대로, 로그정규 자료의 큰 값들은 오염이 아니다. 절사하면 추정 대상이 정의되지 않는 양으로 바뀐다. 이때는 변환이나 적절한 분포족을 쓰는 것이 옳다.

그 밖에.

• 결과를 보고해야 할 상대가 표준 방법을 기대할 때. 규제기관이나 학술지가 특정 방법을 요구하면, 로버스트 결과는 민감도 분석으로 곁들이는 편이 현실적이다.
• 표본이 매우 클 때. \(n\)이 충분히 크면 중심극한정리가 강하게 작동해 표본평균의 분포가 안정된다. 다만 분산이 무한하면 여전히 안 되므로 꼬리 진단은 해야 한다.
• 계산 비용이 문제일 때. MM-추정이나 MCD는 반복적이고 무겁다. 실시간 시스템에서는 부담이 될 수 있다.

권고. 로버스트 방법을 기본값으로 삼기보다 표준 방법과 함께 계산해 비교하는 것이 실용적이다. 두 결과가 비슷하면 안심하고 표준 결과를 보고하고, 크게 다르면 그 이유를 조사한다. 차이 자체가 진단 정보다.

1단계 — 무엇을 추정하려는가.

• 총액이나 기대값이 필요하다(세수, 총비용, 보험 기대손실) → 평균. 다른 선택지가 없다. 총액 = 평균 × 개수이기 때문이다.
• 전형적인 값이 필요하다(중위소득, 대표 가격) → 중앙값.
• 대칭 중심을 효율적으로 추정하고 싶다 → 다음 단계로.

2단계 — 자료를 본다.

• 히스토그램, 상자그림, Q-Q 그림을 그린다.
• 본체에서 뚝 떨어진 소수의 점 → 오염. 3단계로.
• 매끄럽게 이어지는 긴 꼬리 → 치우침. 1단계로 돌아가 목적을 다시 확인하거나 로그 변환을 고려한다.
• 대칭이고 이상치 없음 → 표본평균. 가장 효율적이다.

3단계 — 오염이 확인되면 원인을 조사한다.

• 기록 오류가 확인됨 → 고치거나 제외한다. 무엇을 왜 했는지 기록한다.
• 원인 불명이거나 실제 관측 → 로버스트 방법으로.

4단계 — 로버스트 추정량을 고른다.

5단계 — 반드시 함께 한다.

• 표준 방법과 로버스트 방법을 모두 계산해 비교한다. 큰 차이는 보고할 가치가 있는 발견이다.
• 적절한 표준오차를 쓴다. 절사평균에 \(s/\sqrt n\)을 쓰면 안 된다.
• 어떤 방법을 왜 썼는지 보고한다. \(\alpha\)나 \(c\) 같은 조율상수도 함께.
• 조율상수를 자료를 보고 고르지 않는다. 미리 정한다.