분산과 표준편차¶

(1) 해석적으로. 편차를 \(d_i = x_i - \bar x\) 라 하면 두 측도는

이다. 코시–슈바르츠 부등식을 벡터 \((\lvert d_1\rvert, \ldots, \lvert d_n\rvert)\) 과 \((1, \ldots, 1)\) 에 쓰면

이고, 양변을 \(n^2\) 으로 나누면

가 된다. 코시–슈바르츠의 등호는 두 벡터가 평행할 때만 성립하므로, 모든 \(\lvert d_i\rvert\) 가 같을 때에만 두 측도가 일치한다. 예컨대 \(\{0, 2\}\) 나 \(\{1, 1, 3, 3\}\) 처럼 모든 점이 평균에서 똑같이 떨어져 있는 자료다.

같은 결론을 옌센 부등식으로도 얻는다. \(\sqrt{\cdot}\) 이 오목하므로 \(E[\sqrt{Y}] \le \sqrt{E[Y]}\) 이고 \(Y = d^2\) 을 넣으면 된다.

그러므로 "표준편차는 평균에서 평균적으로 얼마나 떨어져 있는가"가 아니다. 그 문장이 가리키는 수는 평균절대편차이고, 표준편차는 언제나 그보다 크다. 제곱이 큰 편차를 부풀려 담기 때문이다.

(2) 정규분포에서는 비가 정해져 있다. \(X \sim N(\mu, \sigma^2)\) 이면 \(\lvert X - \mu\rvert/\sigma\) 가 반정규분포를 따르고

이다. 곧 정규자료에서는 \(\text{MeanAD}/\sigma \approx 0.798\) 이어야 한다. 이 자료는 \(1.5/2.0 = 0.75\) 다.

(3) 수치적으로.

import numpy as np

x = np.array([2.0, 4.0, 4.0, 4.0, 5.0, 5.0, 7.0, 9.0])

# 편차는 각 값이 평균에서 얼마나 떨어졌는지다. 부호가 남아 있다.
dev = x - x.mean()

print("편차          :", dev)
print("편차의 합      :", dev.sum())          # 항상 0
print("평균절대편차   :", np.abs(dev).mean())
print("분산(모집단)   :", (dev ** 2).mean())
print("표준편차       :", np.sqrt((dev ** 2).mean()))

# (1) MeanAD <= sigma 인가. 비를 재고 등호가 되는 자료도 확인한다.
mad_, sd_ = np.abs(dev).mean(), np.sqrt((dev ** 2).mean())
print(f"\n비 MeanAD/sigma = {mad_ / sd_:.4f}   (정규 이론값 sqrt(2/pi) = {np.sqrt(2 / np.pi):.4f})")
print("등호가 되는 자료 (|편차| 가 모두 같은 경우):")
for arr in ([0.0, 2.0], [1.0, 1.0, 3.0, 3.0], [0.0, 1.0, 2.0]):
    a = np.array(arr)
    dv = a - a.mean()
    print(f"  {arr}: MeanAD {np.abs(dv).mean():.4f}, sigma {np.sqrt((dv ** 2).mean()):.4f},"
          f" 비 {np.abs(dv).mean() / np.sqrt((dv ** 2).mean()):.4f}")

# (2) 정규자료에서 비가 정말 0.798 인가.
rng = np.random.default_rng(0)
z = rng.normal(0, 1, 2000)
dz = z - z.mean()
print(f"\n정규 n=2000: 비 {np.abs(dz).mean() / np.sqrt((dz ** 2).mean()):.4f}")

출력:

편차          : [-3. -1. -1. -1.  0.  0.  2.  4.]
편차의 합      : 0.0
평균절대편차   : 1.5
분산(모집단)   : 4.0
표준편차       : 2.0

비 MeanAD/sigma = 0.7500   (정규 이론값 sqrt(2/pi) = 0.7979)
등호가 되는 자료 (|편차| 가 모두 같은 경우):
  [0.0, 2.0]: MeanAD 1.0000, sigma 1.0000, 비 1.0000
  [1.0, 1.0, 3.0, 3.0]: MeanAD 1.0000, sigma 1.0000, 비 1.0000
  [0.0, 1.0, 2.0]: MeanAD 0.6667, sigma 0.8165, 비 0.8165

정규 n=2000: 비 0.8003

편차의 합이 정확히 \(0\) 이다. 절댓값이나 제곱을 거친 뒤에야 뜻이 있는 수가 나온다.

(1)이 확인된다. 이 자료에서 \(1.5 < 2.0\) 이고, \(\lvert d_i\rvert\) 가 모두 같은 두 자료 \(\{0,2\}\) 와 \(\{1,1,3,3\}\) 에서는 비가 정확히 \(1.0000\) 이다. \(\{0,1,2\}\) 는 \(\lvert d\rvert\) 가 \(1, 0, 1\) 로 같지 않으므로 비가 \(0.8165 < 1\) 이다.

(2)에서 이 자료의 비 \(0.7500\) 은 정규 이론값 \(0.7979\) 보다 작다. 비가 작다는 것은 제곱이 특정 점들에 더 몰려 있다는 뜻이고, 이 자료에서는 혼자 떨어진 \(x = 9\) 가 그 역할을 한다. 편차 \(4\) 하나가 제곱합 \(32\) 가운데 \(16\), 곧 절반을 차지하는데 절대편차 합 \(12\) 에서는 \(4\), 곧 삼분의 일만 차지한다.

그리고 정규자료 \(2000\) 개에서 잰 비는 \(0.8003\) 으로 이론값 \(0.7979\) 와 \(0.3\%\) 차이다. 표본이 유한하므로 정확히 맞지는 않지만, 이 비가 정규성에서 얼마나 멀리 있는지를 재는 쓸모 있는 눈금이 된다는 것은 보인다. 이 자료의 \(0.75\) 는 정규보다 꼬리가 무거운 쪽, 곧 큰 편차 하나가 두드러지는 쪽이다.

(1) 해석적으로. 평균이

로 깔끔하게 떨어진다. 편차는 \(-0.5,\ 0.5,\ 2,\ 0,\ -1,\ -1\) 이고 제곱합은

이다. 두 분산은 이 하나의 \(\text{SS}\) 를 각각 \(6\) 과 \(5\) 로 나눈 것이므로

이다. 두 분수의 분자가 \(13\) 으로 같은 것은 우연이 아니다. 분자는 \(\text{SS}\) 에서 온 것이고 ddof 는 분모만 건드리기 때문이다. 비는 \(\frac{13/10}{13/12} = \frac{12}{10} = \frac65\) 로 \(n/(n-1) = 6/5\) 와 같다.

(2) 예측. ddof 는 분모를 \(n - \texttt{ddof}\) 로 바꾼다. 그러므로

이고 \(\texttt{ddof} = 0, \ldots, 5\) 에 대해 \(\frac{13}{12}, \frac{13}{10}, \frac{13}{8}, \frac{13}{6}, \frac{13}{4}, \frac{13}{2}\) 다. 마지막은 \(6.5\), 곧 제곱합 그 자체다. \(\texttt{ddof} = 6\) 이면 분모가 \(0\) 이 되어 나눗셈이 정의되지 않는다.

(3) 수치적으로.

import numpy as np
from fractions import Fraction

sample_data = np.array([1.5, 2.5, 4, 2, 1, 1])

# ddof 는 "자유도에서 빼는 수"다. 기본값 0 이면 n 으로 나눈 모분산이 된다.
population_variance = sample_data.var()
print(f"모분산 (ddof=0): {population_variance}")

# ddof=1 이면 n-1 로 나눈다. 표본에서 모분산을 추정할 때 쓰는 값이다.
sample_variance = sample_data.var(ddof=1)
print(f"표본분산 (ddof=1): {sample_variance}")

# (1) 분수로 정확히 적으면 무엇인가.
n = len(sample_data)
SS = ((sample_data - sample_data.mean()) ** 2).sum()
print(f"\n평균 {sample_data.mean()},  제곱합 SS = {SS} = {Fraction(SS).limit_denominator()}")
print(f"  ddof=0: SS/{n}   = {Fraction(SS) / n}  = {SS / n}")
print(f"  ddof=1: SS/{n-1} = {Fraction(SS) / (n - 1)}  = {SS / (n - 1)}")

# (2) ddof 를 0 부터 5 까지 밀어 본다. 분모가 n - ddof 로 줄어들 뿐이다.
print(f"\n{'ddof':>6}{'분모 n-ddof':>12}{'분수':>10}{'값':>22}")
for ddof in range(6):
    print(f"{ddof:>6}{n - ddof:>12}{str(Fraction(SS) / (n - ddof)):>10}"
          f"{sample_data.var(ddof=ddof):>22.10f}")
print("  ddof=6 이면 분모가 0 이라 나눗셈이 정의되지 않는다"
      " (numpy 는 경고와 함께 inf 를 돌려준다)")

출력:

모분산 (ddof=0): 1.0833333333333333
표본분산 (ddof=1): 1.3

평균 2.0,  제곱합 SS = 6.5 = 13/2
  ddof=0: SS/6   = 13/12  = 1.0833333333333333
  ddof=1: SS/5 = 13/10  = 1.3

  ddof   분모 n-ddof        분수                     값
     0           6     13/12          1.0833333333
     1           5     13/10          1.3000000000
     2           4      13/8          1.6250000000
     3           3      13/6          2.1666666667
     4           2      13/4          3.2500000000
     5           1      13/2          6.5000000000
  ddof=6 이면 분모가 0 이라 나눗셈이 정의되지 않는다 (numpy 는 경고와 함께 inf 를 돌려준다)

(1)과 (2)가 그대로 맞는다. 여섯 줄의 분수가 모두 분자 \(13\) 을 공유하고 분모만 \(12, 10, 8, 6, 4, 2\) 로 줄어든다. \(\texttt{ddof} = 5\) 에서 값이 \(6.5\), 곧 제곱합과 같아지는 것도 예측대로다.

그러므로 ddof 는 통계적 개념이 아니라 산술적 손잡이다. "자유도"라는 이름이 붙어 있지만 함수가 하는 일은 분모를 \(n - \texttt{ddof}\) 로 바꾸는 것 하나뿐이고, 그 가운데 \(\texttt{ddof} = 1\) 만이 불편추정량을 준다는 사실은 함수 밖에서 와야 하는 지식이다. \(\texttt{ddof} = 2\) 를 넣어도 numpy 는 불평하지 않고 \(1.625\) 를 돌려준다.

한편 이 자료는 변수 이름이 sample_data 이므로 보고할 값은 \(\texttt{ddof=1}\) 의 \(1.3\) 이다. 코드가 \(\texttt{ddof=0}\) 의 값을 population_variance 라 부르는 것은 "\(n\) 으로 나눈 양"을 가리키는 관례적 이름일 뿐이고, 이 여섯 개가 모집단 전체라는 뜻이 아니다. 이 혼동이 ddof 를 둘러싼 오류의 대부분을 만든다.

(1) 해석적으로. 보기 2 에서 분산이 \(13/12\) 과 \(13/10\) 이었으므로

이다. 수로 바꾸면 \(\sqrt{39} = 6.2450\) 이라 \(\hat\sigma = 1.0408330\), \(\sqrt{130} = 11.401754\) 라 \(s = 1.1401754\) 다. 비는

이다. 분산의 비 \(6/5\) 가 제곱근을 거쳐 \(\sqrt{6/5}\) 가 된다. 분산에서 \(20\%\) 던 차이가 표준편차에서는 \(9.5\%\) 로 줄어든다.

(2) 해석적으로 — 그 말은 맞지 않다. 평균절대편차는 편차 \(-0.5,\ 0.5,\ 2,\ 0,\ -1,\ -1\) 의 절대값 평균이므로

이다. "평균에서 평균적으로 얼마나 벗어나는가"라는 질문의 답은 \(0.833\) 이고, 표준편차 \(1.0408\)(또는 \(1.1402\))과 다르다. 보기 1 에서 증명했듯 \(\text{MeanAD} \le \hat\sigma\) 는 언제나 성립하므로 표준편차를 "평균 이탈"로 읽으면 늘 과장하게 된다. 이 자료에서는 \(0.833\) 을 \(1.041\) 로, \(25\%\) 부풀린다.

표준편차의 정직한 뜻은 "제곱평균제곱근(RMS) 이탈" 이다. 이탈을 제곱해 평균 내고 제곱근을 씌운 것이지, 이탈을 평균 낸 것이 아니다.

(3) 수치적으로.

import numpy as np

sample_data = np.array([1.5, 2.5, 4, 2, 1, 1])

# 표준편차는 분산의 제곱근이므로 ddof 규칙도 그대로 따라간다.
population_std = sample_data.std()
print(f"모표준편차 (ddof=0): {population_std}")

# n-1 로 나눈 표본분산의 제곱근이다.
sample_std = sample_data.std(ddof=1)
print(f"표본표준편차 (ddof=1): {sample_std}")

# (1) 근호 꼴이 정말 같은 값인가.
print(f"\nsqrt(39)/6   = {np.sqrt(39) / 6!r}")
print(f"sqrt(130)/10 = {np.sqrt(130) / 10!r}")
print(f"비 s/sigma_hat = {sample_std / population_std:.10f},  sqrt(6/5) = {np.sqrt(6 / 5):.10f}")

# (2) "평균에서 평균적으로 벗어난 거리" 는 어느 수인가.
dev = sample_data - sample_data.mean()
print(f"\n평균절대편차 (평균 이탈)   = {np.abs(dev).mean():.10f}")
print(f"RMS 이탈 = 표준편차(ddof=0) = {population_std:.10f}")
print(f"  표준편차가 평균 이탈보다 {100 * (population_std / np.abs(dev).mean() - 1):.1f}% 크다")

출력:

모표준편차 (ddof=0): 1.0408329997330663
표본표준편차 (ddof=1): 1.140175425099138

sqrt(39)/6   = 1.0408329997330663
sqrt(130)/10 = 1.1401754250991378
비 s/sigma_hat = 1.0954451150,  sqrt(6/5) = 1.0954451150

평균절대편차 (평균 이탈)   = 0.8333333333
RMS 이탈 = 표준편차(ddof=0) = 1.0408329997
  표준편차가 평균 이탈보다 24.9% 크다

(1)이 맞는다. \(\sqrt{39}/6\) 이 population_std 와 비트 단위로 같고, \(\sqrt{130}/10\) 은 sample_std 와 마지막 자리에서 \(1\) ULP 다르다(\(\ldots 991378\) 대 \(\ldots 99138\) — 같은 양을 다른 연산 순서로 계산해 생기는 부동소수점 반올림이며, 상대오차가 \(\varepsilon\) 한 배라 정상이다). 비도 \(1.0954451150 = \sqrt{6/5}\) 로 열 자리가 같다.

(2)도 맞는다. 평균 이탈은 \(0.8333\) 이고 표준편차는 \(1.0408\) 로 \(24.9\%\) 크다. 그러므로 표준편차를 보고할 때 "평균적으로 이만큼 벗어난다"고 풀어 말하면 과장이 된다. 쓸 수 있는 정직한 문장은 두 가지다.

• "이탈의 제곱평균제곱근이 \(1.04\) 다" — 정확하지만 입에 잘 붙지 않는다.
• "자료가 대체로 평균 \(\pm 1.04\) 안에 있다" — 정규분포라면 그 안에 약 \(68\%\) 가 들어가므로 쓸 만한 어림이다. 다만 정규 가정에 기댄 말이라는 것을 알아야 한다. 가정 없이 말할 수 있는 것은 연습문제 9 의 체비쇼프 한계뿐이다.

(1) 해석적으로. 정규라면 백분위가 \(\Phi(z)\) 다.

차이는 \(0.0680\) 이다. \(300\) 명 학급에서 위에 있는 사람 수는 \(300\,(1 - \Phi(z))\) 이므로

이고, 등수로 약 \(48\) 등과 \(68\) 등, 스무 명 차이다. 중간고사 쪽이 낫다.

(2) 그런데 그 결론은 정규 가정 위에 서 있다. \(Z\) 는 평균과 표준편차만 쓰므로 분포의 모양을 보지 않는다. 모양이 다른 두 분포에서 같은 \(Z\) 가 다른 백분위에 대응하고, 심하면 순서가 뒤집힌다.

반례를 만들어 보자. 중간고사 점수가 \([0, 1]\) 에서 균등하고 기말고사 점수가 지수분포(평균 \(1\))를 따른다고 하자.

• 균등\((0,1)\): \(\mu = 0.5\), \(\sigma = 1/\sqrt{12} = 0.28868\). \(Z = +1.00\) 은 \(x = 0.5 + 0.28868 = 0.78868\) 이고, 균등분포에서 백분위는 \(x\) 자신이므로 \(78.87\) 번째 백분위다.
• 지수\((1)\): \(\mu = 1\), \(\sigma = 1\). \(Z = +0.75\) 는 \(x = 1.75\) 이고 백분위는 \(1 - e^{-1.75} = 0.82623\), 곧 \(82.62\) 번째 백분위다.

순서가 뒤집혔다. \(Z\) 가 작은 쪽이 더 많은 사람을 이겼다. 까닭은 분명하다. 균등분포는 꼬리가 없어 \(1\sigma\) 위쪽에도 아직 \(21\%\) 가 남아 있고(\(\sigma\) 가 범위의 \(28.9\%\) 나 되므로), 지수분포는 오른쪽 꼬리가 길어 평균 위로 \(0.75\sigma\) 만 올라가도 이미 대부분을 지나친다.

(3) 수치적으로.

import numpy as np
from scipy import stats

# 두 시험은 평균도 표준편차도 다르다. 원점수만으로는 견줄 수 없다.
midterm = {"score": 70, "mu": 60, "sigma": 10}
final = {"score": 95, "mu": 80, "sigma": 20}

# Z-점수는 "평균에서 표준편차 몇 개만큼 떨어졌나"를 재므로 단위가 사라진다.

for name, e in [("중간고사", midterm), ("기말고사", final)]:
    z = (e["score"] - e["mu"]) / e["sigma"]
    print(f"{name}: 원점수 {e['score']}, Z = {z:+.2f}")

# (1) 두 분포가 정규라면 백분위와 등수는?
print(f"\n정규 가정 아래 (300명 학급)")
for name, z in (("중간고사", 1.00), ("기말고사", 0.75)):
    p = stats.norm.cdf(z)
    print(f"  {name}: Z={z:+.2f}  백분위 {100 * p:.2f}%  위에 있는 사람 {300 * (1 - p):.1f}명")
print(f"  백분위 차 {100 * (stats.norm.cdf(1.0) - stats.norm.cdf(0.75)):.2f}%p")

# (2) 모양이 다르면 순서가 뒤집힌다.
print(f"\n모양을 바꾸면 (중간=균등(0,1), 기말=지수(1))")
x_u = 0.5 + 1.00 * (1 / np.sqrt(12))           # 균등의 Z=+1.00
x_e = 1 + 0.75 * 1                             # 지수의 Z=+0.75
print(f"  중간 Z=+1.00 -> x={x_u:.5f},  백분위 {100 * stats.uniform.cdf(x_u):.2f}%")
print(f"  기말 Z=+0.75 -> x={x_e:.5f},  백분위 {100 * stats.expon.cdf(x_e):.2f}%")
print(f"  -> Z 는 중간이 크지만 백분위는 기말이 크다. 순서가 뒤집혔다.")

출력:

중간고사: 원점수 70, Z = +1.00
기말고사: 원점수 95, Z = +0.75

정규 가정 아래 (300명 학급)
  중간고사: Z=+1.00  백분위 84.13%  위에 있는 사람 47.6명
  기말고사: Z=+0.75  백분위 77.34%  위에 있는 사람 68.0명
  백분위 차 6.80%p

모양을 바꾸면 (중간=균등(0,1), 기말=지수(1))
  중간 Z=+1.00 -> x=0.78868,  백분위 78.87%
  기말 Z=+0.75 -> x=1.75000,  백분위 82.62%
  -> Z 는 중간이 크지만 백분위는 기말이 크다. 순서가 뒤집혔다.

(1)의 네 수가 그대로 나온다. \(84.13\%\) 와 \(77.34\%\), 등수로 약 \(48\) 등과 \(68\) 등이다.

(2)의 반례도 성립한다. \(Z\) 의 순서는 \(+1.00 > +0.75\) 인데 백분위의 순서는 \(78.87\% < 82.62\%\) 로 반대다.

그러므로 \(Z\) 로 서로 다른 분포를 견줄 때 조심해야 할 것이 하나 있다. \(Z\) 는 같은 분포 안에서는 순서를 그대로 보존한다(\(Z\) 가 원점수의 증가함수이므로). 그러나 다른 두 분포 사이의 비교에서는 "\(Z\) 가 크다"와 "백분위가 높다"가 다른 말이 된다. 본문의 결론("중간고사가 더 좋은 성적이다")은 두 시험 점수가 비슷한 모양으로 분포한다는 가정 아래에서만 안전하다.

등수를 알고 싶으면 \(Z\) 를 거치지 말고 백분위를 직접 보고하는 것이 낫다. 백분위는 순위만 쓰므로 모양에 무관하게 "몇 명을 이겼는가"를 정확히 답한다. 그 대가로 간격 정보를 버리는데, 두 측도를 나란히 보고하는 것이 실무의 답이다.

(a) \(\bar{x} = 40/5 = 8\).

(b) 제곱편차: \(25, 1, 1, 1, 36\), 합 \(= 64\), \(s^2 = 64/4 = 16\).

(c) \(s = \sqrt{16} = 4\).

(d) 상수 \(c\)를 더하면 평균은 \(c\)만큼 이동하지만 분산과 표준편차는 변하지 않는다. \((x_i + c) - (\bar{x} + c) = x_i - \bar{x}\)이므로 모든 제곱편차가 동일하다. 새 평균은 18이고 \(s^2 = 16\), \(s = 4\) 그대로다.

import numpy as np
import pandas as pd
import statistics

x = [2, 4, 4, 4, 5, 5, 7, 9]
n = len(x)

print(f"자료 {x},  n = {n}\n")
print(f"{'호출':>26s}{'분산':>12s}{'표준편차':>12s}")
print(f"{'np.var(x)':>26s}{np.var(x):>12.6f}{np.std(x):>12.6f}")
print(f"{'pd.Series(x).var()':>26s}{pd.Series(x).var():>12.6f}"
      f"{pd.Series(x).std():>12.6f}")
print(f"{'statistics.pvariance(x)':>26s}{statistics.pvariance(x):>12.6f}"
      f"{statistics.pstdev(x):>12.6f}")
print(f"{'statistics.variance(x)':>26s}{statistics.variance(x):>12.6f}"
      f"{statistics.stdev(x):>12.6f}")

print(f"\n두 값의 비 = {pd.Series(x).var() / np.var(x):.6f}")
print(f"n / (n-1)  = {n / (n - 1):.6f}")

자료 [2, 4, 4, 4, 5, 5, 7, 9],  n = 8

                        호출          분산        표준편차
                 np.var(x)    4.000000    2.000000
        pd.Series(x).var()    4.571429    2.138090
   statistics.pvariance(x)    4.000000    2.000000
    statistics.variance(x)    4.571429    2.138090

두 값의 비 = 1.142857
n / (n-1)  = 1.142857

numpy 와 pandas 가 같은 자료에서 14% 다른 분산을 준다.

두 값의 비가 정확히 \(n/(n-1)=8/7=1.1429\)다. 우연이 아니라 분모만 다르기 때문이다.

차이가 문제가 되는 경우.

1. \(n\)이 작을 때. \(n=8\)에서 분산이 14%, 표준편차가 6.9% 차이다. \(n=3\)이면 분산이 50% 차이다. \(n=100\)이면 1%라 대개 무시할 만하다.
2. 두 도구의 결과를 견줄 때. numpy 로 계산한 표준편차와 pandas 로 계산한 것을 나란히 놓으면 자료가 다른 것처럼 보인다.
3. 표준편차를 곱해 쓸 때. 변동성을 연율화하거나 \(z\) 점수를 만들 때 이 차이가 그대로 따라간다.

처방. ddof 를 언제나 명시한다. np.std(x, ddof=1) 처럼 적어 두면 기본값을 기억할 필요가 없고, 코드를 읽는 사람도 어느 쪽인지 안다.

어느 쪽을 써야 하는가. 가진 자료가 모집단 전체이면 \(n\), 표본이면 \(n-1\)이다. 실무에서는 거의 언제나 표본이므로 \(n-1\) 이 기본이 되어야 한다.

왜 \(n-1\) 이 표본에 맞는 분모인지는 기댓값을 다루는 도구가 필요하다. 베셀 보정 절에서 \(\mathbb{E}[s^2]=\sigma^2\) 을 증명한다. \(\square\)

\(\mathbb{E}[Y] = a\mu + b\)이므로

이다. 따라서 \(\mathrm{Var}(Y) = a^2 \sigma^2\)이며 분산은 곱하는 상수의 제곱만큼 변한다. 더하는 상수 \(b\)는 아무 영향이 없다.

단위: \(X\)가 달러 단위라면 \(\sigma^2\)은 달러 제곱 단위여서 "전형적인 편차"로 해석할 수 없고, \(\sigma\)는 달러 단위다. 표준편차가 원래 단위를 회복시키므로 "전형적인 퍼짐"을 보고할 때는 표준편차가 선호되고, 대수적 조작(예: 독립 변수들의 분산을 더하기)에는 분산이 선호된다.

\(\mu_i = \mathbb{E}[X_i]\)라 하자. 그러면

이다. 첫 항은 \(\sum_i \sigma_i^2\)이다. 둘째 항 \(\sum_{i \ne j} \mathrm{Cov}(X_i, X_j)\)는 독립성 아래에서 0이다(교차항이 \(\mathbb{E}[X_i - \mu_i] \mathbb{E}[X_j - \mu_j] = 0\)으로 분해되므로).

상관된 변수의 경우:

양의 상관은 합의 분산을 부풀리고 음의 상관은 줄인다. 포트폴리오 분산투자가 이를 활용한다. 상관이 낮거나 음인 자산을 결합하면 같은 기대수익에 대해 총분산을 줄일 수 있다.

i.i.d. 자료에서 표본평균의 분산은

이다. 표준오차는 그 제곱근인 \(\mathrm{SE}(\bar{X}) = \sigma/\sqrt{n}\)이다. \(1/n\)로 줄어드는 분산의 제곱근을 취하기 때문에 \(\sqrt{n}\)이 나타난다.

네 배 규칙: \(n\)이 \(n\)에서 \(4n\)이 되면 \(\sqrt{n} \to 2\sqrt{n}\)이므로 표준오차가 절반이 된다. 표준오차를 다시 절반으로 줄이려면 표본 크기를 또 4배, 즉 \(16n\)으로 만들어야 한다. 정밀도는 \(\sqrt{n}\)으로만 좋아지며, 이 가차 없는 속도가 고정밀 조사의 비용을 좌우한다.

CV는 곱셈적 척도 변환에 불변이다. 모든 자료값을 두 배로 하면 \(\sigma\)와 \(\mu\)가 모두 두 배가 되어 CV는 그대로다. 따라서 CV는 "척도에서 자유로운" 퍼짐 측도로서 단위나 크기가 다른 분포들 사이에서 변동성을 비교하는 데 유용하다.

예:

• 주식 A의 연간 수익률: \(\mu = 5\%\), \(\sigma = 5\%\)이므로 CV \(= 1.0\).
• 주식 B의 연간 수익률: \(\mu = 50\%\), \(\sigma = 5\%\)이므로 CV \(= 0.1\).

둘의 절대 표준편차는 같다(5%포인트). 그러나 A의 수익률은 전형적인 값에 비해 훨씬 변동이 크다. 표준편차 1배만큼 하락하면 한 해 수익이 통째로 사라질 수 있다. B의 수익률은 높은 수준 주위에 촘촘히 몰려 있다. CV가 이 차이를 포착한다.

단서: \(\mu\)가 0에 가깝거나 부호가 바뀔 수 있으면(예: 손실을 포함하는 투자 수익률) CV는 정의되지 않거나 불안정해진다. 그런 자료에는 샤프 지수(\(\mu\)가 양수인 비교에서의 \(\mu/\sigma\))나 사분위범위 / 중앙값(강건한 대응물) 같은 대안 측도가 선호된다.

import numpy as np

rng = np.random.default_rng(0)
g = np.repeat([0, 1, 2], [500, 300, 200])          # 세 집단
mu = np.array([10., 14., 22.])                     # 집단 평균이 다르다
y = rng.normal(mu[g], 2.0)                         # 집단내 표준편차는 같다

w = np.array([np.mean(g == k) for k in range(3)])
group_mean = np.array([y[g == k].mean() for k in range(3)])
group_var = np.array([y[g == k].var(ddof=0) for k in range(3)])

within = (w * group_var).sum()
between = (w * (group_mean - y.mean()) ** 2).sum()

print(f"전체 분산    {y.var(ddof=0):.4f}")
print(f"집단내 성분  {within:.4f}")
print(f"집단간 성분  {between:.4f}")
print(f"합           {within + between:.4f}")
print(f"\n집단간 비율(급내상관 ICC) {between / y.var(ddof=0):.4f}")

출력:

전체 분산    23.7283
집단내 성분  3.8086
집단간 성분  19.9198
합           23.7283

집단간 비율(급내상관 ICC) 0.8395

분해가 정확히 맞는다(\(3.809 + 19.920 = 23.728\)).

어디에 쓰이는가. 이 하나의 항등식이 여러 곳에서 되풀이된다.

1장 표본조사 연습문제 8에서 층화가 집단간 성분을 제거하기 때문에 정밀도가 높아진다고 했는데, 그 성분이 바로 이 식의 둘째 항이다. 여기서는 그것이 전체의 \(84\%\)를 차지하므로 층화의 이득이 클 것이다.

급내상관(ICC) 은 집단간 비율로 정의되며, 1장 연습문제 9의 설계효과 \(1+(m-1)\rho\)에 들어가는 \(\rho\)가 이것이다.

해석상의 주의. 집단간 성분이 크다고 집단이 결과를 유발한다는 뜻은 아니다. 이 분해는 순전히 기술적이며, 인과 해석에는 1장에서 본 식별 조건이 따로 필요하다.

한 가지 더. 분해는 분산에서만 이렇게 깔끔하다. 표준편차는 \(\sqrt{\text{집단내}+\text{집단간}} \ne \sqrt{\text{집단내}}+\sqrt{\text{집단간}}\)이므로 더해지지 않는다. 이 절 앞부분에서 "제곱을 쓰는 이유"로 든 성질이 여기서 다시 쓰인다. \(\square\)

정규모집단에서 \((n-1)s^2/\sigma^2 \sim \chi^2_{n-1}\)이므로

이다. 뒤의 식은 델타 방법(\(\sqrt{\cdot}\)의 미분)에서 나온다.

import numpy as np

rng = np.random.default_rng(0)
sigma = 1.0
print(f"{'n':>6}{'SD(s^2) 모의':>14}{'이론':>10}{'SD(s) 모의':>13}{'이론':>10}{'s 의 상대오차':>15}")
for n in (5, 10, 30, 100, 1000):
    s = rng.normal(0, sigma, (200_000, n)).std(axis=1, ddof=1)
    print(f"{n:>6}{(s ** 2).std():>14.5f}{sigma ** 2 * np.sqrt(2 / (n - 1)):>10.5f}"
          f"{s.std():>13.5f}{sigma / np.sqrt(2 * (n - 1)):>10.5f}{s.std() / sigma:>15.4f}")

출력:

     n    SD(s^2) 모의        이론     SD(s) 모의        이론       s 의 상대오차
     5       0.71078   0.70711      0.34201   0.35355         0.3420
    10       0.47168   0.47140      0.23245   0.23570         0.2325
    30       0.26317   0.26261      0.13108   0.13131         0.1311
   100       0.14182   0.14213      0.07083   0.07107         0.0708
  1000       0.04486   0.04474      0.02242   0.02237         0.0224

표준편차를 아는 것은 평균을 아는 것보다 훨씬 어렵다.

두 상대오차가 비슷해 보이지만, \(\operatorname{SD}(s) \approx \sigma/\sqrt{2n}\)이므로 \(s\)의 표준오차는 \(\bar{x}\)의 표준오차보다 \(\sqrt{2}\)배 작을 뿐이다. 즉 \(\sigma\)를 알아내는 일도 \(\mu\)를 알아내는 일과 같은 차수의 어려움이다.

실무적 함의.

• \(n = 5\)에서 \(s\)는 거의 정보가 없다. 상대오차가 \(34\%\)이므로 참 \(\sigma\)가 \(1\)일 때 \(s\)가 \(0.5\)나 \(1.5\)로 나오는 일이 흔하다. 소표본에서 "분산이 두 배 차이 난다"는 관찰은 대개 잡음이다.
• \(t\) 검정이 \(s\)를 쓰는 대가가 여기 있다. \(\sigma\)를 모르고 \(s\)로 대체하기 때문에 \(t\) 분포의 꼬리가 두꺼워지며, \(n\)이 작을수록 심하다.
• 표본 크기 계획에 \(\sigma\)의 추정값을 쓸 때 조심하라. 예비 연구의 \(n = 20\)짜리 \(s\)는 상대오차가 \(16\%\)이므로, 그것으로 계산한 표본 크기도 그만큼 불확실하다. 보수적으로 \(\sigma\)를 크게 잡는 것이 안전하다.
• 분산비 검정(\(F\) 검정)이 정규성에 민감한 이유도 같은 뿌리다. \(s^2\)은 \(4\)차 적률에 의존하므로 분포 가정이 조금만 어긋나도 크게 흔들린다. \(\square\)

체비셰프 부등식. 분산이 유한한 어떤 분포에서든

이다. 마르코프 부등식을 \((X-\mu)^2\)에 적용하면 바로 나온다.

import numpy as np

rng = np.random.default_rng(0)
n = 2_000_000
dists = {"정규": rng.normal(0, 1, n),
         "균등": rng.uniform(-np.sqrt(3), np.sqrt(3), n),
         "지수": rng.exponential(1, n),
         "t(3)": rng.standard_t(3, n)}

print(f"{'k':>5}{'체비셰프 하한':>14}" + "".join(f"{name:>10}" for name in dists))
for k in (1, 1.5, 2, 3):
    row = f"{k:>5}{max(0, 1 - 1 / k ** 2):>14.4f}"
    for x in dists.values():
        row += f"{np.mean(np.abs(x - x.mean()) < k * x.std()):>10.4f}"
    print(row)

출력:

    k       체비셰프 하한        정규        균등        지수      t(3)
    1        0.0000    0.6830    0.5775    0.8647    0.8191
  1.5        0.5556    0.8665    0.8657    0.9180    0.9202
    2        0.7500    0.9543    1.0000    0.9505    0.9598
    3        0.8889    0.9973    1.0000    0.9817    0.9863

어떤 분포도 하한을 어기지 않는다. 그러나 하한이 매우 느슨하다.

\(k = 3\)에서 체비셰프는 "적어도 \(88.9\%\)"라고만 말하는데 정규분포의 실제는 \(99.73\%\)다. 정규분포에서 \(3\sigma\) 밖은 \(0.27\%\)인데 체비셰프는 \(11.1\%\)까지 허용한다. \(40\)배 차이다.

왜 이렇게 느슨한가. 체비셰프는 분산만 아는 상태에서 최악의 분포를 가정한다. 그 최악의 경우는 질량이 \(\mu\)와 \(\mu \pm k\sigma\) 세 점에만 놓인 이산분포이며, 실제 자료가 그런 모습인 경우는 거의 없다.

그래도 쓸모가 있는 곳.

• 분포를 전혀 모를 때의 안전한 진술. "적어도 \(75\%\)가 \(\pm 2\sigma\) 안에 있다"는 언제나 참이다.
• 이론적 도구. 큰수의 약법칙 증명이 체비셰프에서 나온다. \(\operatorname{Var}(\bar{X}) = \sigma^2/n \to 0\)이므로 \(P(\lvert\bar{X}-\mu\rvert>\varepsilon) \le \sigma^2/(n\varepsilon^2) \to 0\)이다.
• 더 강한 가정이 있으면 더 좋은 부등식이 있다. 단봉이면 비소찬스키–페투닌 부등식(\(k=3\)에서 \(95.1\%\)), 유계이면 회프딩, 정규이면 정확한 값을 쓸 수 있다.

표에서 지수분포를 눈여겨보라. \(k=1\)에서 \(0.865\)로 정규(\(0.683\))보다 높은데, 이는 치우친 분포에서 \(\pm k\sigma\) 구간이 비대칭 분포에 잘 맞지 않기 때문이다. 치우친 자료에 \(\mu \pm k\sigma\)를 쓰는 것 자체가 부적절하며, 그런 경우에는 분위수를 보고하는 것이 옳다. \(\square\)

import numpy as np
from scipy import stats

rng = np.random.default_rng(4)
n = 500
x1 = rng.normal(50, 2, n)
x2 = 0.8 * (x1 - 50) / 2 * 30 + 300 + rng.normal(0, 18, n)   # 단위가 전혀 다르다
X = np.column_stack([x1, x2])
Z = (X - X.mean(0)) / X.std(0, ddof=1)

print(f"원자료  평균 {X.mean(0).round(3)}   표준편차 {X.std(0, ddof=1).round(3)}")
print(f"표준화  평균 {Z.mean(0).round(6)}   표준편차 {Z.std(0, ddof=1).round(6)}")

print(f"\n피어슨 상관:   원자료 {np.corrcoef(X.T)[0, 1]:.6f}   표준화 {np.corrcoef(Z.T)[0, 1]:.6f}")
print(f"스피어만 상관: 원자료 {stats.spearmanr(X)[0]:.6f}   표준화 {stats.spearmanr(Z)[0]:.6f}")
print(f"왜도 (첫 변수): 원자료 {stats.skew(X[:, 0]):.6f}   표준화 {stats.skew(Z[:, 0]):.6f}")

d_raw = np.linalg.norm(X[0] - X[1])
d_std = np.linalg.norm(Z[0] - Z[1])
print(f"\n두 점 사이 유클리드 거리: 원자료 {d_raw:.4f}   표준화 {d_std:.4f}")

출력:

원자료  평균 [ 50.007 299.67 ]   표준편차 [ 2.019 29.279]
표준화  평균 [ 0. -0.]   표준편차 [1. 1.]

피어슨 상관:   원자료 0.779248   표준화 0.779248
스피어만 상관: 원자료 0.766642   표준화 0.766642
왜도 (첫 변수): 원자료 -0.082544   표준화 -0.082544

두 점 사이 유클리드 거리: 원자료 27.1591   표준화 1.0405

보존되는 것.

• 상관계수. 피어슨도 스피어만도 소수점 여섯째 자리까지 같다. \(Z = (X-\mu)/\sigma\)는 양의 기울기를 갖는 선형변환이라 상관을 바꾸지 않는다.
• 분포의 모양. 왜도와 첨도가 그대로다. 표준화는 위치와 척도만 바꾸므로 표준화된 적률은 불변이다(왜도 문서 연습문제 3).
• 순위와 상대적 순서. 단조 변환이므로 분위수의 순위가 유지된다.

바뀌는 것.

• 거리. 두 점 사이의 유클리드 거리가 완전히 달라진다. 단위가 큰 변수가 지배하던 것이 사라지고 모든 변수가 같은 무게를 갖는다.
• 단위와 해석. \(Z = 1.5\)는 "평균보다 \(1.5\) 표준편차 위"이지 원래 단위의 값이 아니다.

함의가 갈린다.

표준화가 언제나 옳은 것은 아니다. 모든 변수를 표준편차 \(1\)로 맞추는 것은 "모든 변수가 똑같이 중요하다"고 선언하는 것이다. 변수들이 같은 단위이고 분산 차이가 실제 정보를 담고 있다면 그 정보를 지우게 된다.

한 가지 함정. 학습·시험 자료를 나눌 때는 학습 자료의 평균과 표준편차로 양쪽을 모두 변환해야 한다. 시험 자료의 통계량을 쓰면 1장에서 본 전처리 누출이 된다. sklearn 의 StandardScaler 를 fit 은 학습 자료에만, transform 은 양쪽에 적용하는 이유가 이것이다. \(\square\)