선형회귀의 정규성 확인¶
들어가는 이야기 — 개별 값에 범위를 약속하는 자리
「주문의 \(90\%\) 는 이 범위 안에 들어옵니다」처럼 개별 값에 범위를 약속하는 자리가 있다. 그 약속에는 정규성(normality)이 끝까지 따라붙는다. 반면 계수의 \(p\) 값을 읽는 자리에서는 표본만 좀 모이면 거의 다 해결된다. 같은 가정인데 두 자리의 운명이 정반대다.
까닭은 식에 있다. 계수의 신뢰구간에 들어가는 \(\hat\beta\) 은 오차들의 가중평균이라 중심극한정리(central limit theorem)가 받쳐 준다. 새 관측의 예측구간(prediction interval)에 들어가는 \(y_0\) 은 평균이 아니라 오차 하나라서 받쳐 줄 정리가 없다. 그래서 \(n\) 이 커지면 예측구간이 \(\hat y_0 \pm 1.96\sigma\) 로 굳고, 그것이 담는 확률은 오차분포 그 자체가 된다 — 정규면 \(0.9500\), 라플라스면 \(0.9375\), 균등이면 \(1.0000\) 이다.
수로 보면 이렇다. 오차를 왜도(skewness) \(6.18\) 의 로그정규(lognormal)로 두고 회귀하면 \(n = 10\) 에서 \(\hat\beta_1\) 의 표집분포(sampling distribution)가 왜도 \(2.67\) 로 오른쪽에 끌려 있다. 그런데 \(n = 200\) 으로 키우기만 하면 왜도가 \(0.50\) 으로 떨어지고 히스토그램이 정규곡선 위에 거의 포개진다. 평균의 왜도가 \(1/\sqrt n\) 으로 줄어드는 것과 같은 일이어서, 표본이 스무 배이면 \(\sqrt{20} = 4.5\) 배쯤 줄 것이고 실제로 \(2.67/0.50 = 5.3\) 배 줄었다.
같은 자료에서 예측구간은 그렇지 않다. 포함률이 \(93.4\%\) 에서 \(96.3\%\) 로 올라가기는 하는데, 빗나간 구간이 전부 한쪽에 몰려 있다는 사실은 표본을 서른두 배로 키워도 그대로다.
왜도 \(6.18\) 짜리 로그정규 오차에서 각 \(4{,}000\) 번 돌렸다. 왼쪽. 전체 빗나간 비율은 \(7.9\%\) 에서 \(4\%\) 안팎으로 내려와 약속한 \(5\%\) 근처에 닿는다. 그런데 아래로 빗나간 비율은 줄곧 \(0\) 이다 — 표본을 백 배로 키워도 그렇다. 오른쪽. 까닭은 \(n\) 이 커지면 구간이 \(\hat y_0 \pm 1.96\sigma\) 로 굳어 담는 확률이 오차분포 그 자체가 되기 때문이다. 이 분포는 왼쪽 꼬리가 \(-1.96\sigma\) 보다 안쪽에서 끝나 아래로는 아예 빗나갈 수 없고, 오른쪽으로만 \(3.82\%\) 가 삐져나간다. 포함률은 돌아와도 방향은 돌아오지 않는다.
그러니 이 쪽의 검정 결과를 읽을 때 먼저 물어야 할 것은 「정규인가」가 아니라 「무엇에 쓰려는가」다. 그러면 정규성은 언제 넘겨도 되고 언제 정면으로 다루어야 하는가. 아래 상자가 그 두 운명을 분포마다 수로 갈라 둔다.
확인한 곳 — 이 쪽 「정규성이 맡은 일이 둘인데 운명이 다르다」 상자와 그 출처 줄
잔차의 정규성은 선형회귀(linear regression)의 핵심 가정 가운데 하나이다. 이 가정은 모형의 잔차(오차)가 정규분포를 따라야 한다고 상정한다. 회귀계수(regression coefficient)의 타당성에는 선형성 가정이 더 결정적이지만, 신뢰구간·가설검정·예측구간의 타당성을 확보하려면 잔차의 정규성을 확인하는 일이 중요하다. 이 절은 선형회귀에서 정규성을 확인하는 방법을 시각적 점검과 통계검정으로 나누어 정리한다.
1. 회귀에서의 정규성 이해¶
정의 1. 정규성¶
선형회귀의 정규성은 잔차가 정규분포를 따른다는 뜻으로, 그렸을 때 0을 중심으로 하는 종 모양 곡선을 이루어야 한다는 것이다.
왜 중요한가. 잔차의 정규성은 회귀계수의 불편추정에는 필요하지 않지만 다음에는 결정적이다.
- 신뢰구간과 가설검정: 정확하려면 오차가 정규분포를 따른다는 가정이 필요하다. 계수 검정에 쓰는 t 분포가 정규성 가정 아래에서 유도된 것이다.
- 예측구간: 새 관측값에 대한 예측구간이 타당하려면 정규성이 필요하다.
- 작은 표본: 큰 표본에서는 오차가 정규가 아니어도 중심극한정리가 검정통계량(test statistic)의 점근적 정규성을 보장한다. 작은 표본(\(n < 30\))에서는 정규성 가정이 결정적이 된다.
정규성이 가장 중요한 경우¶
| 상황 | 정규성의 중요도 |
|---|---|
| 작은 표본 (\(n < 30\)) | 결정적 — 중심극한정리의 근사가 충분하지 않다 |
| 큰 표본 (\(n > 100\)) | 덜 중요 — 중심극한정리가 검정통계량의 근사 정규성을 보장한다 |
| 예측구간을 만들 때 | 표본크기와 무관하게 항상 중요 |
| 두꺼운 꼬리 자료 | 중요 — 이상치가 OLS 추정에 강한 영향을 줄 수 있다 |
위배하면 무엇이 망가지는가¶
정확한 \(t\) 분포와 전체 유의성의 \(F\) 분포는 둘 다 오차의 정규성에서 나온 것이다. 그 둘이 흔들리는 쪽과 흔들리지 않는 쪽이 갈리는 모습을 한 그림에 담았다.

위 표가 말하는 "표본이 크면 덜 중요하다"와 "예측구간에는 표본크기와 무관하게 중요하다"가 왜 함께 성립하는지를 한 그림에 담았다. 오차를 평균 0, 분산 1 로 맞춘 로그정규로 두었다. 왜도가 \(6.18\) 로 정규에서 아주 멀고, 왼쪽으로는 \(-0.76\) 아래로 내려갈 수 없는 반면 오른쪽 꼬리는 길게 늘어진다. 설명변수(explanatory variable)도 일부러 한쪽으로 치우친 설계점을 썼다.
왼쪽 칸이 계수 쪽 이야기다. \(n = 10\) 일 때 \(\hat{\beta}_1\) 의 표집분포는 왜도 \(2.67\) 로 뚜렷이 오른쪽으로 끌려 있고, 봉우리는 표준정규보다 높고 좁다. 이런 상태에서 \(t\) 분포표를 읽는 것은 맞지 않는 자를 대는 일이다. 그런데 \(n = 200\) 으로만 키워도 왜도가 \(0.50\) 으로 떨어지고 히스토그램이 표준정규 곡선(검은 점선) 위에 거의 포개진다. \(\hat{\beta}_1\) 은 오차들의 가중평균이므로 중심극한정리가 그대로 작동한 것이다. 오차 자체는 여전히 왜도 \(6.18\) 의 괴물인데도 그렇다. 정규성을 "네 가정 중 가장 덜 중요한 것"으로 두는 근거가 이것이다.
오른쪽 칸이 구해 주지 못하는 쪽이다. 예측구간은 \(\hat{\beta}\) 의 변동뿐 아니라 앞으로 뽑힐 오차 한 개를 그대로 품어야 한다. 그 오차 한 개에는 중심극한정리가 적용될 자리가 없다. 정규성을 믿고 만든 구간은 \(\pm 1.96s\), 곧 \([-1.96, 1.96]\) 으로 좌우대칭인데, 참으로 중앙 95%를 담는 구간은 \([-0.70, 2.52]\) 로 오른쪽으로 밀려 있다. 그 결과 아래쪽 한계는 오차가 닿을 수조차 없는 자리에 놓여 한 푼도 쓰이지 않고, 새는 것은 전부 위쪽이다. 실제로 모의실험을 해 보면 \(n = 20\) 에서 포함률 \(93.4\%\)(아래로 \(0.0\%\), 위로 \(6.6\%\)), \(n = 100\) 에서 \(95.6\%\)(\(0.0\%\), \(4.4\%\)), \(n = 640\) 에서 \(96.3\%\)(\(0.0\%\), \(3.7\%\))이다. 총량만 보면 95%에 가까워 멀쩡해 보이지만, 빗나감이 전부 한쪽에 몰려 있다는 사실은 표본을 32배로 키워도 그대로다.
그러므로 정규성 점검의 실전 규칙은 이렇게 갈린다. 계수의 \(p\) 값과 신뢰구간만 쓸 것이고 \(n\) 이 충분히 크다면 Q-Q 그림이 조금 휘어도 넘어갈 수 있다. 그러나 개별 관측값을 예측하고 그 구간을 보고할 작정이라면, \(n\) 이 아무리 커도 잔차의 모양을 정면으로 다루어야 한다. 변환하거나, 부트스트랩(bootstrap)으로 비대칭 구간을 만들거나, 분위수회귀처럼 대칭을 강요하지 않는 방법으로 가는 것이 옳다.
2. 네 진단이 같은 자료와 모형을 쓴다¶
이 페이지의 진단은 모두 아래 자료와 모형 하나를 놓고 수행한다.
보기 1. 진단에 쓸 모형 준비. 이 페이지의 자료는 \(x_i \sim U(0,10)\), \(y_i = 2 + 1.5x_i + \varepsilon_i\), \(\varepsilon_i \sim N(0,\,\sigma_i^2)\)이며 \(\sigma_i = 0.5 + 0.35x_i\)로 \(x\)에 따라 달라진다. 곧 선형성과 정규성은 성립하고 등분산성(homoscedasticity)만 깨진 자료다.
(1) 단순회귀(simple linear regression)의 기울기 추정량이 \(\hat\beta_1 = \beta_1 + \sum_i c_i \varepsilon_i\), \(c_i = (x_i - \bar x)/S_{xx}\)로 적힘을 보이고, 분산이 관측마다 달라도 \(E[\hat\beta_1] = \beta_1\)임을 보이시오. 또 참 분산이 \(\sum_i c_i^2 \sigma_i^2\)이며 OLS가 보고하는 \(s^2/S_{xx}\)와 일치하지 않음을 보이시오.
(2) 모형을 적합하고, \(\sigma_i\)를 아는 상태에서 참 표준오차를 계산해 OLS가 보고한 표준오차와 견주시오.
풀이
(1) 해석적으로. 기울기 추정량은
이다. \(\sum_i (x_i - \bar x) = 0\)이므로 분자의 \(\bar y\)는 사라지고 \(\hat\beta_1 = \sum_i c_i y_i\)로 줄어든다. 여기서
이다. 이제 \(y_i = \beta_0 + \beta_1 x_i + \varepsilon_i\)를 넣으면 두 항등식이 상수항과 기울기를 각각 걷어 내어
를 얻는다. \(\hat\beta_1\)은 참값에 오차의 고정된 선형결합을 더한 것이다.
기댓값을 취한다. \(x\)를 고정해 놓고 보면 \(c_i\)는 상수이고 \(E[\varepsilon_i] = 0\)이므로
이다. 이 계산 어디에도 \(\sigma_i\)가 들어오지 않았다. 분산이 관측마다 제각각이어도 불편성은 그대로다. 필요한 것은 \(E[\varepsilon_i] = 0\) 하나뿐이다.
분산은 사정이 다르다. 오차가 독립이면
이다. 모든 \(\sigma_i\)가 같은 \(\sigma\)라면 \(\sum_i c_i^2 = S_{xx}/S_{xx}^2 = 1/S_{xx}\)이므로 익숙한 \(\sigma^2/S_{xx}\)로 돌아간다. 그러나 \(\sigma_i\)가 다르면 가중평균이 되고, 이때 OLS가 보고하는 \(s^2/S_{xx}\)는 \(\sigma_i^2\)을 하나의 수로 뭉갠 값이라 참 분산과 어긋난다. 어느 쪽으로 어긋날지는 \(\sigma_i^2\)과 \(c_i^2\)의 상관으로 정해진다. 산포가 큰 관측이 \(x\)의 양끝(곧 \(c_i^2\)이 큰 자리)에 몰리면 보고값이 참값보다 작아진다. 다만 이 말은 어림이다 — 부호를 정하는 것은 정확히 \(\operatorname{Cov}\big((x-\bar x)^2,\ \sigma_i^2\big)\) 의 부호이고, 연습문제 12 가 둘이 같지 않음을 보인다.
(2) 수치적으로. 이 자료는 \(\sigma_i\)를 우리가 지어낸 것이므로 참 분산을 직접 계산할 수 있다.
import numpy as np
import pandas as pd
import statsmodels.api as sm
rng = np.random.default_rng(7)
n = 120
# X는 균등, Y는 X에 선형으로 의존하되 오차의 분산이 X와 함께 커진다.
# 이렇게 두면 선형성은 성립하고 등분산성만 깨져, 각 진단이 무엇을
# 잡아내고 무엇을 놓치는지 구분해 볼 수 있다.
X = rng.uniform(0, 10, n)
Y = 2.0 + 1.5 * X + rng.normal(0, 0.5 + 0.35 * X, n)
df = pd.DataFrame({"X": X, "Y": Y})
model = sm.OLS(Y, sm.add_constant(X)).fit()
residuals = model.resid
fitted = model.fittedvalues
print(f"beta_hat = {model.params.round(4)}")
print(f"R^2 = {model.rsquared:.4f}")
출력:
beta_hat = [1.5933 1.5317]
R^2 = 0.7813
기울기 추정값 \(1.5317\)이 참값 \(1.5\)에 가깝다. 이제 두 항등식과 두 표준오차를 확인한다.
# c_i = (x_i - xbar) / S_xx 가 가중치다. sum c_i = 0, sum c_i x_i = 1 을 먼저 본다.
Sxx = ((X - X.mean()) ** 2).sum()
c = (X - X.mean()) / Sxx
print(f"S_xx = {Sxx:.4f}")
print(f"sum c_i = {c.sum():+.2e} (0 이어야 한다)")
print(f"sum c_i x_i = {(c * X).sum():.10f} (1 이어야 한다)")
# 이 자료는 sigma_i 를 우리가 안다. 참 표준오차를 직접 계산할 수 있다.
sigma_i = 0.5 + 0.35 * X
se_true = np.sqrt((c ** 2 * sigma_i ** 2).sum())
se_ols = model.bse[1]
print(f"\n참 SE(b1) = sqrt(sum c_i^2 sigma_i^2) = {se_true:.6f}")
print(f"OLS 보고 SE = s/sqrt(S_xx) = {se_ols:.6f}")
print(f"보고값이 참값의 {se_ols / se_true:.1%}")
# 같은 X 를 고정한 채 오차만 다시 뽑아 변동을 직접 재 본다.
sim = np.random.default_rng(123)
b1 = 1.5 + (sim.normal(0, 1, (20000, n)) * sigma_i * c).sum(axis=1)
print(f"\n모의 20000회: 평균 {b1.mean():.4f}, 표준편차 {b1.std(ddof=1):.6f}")
출력:
S_xx = 1004.3944
sum c_i = -2.78e-17 (0 이어야 한다)
sum c_i x_i = 1.0000000000 (1 이어야 한다)
참 SE(b1) = sqrt(sum c_i^2 sigma_i^2) = 0.082525
OLS 보고 SE = s/sqrt(S_xx) = 0.074595
보고값이 참값의 90.4%
모의 20000회: 평균 1.5009, 표준편차 0.082505
유도한 식이 맞는다. 두 항등식이 각각 \(-2.78 \times 10^{-17}\)과 \(1.0000000000\)으로 기계 정밀도까지 성립하고, 공식이 준 참 표준오차 \(0.082525\)가 모의실험의 표준편차 \(0.082505\)와 소수점 넷째 자리까지 같다. 모의평균 \(1.5009\)가 참값 \(1.5\) 근처인 것이 불편성이며, 남은 \(0.0009\)는 \(0.0825/\sqrt{20000} = 0.00058\) 크기의 몬테카를로(Monte Carlo) 오차로 설명된다.
보고된 표준오차는 참값의 \(90.4\%\)다. 추정값 자체는 멀쩡한데 그 정밀도를 \(10\%\) 과장해 말하는 셈이다. 신뢰구간이 그만큼 좁아지고 \(t\) 값이 그만큼 커진다. 이 페이지가 뒤이어 돌릴 정규성 검정들은 이 문제를 거의 잡아내지 못한다. 오차를 정규분포에서 뽑았으므로 잔차가 정규라고 읽기 쉽기 때문이다(연습문제 15 가 이 표어를 다듬는다 — 분산이 관측마다 다르면 모아 놓은 잔차는 비정규가 된다). 이분산과 비정규성은 별개의 가정이고, 별개의 진단이 필요하다는 것이 이 자료를 이렇게 만든 이유다.
형식적 검정 자체는 14장이 맡는다. 여기서는 회귀 잔차에 적용하는 쪽을 본다. 각 검정의 유도와 서로 견줌은 14.4절 샤피로–윌크 검정을 비롯한 14.4절 네 쪽에, 표본이 크면 사소한 이탈에도 기각된다는 성질은 14.5절 표본크기가 검정력에 미치는 영향에 있다.
3. 잔차의 히스토그램¶
정규성을 평가하는 가장 간단한 방법 하나는 잔차의 히스토그램을 그리는 것이다. 이 시각적 점검으로 잔차가 대략 정규분포를 따르는지 판단할 수 있다.
절차는 이렇다.
- 선형회귀 모형 적합: 모형에서 잔차를 얻는다.
- 히스토그램 그리기: 잔차로 히스토그램을 그린다.
- 그림 평가: 히스토그램의 모양을 정규분포와 비교한다.
예시는 이렇다.
보기 2. 잔차의 히스토그램. 보기 1의 잔차로 히스토그램을 그리고 정규곡선을 겹친다.
(1) 그림에서 읽히는 것을 왜도·첨도(kurtosis)와 함께 적으시오. 겹친 정규곡선의 중심이 왜 계산할 것도 없이 0인지도 밝히시오.
(2) 이 그림이 구조적으로 보여 줄 수 없는 것 둘을 들고, 수치로 확인하시오.
풀이
(1) 먼저 중심에 대하여. 상수항이 있는 OLS의 정규방정식(normal equations) 가운데 첫 줄이
이다. 잔차가 설계행렬의 모든 열과 직교해야 하는데 상수항 열이 \(\mathbf 1\)이기 때문이다. 그러므로 잔차의 평균은 자료가 어떻게 생겼든 정확히 0이다. 히스토그램이 0을 중심으로 서 있는 것은 정규성의 증거가 아니라 적합이 강제한 항등식이며, 이 그림으로는 모형의 편향을 영원히 볼 수 없다는 뜻이기도 하다.
import matplotlib.pyplot as plt
import numpy as np
from scipy.stats import norm, skew, kurtosis
plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False
# 정규성은 자료가 아니라 잔차에 요구되는 가정이다. 게다가 계수 추정의
# 불편성에는 필요 없고, 작은 표본에서 t 검정과 신뢰구간을 쓰기 위해 필요하다.
residuals = model.resid
fig, ax = plt.subplots(figsize=(8, 5))
ax.hist(residuals, bins=30, density=True, edgecolor='black', alpha=0.7, label='Residuals')
# 잔차의 평균과 표준편차로 만든 정규곡선을 겹쳐 그린다.
x = np.linspace(residuals.min(), residuals.max(), 100)
ax.plot(x, norm.pdf(x, loc=residuals.mean(), scale=residuals.std()),
'r-', linewidth=2, label='Normal PDF')
ax.set_xlabel('Residuals')
ax.set_ylabel('Density')
ax.set_title('Histogram of Residuals with Normal Overlay')
ax.legend()
plt.show()
# 그림이 말해 주지 않는 수치들
print(f"잔차 평균 = {residuals.mean():+.3e} (정규방정식이 강제한다)")
print(f"왜도 = {skew(residuals):+.4f}")
print(f"첨도 = {kurtosis(residuals, fisher=False):.4f}")
print(f"겹친 곡선의 척도 residuals.std() = {residuals.std():.4f}")
print(f"회귀의 sigma_hat = {np.sqrt(model.mse_resid):.4f}")
# 계급 수를 바꾸면 가장 높은 막대의 높이가 얼마나 달라지는가
for b in (10, 30, 60):
h, _ = np.histogram(residuals, bins=b, density=True)
print(f"bins={b:>3}: 최고 막대 밀도 {h.max():.4f}")
# 이 그림이 전혀 보지 못하는 것: 오차의 분산이 x 와 함께 커진다는 사실
lo, hi = residuals[X < 5], residuals[X >= 5]
print(f"\nX<5 쪽 잔차 표준편차 = {lo.std(ddof=1):.4f} (n={lo.size})")
print(f"X>=5 쪽 잔차 표준편차 = {hi.std(ddof=1):.4f} (n={hi.size})")
출력:
잔차 평균 = +3.523e-15 (정규방정식이 강제한다)
왜도 = -0.0508
첨도 = 3.5595
겹친 곡선의 척도 residuals.std() = 2.3443
회귀의 sigma_hat = 2.3641
bins= 10: 최고 막대 밀도 0.2459
bins= 30: 최고 막대 밀도 0.3136
bins= 60: 최고 막대 밀도 0.3320
X<5 쪽 잔차 표준편차 = 1.3132 (n=57)
X>=5 쪽 잔차 표준편차 = 3.0126 (n=63)

읽히는 것. 왜도 \(-0.0508\)은 0에 사실상 붙어 있어 좌우 비대칭이 없다. 첨도는 \(3.5595\)로 정규분포의 \(3\)보다 크고, 그것이 그림에 그대로 나타난다. 0을 사이에 둔 두 막대가 밀도 \(0.314\)와 \(0.258\)로 겹친 정규곡선의 꼭대기 \(0.170\)보다 훨씬 높고, 대신 \(-2.3\)과 \(+1.8\) 부근의 막대는 \(0.037\)로 곡선의 \(0.11\)–\(0.13\) 아래로 꺼지며, \(\pm 6\) 바깥에 다시 막대가 선다. 가운데가 뾰족하고 어깨가 꺼지고 꼬리가 두꺼운 전형적인 고첨 모양이며, 보기 6의 자크–베라가 바로 이 \(3.5595\)를 재게 된다. 잔차 평균은 \(3.5 \times 10^{-15}\)로 부동소수점 오차만 남았다.
겹친 곡선의 척도에 함정이 하나 있다. residuals.std()는 ddof=0이라 \(\sqrt{\text{SSE}/n} = 2.3443\)을 주는데, 회귀의 표준오차 추정값은 \(\hat\sigma = \sqrt{\text{SSE}/(n-2)} = 2.3641\)이다. \(n = 120\)에서 차이가 \(0.8\%\)뿐이라 눈에 띄지 않지만, \(n\)이 작으면 벌어진다.
(2) 이 그림이 못 보는 것 둘.
첫째, 계급폭에 휘둘린다. 같은 잔차인데 bins를 \(10, 30, 60\)으로 바꾸면 최고 막대의 밀도가 \(0.246 \to 0.314 \to 0.332\)로 달라진다. "뾰족하다"는 인상의 상당 부분이 자료가 아니라 계급 수에서 온다. 보기 3의 Q-Q 그림에는 이 자유도가 아예 없다.
둘째, 이분산을 통째로 가린다. 이 자료는 \(\sigma_i = 0.5 + 0.35x_i\)로 만들어 \(x\)가 \(0.04\)에서 \(9.96\)까지 가는 동안 오차의 표준편차가 \(0.51\)에서 \(3.98\)로 일곱 배 넘게 커진다. 실제로 잔차를 \(x < 5\)와 \(x \ge 5\)로 갈라 재면 표준편차가 \(1.3132\)와 \(3.0126\)으로 \(2.3\)배 차이 난다. 그런데 히스토그램은 이 둘을 한 통에 쏟아부은 뒤 모양만 보므로 그런 일이 있었다는 흔적조차 남지 않는다. 서로 다른 정규분포들을 섞으면 정규보다 뾰족하고 꼬리가 두꺼운 분포가 되는데, 위에서 본 첨도 \(3.56\)이 바로 그 섞임의 부산물이다.
정리하면 이 히스토그램은 "대략 종 모양"이라는 결론만 줄 수 있고, 그것이 이 그림이 할 수 있는 전부다. 중심은 볼 필요가 없고, 뾰족함은 계급 수에 흔들리며, 등분산은 보이지 않는다.
해석은 이렇다.
- 정규성: 히스토그램이 0을 중심으로 대칭인 종 모양 곡선을 닮아야 한다.
- 비정규성: 히스토그램이 치우쳐 있거나, 봉우리가 여럿이거나(다봉), 지나치게 평평하거나(저첨), 지나치게 뾰족하면(고첨) 잔차가 정규분포를 따르지 않을 수 있다.
4. Q-Q 그림(분위수–분위수 그림)¶
Q-Q 그림은 정규성을 평가하는 더 정밀한 시각적 도구이다. 잔차의 분위수(quantile)를 표준정규분포의 분위수와 비교한다.
작동 방식은 이렇다.
- 잔차를 정렬하여 경험적 분위수를 계산한다.
- 표준정규분포에서 대응하는 이론적 분위수를 계산한다.
- 경험적 분위수(\(y\)축)를 이론적 분위수(\(x\)축)에 대해 그린다.
- 잔차가 정규분포를 따르면 점들이 기준선을 따라 놓인다.
절차는 이렇다.
- 선형회귀 모형 적합: 잔차를 얻는다.
- Q-Q 그림 그리기: 잔차로 그림을 그린다.
- 그림 평가: 잔차가 기준선을 따르는지 확인한다.
예시는 이렇다.
보기 3. Q-Q 그림. scipy.stats.probplot은 그림만 그리는 것이 아니라 기준선의 기울기·절편(intercept)과 점들의 상관계수 \(r\)도 돌려준다.
(1) 이 기준선의 절편이 왜 반드시 0인지 밝히시오.
(2) 그림을 그려 꼬리에서 무엇이 보이는지 적고, 기울기와 \(r\)이 각각 무엇을 재는 수인지 말하시오.
풀이
(1) 해석적으로. probplot의 기준선은 정렬된 잔차 \(e_{(1)} \le \cdots \le e_{(n)}\)를 이론분위수 \(m_1, \ldots, m_n\)에 최소제곱으로 회귀시킨 직선이다. 상수항이 있는 단순회귀의 절편은 언제나
이다. 두 항이 모두 사라진다. \(\bar e = 0\)은 보기 2에서 본 정규방정식 \(\sum_i e_i = 0\) 때문이고, \(\bar m = 0\)은 이론분위수가 표준정규의 것이라 \(m_i = -m_{n+1-i}\)로 대칭이기 때문이다. 따라서
이며, 자료가 정규든 아니든 그렇다. Q-Q 그림의 기준선이 원점을 지나는 것은 정규성의 증거가 아니다. 읽을 것은 기울기와 점들이 선에서 벗어나는 모양뿐이다.
(2) 수치적으로.
import scipy.stats as stats
import matplotlib.pyplot as plt
plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False
residuals = model.resid
# Q-Q 그림이 히스토그램보다 낫다. 계급 수에 휘둘리지 않고, 정규에서
# 벗어나는 자리가 꼬리인지 가운데인지까지 알려 준다.
fig, ax = plt.subplots(figsize=(6, 6))
stats.probplot(residuals, dist="norm", plot=ax)
ax.set_title('Q-Q Plot of Residuals')
plt.show()
# probplot 은 그림만 그리는 것이 아니라 기준선의 계수도 돌려준다.
(osm, osr), (slope, intercept, r) = stats.probplot(residuals, dist="norm")
print(f"기준선 기울기 = {slope:.4f} (sigma 의 추정값)")
print(f"기준선 절편 = {intercept:+.2e} (0 이어야 한다)")
print(f"상관계수 r = {r:.6f}, r^2 = {r ** 2:.6f}")
# 양 끝 두 점이 얼마나 바깥에 있는가
print(f"\n가장 작은 잔차 {osr[0]:+.3f} (기준선 예측 {slope * osm[0] + intercept:+.3f})")
print(f"가장 큰 잔차 {osr[-1]:+.3f} (기준선 예측 {slope * osm[-1] + intercept:+.3f})")
출력:
기준선 기울기 = 2.3627 (sigma 의 추정값)
기준선 절편 = +3.10e-15 (0 이어야 한다)
상관계수 r = 0.990542, r^2 = 0.981173
가장 작은 잔차 -7.036 (기준선 예측 -5.970)
가장 큰 잔차 +6.518 (기준선 예측 +5.970)

절편이 \(3.10 \times 10^{-15}\)다. (1)에서 유도한 대로 0이며, 남은 것은 부동소수점 찌꺼기뿐이다.
기울기 \(2.3627\)은 \(\sigma\)의 추정값이다. 표준정규의 분위수를 \(\sigma\)배 늘린 것이 \(N(0,\sigma^2)\)의 분위수이므로 기울기가 곧 척도다. 회귀의 \(\hat\sigma = 2.3641\), 잔차의 표본표준편차 \(s_e = 2.3541\)과 나란히 두면 셋이 서로 \(0.4\%\) 안에 있다. 셋 다 같은 것을 다른 방식으로 재고 있다.
꼬리에서 읽히는 것. 가장 작은 잔차가 \(-7.036\)인데 기준선은 그 자리에 \(-5.970\)을 예측한다. 가장 큰 잔차는 \(+6.518\)인데 예측은 \(+5.970\)이다. 양쪽 끝이 모두 선 바깥으로 벌어진다 — 왼쪽은 아래로, 오른쪽은 위로. 이것이 S자 패턴이고 두꺼운 꼬리의 표시이며, 보기 2의 첨도 \(3.5595\)와 같은 말이다. 한쪽만 벌어졌다면 왜도였을 것이다.
\(r\)은 "점들이 얼마나 직선인가"를 재는 수다. 여기서 \(r = 0.990542\), \(r^2 = 0.981173\)이다. 이 수가 중요한 것은 정규성 검정 자체가 이 상관계수로 만들어지기 때문이다. 분위수 자리를 \((i - 3/8)/(n + 1/4)\)로 두고 잰 \(r^2\)이 샤피로–프랜시아 통계량이고(이 잔차에서 \(0.981690\)), 이론분위수 대신 순서통계량의 최량선형불편 가중치를 쓰면 보기 4의 샤피로–윌크가 된다(\(W = 0.983570\)). probplot이 쓰는 분위수 자리는 또 조금 다르지만 셋이 모두 \(0.981\)–\(0.984\) 안에 있다. 그림을 보는 일과 검정을 돌리는 일이 같은 양을 보고 있는 셈이다.
해석은 이렇다.
- 정규성: 점들이 기준선을 가깝게 따르면 잔차가 정규분포를 따를 가능성이 높다.
- 비정규성: 선에서 벗어나는 모습, 특히 꼬리에서의 이탈은 정규성에서 벗어났음을 나타낸다.
Q-Q 그림의 흔한 패턴은 이렇다.
| 패턴 | 의미 |
|---|---|
| 점들이 선을 따름 | 정규분포 |
| S자 곡선 | 두꺼운 꼬리(고첨) |
| 뒤집힌 S자 | 얇은 꼬리(저첨) |
| 양쪽 끝이 위로 휨 | 오른쪽으로 치우친 분포 |
| 양쪽 끝이 아래로 휨 | 왼쪽으로 치우친 분포 |
5. 샤피로–윌크 검정¶
샤피로–윌크 검정은 잔차의 정규성을 검정하기 위해 특별히 고안된 통계검정이다. 정규성에서의 이탈을 탐지하는 가장 강력한 검정 가운데 하나이다.
가설은 이렇다.
- \(H_0\): 잔차가 정규분포를 따른다
- \(H_a\): 잔차가 정규분포를 따르지 않는다
검정통계량:
여기서 \(x_{(i)}\)는 정렬된 잔차이고 \(a_i\)는 표준정규분포 순서통계량의 기댓값에서 생성된 상수이다.
절차는 이렇다.
- 선형회귀 모형 적합: 잔차를 얻는다.
- 샤피로–윌크 검정 수행: 잔차에 검정을 적용한다.
- 결과 해석: p 값이 유의하면(보통 < 0.05) 잔차가 정규분포를 따르지 않음을 시사한다.
예시는 이렇다.
보기 4. 샤피로–윌크 검정. 가중치 \(a_1, \ldots, a_n\)은 \(\sum_i a_i = 0\), \(\sum_i a_i^2 = 1\)로 정규화되어 있고 \(a_i = -a_{n+1-i}\)로 반대칭이다.
(1) \(0 \le W \le 1\)임을 보이고, \(W = 1\)이 되는 것은 정렬된 표본이 \(a_i\)의 1차함수일 때뿐임을 보이시오. 그러므로 \(W\)는 작을 때만 뜻이 있다.
(2) 잔차에 검정을 돌리고, (1)의 등호에 가까운 자료와 멀리 떨어진 자료를 일부러 만들어 \(W\)가 어디에 놓이는지 확인하시오.
풀이
(1) 해석적으로. 정렬된 표본을 \(x_{(1)} \le \cdots \le x_{(n)}\), 그 평균을 \(\bar x\)라 하자. \(\sum_i a_i = 0\)이므로 분자 안의 합에서 \(\bar x\)를 공짜로 빼 넣을 수 있다.
여기에 코시–슈바르츠 부등식을 쓴다.
마지막 등식은 \(\sum_i a_i^2 = 1\)과, 제곱합(sum of squares)이 정렬 순서에 무관하다는 사실에서 나온다. 양변을 \(\sum_i (x_i - \bar x)^2\)로 나누면 바로
이다. 분자가 제곱이고 분모가 양수이므로 \(W \ge 0\)도 당연하다.
등호 조건이 이 검정의 뜻을 전부 말해 준다. 코시–슈바르츠에서 등호는 두 벡터가 평행할 때, 곧 어떤 \(\lambda\)에 대해
일 때만 성립한다. \(a_i\)는 정규분포의 순서통계량 기댓값에서 만든 수이므로, 이 조건은 정렬된 표본이 정규 점수 위에 한 치도 어긋남 없이 올라앉았다는 뜻이다. 보기 3의 Q-Q 그림에서 점들이 완벽한 직선을 이루는 상황이 바로 그것이다.
따라서 \(W\)가 1에 가깝다는 것은 "정규성의 증거"라기보다 상한에 붙어 있다는 말에 가깝다. 어떤 표본이든 \(W \le 1\)이므로 큰 값은 정보가 적고, 1에서 얼마나 떨어졌는지가 정보다. \(W\)는 작을 때만 뜻이 있는 통계량이다.
(2) 수치적으로.
import numpy as np
from scipy.stats import shapiro, norm
residuals = model.resid
# Shapiro-Wilk 는 작은 표본에서 검정력이 좋다. 다만 표본이 수천을 넘으면
# 실질적으로 무시할 만한 이탈에도 유의하게 나오므로 그림과 함께 읽는다.
stat, p_value = shapiro(residuals)
print(f'Shapiro-Wilk statistic: {stat:.4f}')
print(f'Shapiro-Wilk p-value: {p_value:.4f}')
if p_value > 0.05:
print('No significant evidence of non-normality (fail to reject H0)')
else:
print('Significant evidence of non-normality (reject H0)')
# (1) 의 등호 조건을 직접 만들어 본다. 정렬된 표본을 정규점수 그 자체로 두면
# x_(i) - xbar 가 a_i 에 비례하는 상황에 가장 가까워진다.
i = np.arange(1, 121)
perfect = norm.ppf((i - 0.375) / (120 + 0.25))
print(f'\n정규점수 격자 자체의 W = {shapiro(perfect).statistic:.6f}')
# 반대쪽 극단: 치우친 분포에서는 W 가 1 에서 멀어진다.
expo = np.sort(np.random.default_rng(0).exponential(size=120))
print(f'지수분포 표본의 W = {shapiro(expo).statistic:.6f}, '
f'p = {shapiro(expo).pvalue:.2e}')
print(f'실제 잔차의 W = {stat:.6f}')
출력:
Shapiro-Wilk statistic: 0.9836
Shapiro-Wilk p-value: 0.1524
No significant evidence of non-normality (fail to reject H0)
정규점수 격자 자체의 W = 0.999275
지수분포 표본의 W = 0.842123, p = 5.45e-10
실제 잔차의 W = 0.983570
\(W\)가 세 자료에서 \(0.8421 < 0.9836 < 0.9993 \le 1\)로 늘어선다. 유도한 상한을 넘는 값이 하나도 없고, 등호에 가장 가까운 것이 정규 점수 격자 자체다. 그 값이 정확히 1이 아니라 \(0.999275\)인 데에는 이유가 있다. 격자를 \((i-3/8)/(n+1/4)\)로 잡았는데 \(a_i\)는 그 자리가 아니라 순서통계량의 공분산까지 넣은 최량선형불편 가중치라서, 두 벡터가 거의 평행하되 완전히 평행하지는 않기 때문이다. 어느 격자를 써도 \(W\)가 1에 \(0.001\) 안으로 붙는다는 것이 요점이다.
잔차의 \(W = 0.9836\), \(p = 0.1524\)로 정규성을 기각하지 못한다. 오차를 정규분포에서 뽑았으므로 잔차가 정규라고 읽기 쉬운 자리인데, 연습문제 15 가 이 비기각을 제2종 오류로 판정한다. 보기 1에서 본 이분산은 각 오차의 분포 모양이 아니라 그 폭을 건드린 것이고, 샤피로–윌크는 폭에는 눈이 없다. 이분산과 비정규성은 별개의 가정이며 별개의 검정이 필요하다.
반대편 끝의 지수분포(exponential distribution) 표본이 \(W = 0.8421\), \(p = 5 \times 10^{-10}\)이다. \(W\)가 1에서 \(0.16\)만 떨어져도 \(n = 120\)에서는 압도적인 증거가 된다. \(W\)의 눈금이 얼마나 촘촘한지 보여 주는 수이며, 표본이 더 커지면 \(0.99\)도 기각된다.
해석은 이렇다.
- p 값 > 0.05: 비정규성의 유의한 증거가 없다. 잔차를 정규분포를 따르는 것으로 볼 수 있다.
- p 값 < 0.05: 비정규성의 유의한 증거가 있으며 가정 위배 가능성을 나타낸다.
참고: 대부분의 구현에서 샤피로–윌크 검정은 표본크기 \(n \leq 5000\)으로 제한된다.
6. 앤더슨–달링 검정¶
앤더슨–달링 검정은 분포의 꼬리에서의 이탈에 특히 민감한 통계검정으로, 잔차의 정규성 확인에 좋은 선택이다.
핵심 특징: 앤더슨–달링 검정은 콜모고로프–스미르노프 검정 같은 다른 검정에 비해 분포의 꼬리에 있는 관측값에 더 큰 가중치를 주므로 꼬리에서의 정규성 이탈을 더 잘 탐지한다.
검정통계량:
여기서 \(F\)는 가정한 정규분포의 누적분포함수(cumulative distribution function)이고 \(x_{(i)}\)는 정렬된 잔차이다.
절차는 이렇다.
- 선형회귀 모형 적합: 잔차를 얻는다.
- 앤더슨–달링 검정 수행: 잔차에 검정을 적용한다.
- 결과 해석: 검정이 통계량과 여러 유의수준에서의 임계값을 준다.
예시는 이렇다.
보기 5. 앤더슨–달링 검정
(1) 위 \(A^2\)의 정의식을 그대로 구현해 scipy.stats.anderson의 값과 맞추시오. 표준화에 쓸 척도를 ddof=0으로 잡을 때와 ddof=1로 잡을 때 어느 쪽이 맞는가.
(2) 통계량과 임계값을 견주어 판정하고, 같은 잔차에서 샤피로–윌크(\(p = 0.1524\))와 결론이 갈리는 까닭을 수치로 밝히시오.
풀이
(1) 정의대로 계산한다. \(A^2\)은 적분꼴로 쓰면
이고, 이것을 순서통계량으로 정리한 것이 위의 합 공식이다. 분모의 \(F(1-F)\)가 결정적이다. 꼬리로 갈수록 \(F(1-F) \to 0\)이라 같은 크기의 불일치에 훨씬 큰 가중치가 붙는다. 콜모고로프–스미르노프는 이 가중치가 없어 분포의 가운데만 들여다본다.
모수를 모르므로 \(F\)에는 \(\hat F(x) = \Phi\big((x - \bar e)/s\big)\)를 넣는데, 여기서 척도를 무엇으로 잡느냐가 값을 바꾼다. scipy는 np.std(x, ddof=1)을 쓴다. 먼저 검정을 그대로 돌려 둔다.
from scipy.stats import anderson
residuals = model.resid
# Anderson-Darling 은 꼬리 쪽 이탈에 특히 민감하다. p 값 대신 유의수준별
# 임계값을 돌려주므로, 통계량과 임계값을 견주어 판단한다.
result = anderson(residuals, dist='norm')
print(f'Anderson-Darling statistic: {result.statistic:.4f}')
print()
for i in range(len(result.critical_values)):
sig_level = result.significance_level[i]
crit_value = result.critical_values[i]
status = 'REJECT' if result.statistic > crit_value else 'Fail to reject'
print(f'At {sig_level}% significance: Critical value = {crit_value:.4f} → {status}')
출력:
Anderson-Darling statistic: 0.9338
At 15.0% significance: Critical value = 0.5580 → REJECT
At 10.0% significance: Critical value = 0.6360 → REJECT
At 5.0% significance: Critical value = 0.7630 → REJECT
At 2.5% significance: Critical value = 0.8900 → REJECT
At 1.0% significance: Critical value = 1.0590 → Fail to reject
이제 이 \(0.9338\)을 정의식으로 재현한다.
import numpy as np
from scipy.stats import norm, anderson, shapiro
residuals = model.resid
n = len(residuals)
xs = np.sort(residuals)
# 척도를 ddof=1 로 잡아야 scipy 와 맞는다. ddof=0 을 쓰면 값이 달라진다.
for ddof in (0, 1):
F = norm.cdf((xs - xs.mean()) / xs.std(ddof=ddof))
i = np.arange(1, n + 1)
A2 = -n - np.sum((2 * i - 1) / n * (np.log(F) + np.log(1 - F[::-1])))
print(f"정의대로 계산 (ddof={ddof}): A^2 = {A2:.12f}")
print(f"scipy.stats.anderson : A^2 = {anderson(residuals).statistic:.12f}")
# 왜 꼬리에 민감한가: 가장 바깥 두 점이 기대보다 얼마나 더 바깥인가
F = norm.cdf((xs - xs.mean()) / xs.std(ddof=1))
print(f"\n가장 작은 잔차의 F = {F[0]:.5f} (기대 1/(n+1) = {1 / (n + 1):.5f})")
print(f"가장 큰 잔차의 1 - F = {1 - F[-1]:.5f}")
print(f"log F 의 끝항 = {np.log(F[0]):.3f}")
# 양 끝 두 개씩을 덜어 내면 두 통계량이 어떻게 움직이는가
trim = xs[2:-2]
print(f"\n{'':14}{'전체':>12}{'양끝 2개씩 제거':>18}")
print(f"{'A^2':14}{anderson(residuals).statistic:>12.4f}{anderson(trim).statistic:>18.4f}")
print(f"{'Shapiro-Wilk W':14}{shapiro(residuals).statistic:>12.4f}{shapiro(trim).statistic:>18.4f}")
출력:
정의대로 계산 (ddof=0): A^2 = 0.923067249972
정의대로 계산 (ddof=1): A^2 = 0.933839718132
scipy.stats.anderson : A^2 = 0.933839718132
가장 작은 잔차의 F = 0.00140 (기대 1/(n+1) = 0.00826)
가장 큰 잔차의 1 - F = 0.00281
log F 의 끝항 = -6.571
전체 양끝 2개씩 제거
A^2 0.9338 0.7793
Shapiro-Wilk W 0.9836 0.9821
ddof=1이 맞는다. 정의대로 계산한 \(0.933839718132\)가 scipy의 값과 소수점 열두째 자리까지 같다. ddof=0을 쓰면 \(0.923067\)로 \(1.2\%\) 작아진다. 척도를 줄이면 표준화된 값이 밖으로 밀려 꼬리 항이 커질 것 같은데 실제로는 반대로 움직인다. 그 까닭은 \(A^2\) 이 꼬리에만 사는 양이 아니기 때문이다(연습문제 13 이 최솟값의 자리까지 짚는다). 공식을 손으로 옮길 때 가장 자주 틀리는 자리다.
(2) 판정과 두 검정의 불일치. 통계량 \(0.9338\)을 임계값과 견주면 \(15\%\), \(10\%\), \(5\%\), \(2.5\%\) 수준에서 모두 기각하고 \(1\%\) 수준(\(1.059\))에서만 기각하지 못한다. 곧 앤더슨–달링은 \(\alpha = 0.05\)에서 정규성을 기각한다. 같은 잔차에서 샤피로–윌크는 \(p = 0.1524\)로 기각하지 못했다.
불일치의 원인은 양 끝 두 점에 있다. 가장 작은 잔차의 \(\hat F\)가 \(0.00140\)인데, \(n = 120\)에서 최솟값의 \(F\)는 평균적으로 \(1/(n+1) = 0.00826\)쯤에 있어야 한다. 기대보다 여섯 배나 바깥이다. \(A^2\)의 합에는 \(\log \hat F\)가 그대로 들어가므로 이 점이 \(-6.571\)을 기여한다. 같은 일이 오른쪽 끝에서도 일어나 \(1 - \hat F = 0.00281\)이다.
양 끝 두 개씩, 곧 \(120\)개 가운데 \(4\)개를 덜어 내 보면 차이가 분명해진다. \(A^2\)이 \(0.9338\)에서 \(0.7793\)으로 \(17\%\) 떨어지는 반면 \(W\)는 \(0.9836\)에서 \(0.9821\)로 사실상 움직이지 않는다. \(A^2\)은 네 점이 거의 만들고 있었고 \(W\)는 \(120\)개를 고르게 본다.
어느 쪽이 옳은가. 오차를 정규분포에서 뽑았으니 참말은 "정규"이고 \(A^2\) 의 기각은 제1종 오류라고 읽기 쉽다. 그런데 그 읽기가 틀렸다는 것을 연습문제 15 가 보인다 — 오차를 정규에서 뽑았어도 분산이 관측마다 다르면 모아 놓은 잔차의 비조건부 분포는 자동으로 비정규가 되므로(\(\sigma\) 가 섞인 정규혼합의 첨도가 \(4.74\) 다) \(H_0\) 이 애초에 거짓이고, 앤더슨–달링의 기각은 옳은 기각, 샤피로–윌크의 비기각이 제2종 오류다. 아래 읽기는 그 교정을 염두에 두고 보아야 한다. 다만 어느 쪽이든 이것을 앤더슨–달링의 결함이라 부를 수는 없다. \(5\%\) 수준의 검정은 정규자료에서도 스무 번에 한 번 기각하도록 만들어진 것이고, 이번이 그 한 번이었을 뿐이다. 교훈은 다른 데 있다. 민감한 자리가 서로 다른 검정들을 같은 자료에 돌리면 결론이 갈리는 것이 정상이며, 그래서 어느 하나의 p 값으로 가정을 판정하지 않는다.
해석은 이렇다.
- 검정통계량이 주어진 유의수준의 임계값보다 작으면 \(H_0\)을 기각하지 못한다. 잔차가 정규성과 일치한다.
- 검정통계량이 임계값보다 크면 \(H_0\)을 기각한다. 그 유의수준에서 잔차가 정규분포를 따르지 않는다.
7. 자크–베라 검정¶
자크–베라 검정은 잔차의 왜도와 첨도가 정규분포의 것과 일치하는지를 검정하는 적합도 검정(goodness-of-fit test)이다.
검정통계량:
여기서
- \(n\)은 표본크기,
- \(S\)는 표본왜도(정규분포에서는 0이어야 한다),
- \(K\)는 표본첨도(정규분포에서는 3이어야 한다)이다.
\(H_0\)(정규성) 아래에서 \(JB \sim \chi^2_2\)이다.
절차는 이렇다.
- 선형회귀 모형 적합: 잔차를 얻는다.
- 자크–베라 검정 수행: 잔차에 검정을 적용한다.
- 결과 해석: p 값이 유의하면 왜도나 첨도의 측면에서 비정규성을 나타낸다.
예시는 이렇다.
보기 6. 자크–베라 검정. 잔차의 왜도가 \(S = -0.0508\), 첨도가 \(K = 3.5595\)이고 \(n = 120\)이다.
(1) \(JB\) 값과 그 p 값을 표를 찾지 말고 손으로 계산하시오. \(\chi^2_2\)의 생존함수(survival function)가 닫힌 꼴임을 쓰면 된다.
(2) 코드와 맞춰 보고, 통계량을 왜도 몫과 첨도 몫으로 갈라 어느 쪽이 지배하는지 밝히시오.
풀이
(1) 해석적으로. 통계량부터 넣는다.
p 값에는 보통 표가 필요하지만 자유도 2는 예외다. \(\chi^2_d\)의 밀도는
인데 \(d = 2\)이면 \(\Gamma(1) = 1\), \(2^{1} = 2\), \(x^{0} = 1\)이라 \(f_2(x) = \tfrac12 e^{-x/2}\)로 지수분포가 된다. 그러므로 생존함수가
로 닫힌 꼴이고
이다. 자유도 2의 카이제곱은 p 값을 암산할 수 있는 유일한 자유도다. \(JB\)가 \(\chi^2_2\)를 따르는 것은 \(H_0\) 아래에서 \(\sqrt{n/6}\,S\)와 \(\sqrt{n/24}\,(K-3)\)이 각각 점근적으로 표준정규이고 서로 점근 독립이기 때문이며, 그래서 통계량도 두 제곱의 합으로 적힌다.
(2) 수치적으로.
import numpy as np
from scipy.stats import chi2
from statsmodels.stats.stattools import jarque_bera
residuals = model.resid
# Jarque-Bera 는 왜도와 첨도만 본다. 정규분포는 왜도 0, 첨도 3 이므로
# 이 둘이 얼마나 벗어났는지를 하나의 통계량으로 묶은 것이다.
# 큰 표본에서만 믿을 만하다.
jb_stat, jb_pvalue, skew, kurtosis = jarque_bera(residuals)
print(f'Jarque-Bera statistic: {jb_stat:.4f}')
print(f'Jarque-Bera p-value: {jb_pvalue:.4f}')
print(f'Skewness: {skew:.4f}')
print(f'Kurtosis: {kurtosis:.4f}')
# 손으로 다시 계산한다.
n = len(residuals)
skew_part = n / 6 * skew ** 2
kurt_part = n / 6 * (kurtosis - 3) ** 2 / 4
print(f'\n왜도 몫 = (n/6) S^2 = {skew_part:.6f} ({skew_part / jb_stat:5.1%})')
print(f'첨도 몫 = (n/6)(K-3)^2 / 4 = {kurt_part:.6f} ({kurt_part / jb_stat:5.1%})')
print(f'합 = {skew_part + kurt_part:.6f} (statsmodels: {jb_stat:.6f})')
# 자유도 2 의 카이제곱은 생존함수가 exp(-x/2) 로 닫힌 꼴이다.
print(f'\np = exp(-JB/2) = {np.exp(-jb_stat / 2):.6f}')
print(f'p = chi2(2).sf(JB) = {chi2.sf(jb_stat, 2):.6f}')
출력:
Jarque-Bera statistic: 1.6167
Jarque-Bera p-value: 0.4456
Skewness: -0.0508
Kurtosis: 3.5595
왜도 몫 = (n/6) S^2 = 0.051610 ( 3.2%)
첨도 몫 = (n/6)(K-3)^2 / 4 = 1.565108 (96.8%)
합 = 1.616719 (statsmodels: 1.616719)
p = exp(-JB/2) = 0.445589
p = chi2(2).sf(JB) = 0.445589
손 계산과 코드가 완전히 맞는다. 두 몫의 합 \(1.616719\)가 statsmodels의 값과 같고, 닫힌 꼴 \(e^{-JB/2}\)가 chi2(2).sf와 소수점 여섯째 자리까지 같다.
통계량의 \(96.8\%\)가 첨도에서 온다. 왜도 몫은 \(0.0516\)뿐이다. 보기 2의 히스토그램에서 본 "가운데가 뾰족하고 꼬리가 두껍다"가 이 수의 정체이고, 좌우 비대칭은 사실상 없었으니 왜도 몫이 작은 것도 당연하다. \(JB = 1.6167\)은 거의 전부 \(K - 3 = 0.5595\) 하나를 재고 있다.
그런데도 \(p = 0.4456\)으로 기각하지 못한다. \(n = 120\)에서 \(K - 3\)의 표준오차가 \(\sqrt{24/n} = 0.447\)이므로 \(0.5595\)는 \(1.25\) 표준오차 거리에 지나지 않는다. 첨도는 표본에서 매우 부정확하게 추정되는 양이고, 그래서 자크–베라는 표본이 작으면 웬만한 이탈을 다 놓친다. 보기 5의 앤더슨–달링이 같은 자료를 기각했던 것과 정확히 반대 방향의 실패다.
세 검정(샤피로–윌크, 앤더슨–달링, 자크–베라)이 서로 다른 결론을 낸다는 점이 이 페이지의 교훈이다. 어느 통계량에 민감한지가 다르기 때문이며, 형식적 검정 하나에 의존하지 말고 Q-Q 그림과 함께 보아야 한다.
해석은 이렇다.
- p 값 > 0.05: 왜도나 첨도에서 비정규성의 유의한 증거가 없다.
- p 값 < 0.05: 비정규성의 유의한 증거가 있으며 가정 위배 가능성을 시사한다.
8. 정규성 검정의 비교¶
| 검정 | 유형 | 민감한 대상 | 표본크기 | 핵심 장점 |
|---|---|---|---|---|
| 히스토그램 | 시각적 | 전반적 모양 | 제한 없음 | 직관적이고 해석이 쉬움 |
| Q-Q 그림 | 시각적 | 꼬리의 거동 | 제한 없음 | 정밀하며 비정규성의 종류를 드러냄 |
| 샤피로–윌크 | 형식적 | 일반적 이탈 | \(n \leq 5000\) | 작은 표본에서 가장 강력함 |
| 앤더슨–달링 | 형식적 | 꼬리에서의 이탈 | 제한 없음 | 두꺼운 꼬리 탐지에 좋음 |
| 자크–베라 | 형식적 | 왜도와 첨도 | 큰 \(n\) | 점근이론에 기초 |
그림으로 보는 통계학 1. 정규성이 맡은 일이 둘인데 운명이 다르다
§5 부터 §7 까지 검정을 셋이나 늘어놓고 보면 이런 물음이 든다 — 그래서 정규가 아니면 무엇이 틀어지는가. 답이 하나가 아니라서 이 가정이 헷갈린다. 정규성이 쓰이는 자리가 둘인데, 둘의 사정이 정반대다.
왼쪽의 \(\hat\beta\) 은 오차들의 가중평균이다. 평균 꼴이니 중심극한정리가 받쳐 준다. 오른쪽의 새로 올 \(y_0\) 은 평균이 아니라 오차 하나다. 받쳐 줄 정리가 없다.
오차분포만 바꾸고 나머지는 같게 두었다. 왼쪽은 \(n = 10\) 에서 이미 다섯이 모두 \(95\%\) 다. 오른쪽은 \(n\) 을 \(500\) 까지 키워도 모이지 않고 각자 다른 값으로 간다. 자료에서 직접 그렸다.
오른쪽의 극한값은 근사가 아니라 손으로 적을 수 있다. \(n\) 이 커지면 \(s \to \sigma\) 이고 \(t \to 1.96\) 이므로 구간이 \(\hat y_0 \pm 1.96\sigma\) 로 굳는데, 그것이 담는 확률은
곧 오차분포 그 자체다. 정규면 \(0.95\), 아니면 다른 수다.
| 오차분포 | 예측구간의 극한 포함률 |
|---|---|
| 정규 | \(0.9500\) |
| 균등 | \(1.0000\) — 반폭이 \(1.73\sigma\) 라 아예 벗어날 수가 없다 |
| 지수(중심화) | \(0.9482\) |
| \(t_3\) | \(0.9574\) |
| 라플라스 | \(0.9375\) |
그래서 이 쪽의 검정들을 무엇에 쓸지가 갈린다. 계수의 신뢰구간이나 \(p\) 값을 보려는 것이라면 정규성 검정은 거의 쓸모가 없다 — 어차피 \(n = 10\) 에서도 맞는다. 정규성 검정이 정말 필요한 자리는 개별 관측을 예측하는 구간을 긋거나 극단분위수를 말할 때다.
이 대조를 등분산성 쪽과 나란히 놓아 보면 세 갈래가 정리된다.
- 비정규성 — 계수 쪽은 \(n\) 이 고쳐 준다. 예측구간 쪽은 안 고쳐진다.
- 이분산 — \(n\) 이 고쳐 주지 않는다. 샌드위치 표준오차가 고쳐 준다.
- 종속 — \(n\) 이 고쳐 주지 않는다. 독립인 단위를 늘려야 한다.
§10 이 권하는 것들(변환·로버스트 회귀·부트스트랩)은 이 가운데 첫째 줄의 오른쪽, 곧 \(n\) 으로 안 되는 자리를 겨냥한 처방이다.
확인한 곳 — \(\hat\beta\) 이 오차의 일차결합이라 중심극한정리가 적용된다는 것, 예측구간은 새 오차 하나를 담아야 해서 그 덕을 못 본다는 것은 표준적인 사실이다 · 표의 극한 포함률은 \(P(\lvert\varepsilon\rvert \le 1.96\sigma)\) 를 분포마다 적분해 얻은 값이고(라플라스는 \(1-e^{-1.96\sqrt2}\), 지수는 \(1-e^{-2.96}\)), 그림의 모의값이 거기에 수렴하는 것을 \(4\) 만 번으로 확인했다
9. 실무 권장 사항¶
- 시각적 방법으로 시작하라 — 히스토그램과 Q-Q 그림이 비정규성의 종류와 심각도를 즉시 보여준다.
- 형식적 검정은 보조로만 쓰라 — 작은 표본에는 샤피로–윌크, 큰 표본에는 자크–베라나 앤더슨–달링이 쓰이지만, 회귀에서는 이 검정들이 잔차에 걸린다는 것이 결정적이다. 잔차는 오차의 일차결합이라 설명변수가 많을수록 정규 쪽으로 끌려간다 — 아래 상자가 재어 둔 대로 \(p = 50\) 에서 오차가 \(99.5\%\) 기각되는 자료인데 잔차는 \(5.1\%\) 만 기각된다. 통과했다는 것이 증거가 되지 못하는 자리다.
- 표본크기를 고려하라 — 표본이 크면 정규성에서의 사소한 이탈도 통계적으로 유의해지지만 실질적으로는 중요하지 않을 수 있다.
- 꼬리에 주목하라 — 분포 중심 근처의 작은 이탈보다 꼬리에서의 이탈이 훨씬 문제가 된다.
잔차가 정규가 아니라고 판단되었을 때 무엇을 할 수 있는지는 10절에 모아 적는다.
그림으로 보는 통계학 2. 잔차는 오차가 아니다
위 권장 사항의 셋째 줄은 「표본이 크면 사소한 이탈도 유의해진다」고 경고한다. 맞는 말이고, 흔히 적히는 말이다. 반대쪽 경고는 거의 적히지 않는다 — 설명변수가 많으면 큰 이탈도 안 잡힌다.
까닭은 이 쪽의 검정 넷이 모두 잔차에 걸린다는 데 있다. 그런데 정의 1 이 말하는 것은 오차 \(\varepsilon_i\) 의 정규성이다. 둘은 같은 것이 아니다.
곧 잔차 하나하나가 오차들의 일차결합이다. 그러면 중심극한정리가 엉뚱한 자리에서 일한다 — 섞을수록 정규 쪽으로 끌려가는 것이다. 얼마나 끌려가는지는 재어 보면 된다. 관측 \(100\) 개에 설명변수 수 \(p\) 를 바꿔 가며, 같은 자료의 오차와 잔차에 각각 샤피로–윌크 검정을 걸었다(\(1000\) 번, 유의수준 \(0.05\)).
| \(p\) | 오차에서 기각 | 잔차에서 기각 | 잔차의 평균 초과첨도 |
|---|---|---|---|
| \(2\) | \(0.998\) | \(0.988\) | \(-1.146\) |
| \(10\) | \(0.993\) | \(0.781\) | \(-0.991\) |
| \(25\) | \(0.996\) | \(0.242\) | \(-0.692\) |
| \(\mathbf{50}\) | \(\mathbf{0.995}\) | \(\mathbf{0.051}\) | \(-0.334\) |
| \(70\) | \(0.997\) | \(0.037\) | \(-0.156\) |
오차는 균등분포다 — 꼬리가 없는, 누가 보아도 정규가 아닌 분포이고 초과첨도가 \(-1.2\) 다.

\(p = 50\) 에서 오차는 \(99.5\%\) 기각되는데 잔차는 \(5.1\%\) 기각된다. \(5\%\) 는 유의수준 그 자체다 — 검정이 아무것도 못 보고 있다는 뜻이다. \(p = 70\) 에서는 \(3.7\%\) 로 유의수준보다도 낮다. 오른쪽 판이 까닭을 보인다. 잔차의 초과첨도가 \(-1.146\) 에서 \(-0.156\) 으로, 곧 정규분포의 \(0\) 쪽으로 끌려간다.
꼬리가 두꺼운 쪽도 마찬가지다. 오차를 지수분포(초과첨도 \(6\))로 두면 \(p = 25\) 까지는 잔차에서도 \(97.8\%\) 잡히지만, \(p = 50\) 에서 \(59.8\%\), \(p = 70\) 에서 \(19.9\%\) 로 내려간다. 같은 자료의 오차 쪽은 줄곧 \(100\%\) 다.
두 가지를 덧붙여 둔다. 첫째, 스튜던트화해도 달라지지 않는다. \(p = 50\) 의 균등 오차에서 날 잔차가 \(0.051\), 스튜던트화 잔차가 \(0.055\) 다 — 문제는 척도가 아니라 섞였다는 것이기 때문이다. 둘째, \(p\) 가 작으면 이 효과도 작다. \(p = 2\) 에서 \(0.998\) 대 \(0.988\) 로 거의 차이가 없으니, 설명변수 한둘짜리 회귀에서는 걱정하지 않아도 된다.
그래서 권장 사항에 한 줄을 더해야 한다. \(p/n\) 이 크면 정규성 검정의 「통과」는 증거가 아니다. 그리고 이것이 얄궂은 것은, 정규성이 가장 아쉬운 자리가 바로 그 자리이기 때문이다 — \(n\) 이 작고 모수가 많아 \(8\) 절의 상자가 말한 「\(n\) 이 고쳐 주는」 몫을 기대할 수 없는 자리 말이다. 그런 자료에서는 검정을 통과했다는 말 대신 Q-Q 그림을 직접 보고, \(10\) 절의 부트스트랩처럼 정규성에 기대지 않는 길을 함께 두는 편이 낫다.
10. 비정규성에 대한 대책¶
- 변수변환: 종속변수(dependent variable)에 로그, 제곱근, 박스–콕스 변환 등을 적용하면 비정규성이 교정되기도 한다.
- 로버스트 회귀: 정규성을 얻을 수 없을 때 로버스트 회귀 기법이 이상치(outlier)의 영향을 낮춰 타당한 결과를 제공한다.
- 부트스트랩: 부트스트랩 방법은 분포 가정에 기대지 않고 타당한 추론을 제공한다.
- 더 큰 표본: 표본이 충분히 크면 오차가 정규가 아니어도 중심극한정리에 의해 검정통계량이 근사적으로 정규분포를 따른다.
연습문제¶
연습문제 1. 회귀 잔차의 Q-Q 그림에서 점들이 중앙에서는 기준선을 따르지만 오른쪽 꼬리에서는 위로, 왼쪽 꼬리에서는 아래로 벗어난다. 이것이 나타내는 분포적 이탈의 유형과 회귀 추론에 미칠 영향을 기술하라.
풀이
이 패턴은 두꺼운 꼬리(고첨)를 나타낸다. 잔차에 정규분포가 예측하는 것보다 극단적인 값이 더 많다는 뜻으로, 꼬리가 정규분포보다 "두껍다".
회귀 추론에 미치는 영향: 두꺼운 꼬리는 극단적인 잔차가 나타날 가능성을 키우고, 이는 추정된 분산 \(\hat{\sigma}^2\)을 부풀릴 수 있다. 그 결과 신뢰구간이 넓어지고 \(t\) 검정의 검정력이 떨어진다. 또한 극단적인 관측값이 지렛대가 크다면 영향점이 되어 계수 추정을 편향시킬 수 있다.
연습문제 2. 관측값이 \(n = 500\)개인 회귀에서 샤피로–윌크 검정이 정규성을 기각했지만(\(p < 0.001\)) Q-Q 그림에는 꼬리에서 미미한 이탈만 보인다. 연구자가 걱정해야 하는가? 설명하라.
풀이
연구자가 지나치게 걱정할 필요는 없다. \(n = 500\)이면 샤피로–윌크 검정의 검정력이 매우 높아 추론에 실질적 영향이 없는 사소한 이탈도 탐지한다. Q-Q 그림에 꼬리의 미미한 이탈만 보인다는 사실이 그 이탈이 작다는 것을 확인해 준다.
게다가 \(n = 500\)이면 중심극한정리에 의해 오차의 분포와 무관하게 OLS 추정량과 검정통계량의 표집분포가 근사적으로 정규가 된다. \(t\) 검정과 \(F\) 검정은 근사적으로 타당하다. 연구자는 분석을 그대로 진행해도 된다.
연습문제 3. 잔차의 정규성에 대한 형식적 검정 네 가지를 들고 각각의 장점 하나와 단점 하나를 설명하라.
풀이
-
샤피로–윌크 검정. 장점: 작거나 중간 크기의 표본에서 가장 강력한 검정이다. 단점: 큰 표본에서 지나치게 민감하여 사소한 이탈도 기각한다.
-
앤더슨–달링 검정. 장점: 샤피로–윌크보다 꼬리에 더 큰 가중치를 주므로 두꺼운 꼬리를 더 잘 탐지한다. 단점: 소프트웨어에서 덜 흔하게 제공된다.
-
자크–베라 검정. 장점: 비정규성의 두 핵심 측면인 왜도와 첨도를 직접 검정한다. 단점: 점근이론에 의존하므로 작은 표본에서 성능이 나쁘다.
-
콜모고로프–스미르노프(릴리포스) 검정. 장점: 적률만이 아니라 분포 전체를 검정한다. 단점: 정규성 위배 탐지에서 샤피로–윌크보다 검정력이 낮다. 표준 KS 검정은 모수를 안다고 가정하며, 릴리포스 검정이 추정된 모수를 보정한다.
연습문제 4. 보기 2는 잔차 히스토그램이 0을 중심에 두는 것이 "정규성의 증거가 아니라 적합이 강제한 항등식"이라 했고, 보기 3은 같은 항등식 \(\sum_i e_i = 0\)으로 Q-Q 기준선의 절편 \(\hat a = \bar e - \hat b\,\bar m\)이 반드시 0임을 보였다. 이제 같은 자료를 상수항 없이, 곧 \(y_i = \beta_1 x_i + \varepsilon_i\)로 원점을 지나게 적합한다고 하자.
(1) 두 논증 가운데 어느 단계가 깨지는지 짚고, 그때 Q-Q 기준선의 절편이 무엇을 추정하게 되는지 밝히시오. \(\bar m = 0\)은 여전히 성립하는가.
(2) 다음 세 결론 가운데 상수항을 없애도 그대로 남는 것과 깨지는 것을 가르고, 각각 왜 그런지 한 줄로 말하시오. (가) 히스토그램의 중심이 0이다. (나) Q-Q 기준선이 원점을 지난다. (다) 보기 4의 \(0 \le W \le 1\)과 그 등호 조건.
풀이
(1) 깨지는 자리는 정규방정식 하나뿐이다. OLS의 정규방정식은 설계행렬 \(X\)에 대해 \(X^\top \mathbf e = \mathbf 0\), 곧 잔차가 \(X\)의 모든 열과 직교한다는 것이다. 상수항이 있으면 열 하나가 \(\mathbf 1\)이므로 그 직교조건이 바로
이다. 상수항을 빼면 열이 \(\mathbf x\) 하나뿐이어서 남는 조건은
뿐이다. \(\sum_i e_i = 0\)은 \(\mathbf 1\)이 \(X\)의 열공간에 들어 있을 때만 따라 나오는데, 그러려면 \(\mathbf x\)가 \(\mathbf 1\)의 상수배여야 한다. 이 자료의 \(x\)는 \(0.04\)에서 \(9.96\)까지 퍼져 있으니 그렇지 않다. 따라서 \(\bar e \ne 0\)이 보통이다.
반면 \(\bar m = 0\)은 자료를 전혀 쓰지 않는 사실이다. 이론분위수 격자는 \(m_i = \Phi^{-1}(p_i)\)에 대칭 격자 \(p_i + p_{n+1-i} = 1\)을 넣어 만들므로 \(m_i = -m_{n+1-i}\)이고, 자료가 무엇이든 합이 0이다. 그러므로 절편은
가 되어 Q-Q 기준선의 절편이 정확히 평균잔차가 된다. 상수항이 있을 때는 아무 정보도 없던 수가, 상수항을 빼면 적합의 평균적 편향을 재는 진짜 진단량으로 바뀌는 것이다.
이 자료로 실제로 해 보면 \(\hat\beta_1 = 1.77033\)(참값 \(1.5\)보다 크다), \(\sum_i x_i e_i = -2.8 \times 10^{-12}\)로 정규방정식은 그대로 성립하고, \(\bar e = 0.39934\)이며 Q-Q 기준선의 절편도 소수 다섯째 자리까지 같은 \(0.39934\)다. 부호도 설명된다. 참 모형의 절편 \(\beta_0 = 2\)를 못 쓰게 하면 직선이 기울기를 키워 그 몫을 대신 떠안으므로
로 양수가 남는다. 곧 모형이 평균적으로 과소예측하고 있다는 뜻이다.
(2) (가)와 (나)는 깨지고 (다)는 남는다.
- (가) 깨진다. 히스토그램의 중심은 이제 \(\bar e = 0.39934\)이고, 0에서 벗어난 만큼이 곧 편향이다. 상수항이 있을 때는 볼 수 없던 것을 볼 수 있게 된 셈이다.
- (나) 깨진다. 절편이 \(\bar e\)와 같아지므로 원점을 지나지 않는다.
- (다) 남는다. 보기 4의 유도는 가중치의 성질 \(\sum_i a_i = 0\), \(\sum_i a_i^2 = 1\)과 코시–슈바르츠만 썼고 자료에 대해서는 아무것도 가정하지 않았다. 게다가 \(W\)는 분자에서 \(\sum_i a_i x_{(i)} = \sum_i a_i (x_{(i)} - \bar x)\)로, 분모에서 \(\sum_i (x_i - \bar x)^2\)로 제 손으로 중심화하므로 위치이동에 완전히 불변하다. 실제로 이 잔차의 \(W = 0.972552\)이고, 전부에 \(1000\)을 더해도 \(W = 0.972552\)로 소수 열째 자리까지 같다.
정리하면 "자동으로 0"이던 두 수는 상수항이라는 열 하나에 기대고 있었고, \(W\)의 상한은 자료와 무관한 부등식이라 흔들리지 않는다. 어떤 진단량이 자료를 보고 있고 어떤 것이 항등식을 보고 있는지 가르는 것이 이 문제의 요점이다.
연습문제 5.
이 쪽에는 같은 잔차의 산포를 재는 수가 네 개 나온다(\(n = 120\)). 보기 2의 residuals.std() \(= 2.3443\)과 회귀의 \(\hat\sigma = 2.3641\), 보기 3의 잔차 표본표준편차 \(s_e = 2.3541\)과 Q-Q 기준선 기울기 \(2.3627\)이다.
(1) 네 수를 크기순으로 늘어놓으시오. 앞의 셋은 모두 \(\sqrt{\mathrm{SSE}/(n-k)}\) 꼴이다. \(k\)를 각각 밝히고, \(2.3443\) 하나만 가지고 나머지 둘을 소수 넷째 자리까지 계산해 보이시오. 셋 가운데 불편인 것은 어느 것인가.
(2) 기울기 \(2.3627\)은 이 꼴로 나오지 않는다. 최소제곱 기울기를 \(s_e\), 상관계수 \(r = 0.990542\), 그리고 이론분위수 격자의 표본표준편차 \(s_m\)으로 적고, \(s_m = 0.98693\)을 받아들여 \(2.3627\)을 재현하시오. 격자의 \(s_m\)이 1보다 작은 까닭도 말하시오.
풀이
(1) 같은 SSE를 서로 다른 수로 나눈 것이다. 세 수가 공유하는 분자는 \(\mathrm{SSE} = \sum_i e_i^2\) 하나이고, 다른 것은 나눔수뿐이다.
residuals.std()는ddof=0, 곧 \(k = 0\): \(\sqrt{\mathrm{SSE}/120}\)- \(s_e\)는
ddof=1, 곧 \(k = 1\): \(\sqrt{\mathrm{SSE}/119}\) - 회귀의 \(\hat\sigma\)는 추정한 모수가 \(\beta_0, \beta_1\) 둘이므로 \(k = 2\): \(\sqrt{\mathrm{SSE}/118}\)
그러므로 \(2.3443\) 하나에서 비례로 나머지가 나온다.
쪽에 적힌 두 수와 소수 넷째 자리까지 같다. 크기순으로 늘어놓으면
이고, Q-Q 기울기가 공교롭게 \(k = 1\)과 \(k = 2\) 사이에 끼어 있다. 불편인 것은 \(\hat\sigma^2\) 하나뿐이다. 등분산 아래에서 \(E[\mathrm{SSE}] = (n-2)\sigma^2\)이므로 \(118\)로 나눈 것만 \(E[\hat\sigma^2] = \sigma^2\)을 만족하고, \(120\)이나 \(119\)로 나눈 둘은 직선을 맞추느라 쓴 자유도 2를 치르지 않아 아래로 편향된다. \(n = 120\)에서는 차이가 \(0.8\%\)뿐이지만 \(n\)이 작으면 벌어진다.
(2) 기울기는 척도추정량이 아니라 회귀계수다. \(\bar m = 0\)이므로 \((m_i, e_{(i)})\)에 맞춘 최소제곱 기울기는
이다(둘째 꼴은 단순회귀의 \(\hat b = r s_y / s_x\)를 그대로 쓴 것이다). 수를 넣으면
로 쪽의 값이 재현된다. \(s_e\)에서 두 보정이 서로 반대 방향으로 걸린다. 꼬리가 두꺼워 점들이 직선에서 벗어난 만큼 \(r = 0.9905\)가 1보다 작아 \(0.95\%\) 끌어내리고, 격자가 표준정규보다 덜 퍼져 \(s_m = 0.9869\)가 1보다 작아 \(1.33\%\) 밀어올린다. 알짜가 \(+0.37\%\)다.
\(s_m < 1\)인 까닭은 격자가 꼬리에서 끊기기 때문이다. \(m_1, \ldots, m_{120}\)은 표준정규의 분위수를 \(120\)개만 떠낸 결정론적 수열이라 양 끝이 \(\pm 2.5265\)에서 멈춘다. 그런데 \(\int x^2 \varphi(x)\,dx = 1\)에서 꼬리 쪽 구간이 차지하는 몫이 유독 크므로, \(\pm 2.53\) 바깥을 아예 대표하지 않는 격자로 2차 적률을 재면
로 조금 모자라게 나온다(\(\sqrt{0.974031} = 0.98693\)). \(n\)이 커지면 격자가 꼬리로 더 뻗어 \(s_m \to 1\)이 된다. 요점은 기울기가 "자유도를 몇으로 잡느냐"의 문제가 아니라 \(r\)과 격자의 성질이 함께 들어간 다른 종류의 수라는 것이다.
연습문제 6. 한 연구자가 관측값 \(n = 15\)개로 회귀모형을 적합했다. 잔차의 Q-Q 그림에서 오른쪽으로 상당히 치우친 모습이 보인다. 왜 이 상황에서 \(n = 500\)일 때보다 정규성이 더 중요한지 설명하라.
풀이
\(n = 15\)밖에 안 되면 중심극한정리가 좋은 근사를 제공하지 못한다. 개별 계수의 \(t\) 통계량과 전체 유의성의 \(F\) 통계량의 정확한 분포는 오차의 정규성에 의존한다. 잔차가 오른쪽으로 치우쳤다는 것은 실제 표집분포가 가정된 \(t\) 분포와 다르다는 뜻이고, 따라서 p 값과 신뢰구간이 부정확해진다.
\(n = 500\)이면 오차의 분포와 무관하게 중심극한정리가 표집분포의 근사 정규성을 보장하므로 정규성에서 어느 정도 벗어나도 추론에 미치는 영향이 미미하다.
연습문제 7. \(\hat{\beta}\)의 불편추정에는 정규성이 필요하지 않지만 계수의 \(t\) 검정이 정확히 타당하려면 정규성이 필요한 이유를 설명하라.
풀이
OLS 추정량 \(\hat{\beta} = (X^\top X)^{-1} X^\top Y\)는 \(Y\)의 선형함수이다. 그 기댓값은
이 유도에는 \(E[\varepsilon] = 0\)만 쓰였고 정규성은 쓰이지 않았다. 따라서 \(\hat{\beta}\)는 오차의 분포와 무관하게 불편이다.
반면 \(t\) 검정통계량 \(t = \hat{\beta}_j / \text{SE}(\hat{\beta}_j)\)가 정확한 \(t\) 분포를 따르는 것은 \(\varepsilon \sim N(0, \sigma^2 I)\)일 때뿐이다. 정규성이 없으면 유한표본에서 이 비는 정확한 \(t\) 분포를 갖지 않으므로 \(t\) 분포표에서 읽은 p 값은 근삿값에 지나지 않는다.
연습문제 8. 어떤 사람이 "정규성을 확인하려고 종속변수 \(Y\) 의 히스토그램을 그렸더니 봉우리가 두 개여서 정규성 가정이 깨졌다"고 결론을 내렸다.
(a) 정의 1 의 정규성 가정이 완벽히 성립하면서도 \(Y\) 의 히스토그램이 쌍봉이 되는 자료를 하나 만들어 이 결론이 틀렸음을 보여라. 만든 예에서 \(Y \mid x\) 의 분포와 \(Y\) 의 주변분포를 각각 적어라.
(b) 반대 방향, 곧 \(Y\) 의 히스토그램은 종 모양인데 정규성 가정이 깨지는 예도 만들 수 있는가? 하나 들라.
풀이
(a) 설계점을 \(x_i \in \{0, 1\}\) 로 반씩 두고
을 쓴다. 조건부분포는 \(Y \mid x = 0 \sim N(1, 1)\), \(Y \mid x = 1 \sim N(6, 1)\) 이고, 주변분포는 두 정규의 혼합
이다. 두 중심이 \(5\sigma\) 떨어져 있으므로 \(Y\) 의 히스토그램은 뚜렷한 쌍봉이다. 그런데 오차는 정확히 \(N(0, 1)\) 이므로 정의 1 은 글자 그대로 성립하고, 잔차의 히스토그램과 Q-Q 그림은 흠이 없다. 쌍봉은 오차가 아니라 평균구조 \(1 + 5x\) 가 만든 것이다.
(b) 가능하다. \(x \sim N(0, 1)\) 로 널리 퍼뜨리고
을 쓰면 오차는 분산 1 이지만 유계이고 첨도가 \(1.8\) 인 균등분포라 정규가 아니다. 반면 \(Y\) 는 분산 \(9\) 의 정규와 분산 \(1\) 의 균등을 더한 것이라 초과첨도가
로 사실상 0 이고, 히스토그램은 완벽한 종 모양으로 보인다.
두 예가 함께 말하는 것은 하나다. 정규성은 \(\epsilon\) 에 대한 가정이고 \(Y\) 나 \(X\) 에 대한 가정이 아니므로, \(Y\) 의 히스토그램은 어느 방향으로도 증거가 되지 못한다. 보아야 할 것은 잔차다.
연습문제 9. 이 쪽의 모의실험에서 오차는 평균 0, 분산 1 로 맞춘 로그정규이고 그 분위수함수는
이다(이 식은 연습문제 16 에서 유도한다). \(p = 0.01, 0.05, 0.25, 0.50, 0.75, 0.95, 0.99\) 에서 \(q_\epsilon(p)\) 와 \(z_p\) 를 비교하여, 이 오차에서 나온 잔차의 Q-Q 그림(가로축 \(z_p\), 세로축 잔차 분위수, 기준선 \(y = x\))이 어떤 모양으로 휘는지 말하라. 특히 "오른쪽으로 치우쳤으면 오른쪽 끝만 위로 뜬다"는 흔한 말이 맞는지 판정하라.
또 \(n = 640\) 일 때 가장 작은 잔차가 그림의 왼쪽 끝에서 어디쯤 놓이는지 \(q_\epsilon\!\left(\tfrac{1}{641}\right)\) 로 가늠하고, \(n\) 을 더 키우면 그 모양이 어떻게 되는지 말하라.
풀이
\(q_\epsilon\) 은 \(z_p\) 의 증가함수이므로 분위수를 그대로 대입하면 된다. \(e^{1/2} = 1.64872\), \(\sqrt{e^2 - e} = 2.16120\) 을 쓴다.
| \(p\) | \(z_p\) | \(q_\epsilon(p)\) | \(q_\epsilon(p) - z_p\) |
|---|---|---|---|
| 0.01 | \(-2.326\) | \(-0.718\) | \(+1.609\) |
| 0.05 | \(-1.645\) | \(-0.674\) | \(+0.971\) |
| 0.25 | \(-0.674\) | \(-0.527\) | \(+0.147\) |
| 0.50 | \(0.000\) | \(-0.300\) | \(-0.300\) |
| 0.75 | \(0.674\) | \(0.145\) | \(-0.529\) |
| 0.95 | \(1.645\) | \(1.634\) | \(-0.011\) |
| 0.99 | \(2.326\) | \(3.975\) | \(+1.649\) |
차이의 부호가 \(+,+,+,-,-,-,+\) 로 두 번 바뀐다(\(p = 0.95\) 에서는 \(-0.011\) 로 거의 0 이다). 곧 Q-Q 곡선은 아래로 볼록(convex)해서 왼쪽 끝이 기준선 위로 뜨고, 가운데에서 선 아래로 처지고, 오른쪽 끝에서 다시 크게 위로 뜬다.
따라서 "오른쪽 끝만 위로 뜬다"는 말은 틀렸다. 오른쪽 왜도의 서명은 양 끝이 모두 위로 뜨는 것이다. 왼쪽도 위로 뜨는 까닭은 이 오차가 \(-0.76287\) 아래로 내려갈 수 없어 왼쪽 꼬리가 정규보다 짧다는 데 있다. 정규보다 덜 내려가는 것은 Q-Q 에서 기준선 위에 놓인다. 가운데가 처지는 것은 평균이 0 이어도 중앙값이 \(q_\epsilon(0.5) = -0.300\) 으로 0 보다 낮기 때문이다(잔차의 절반 이상이 0 아래에 있다).
\(n = 640\) 의 왼쪽 끝: \(z = \Phi^{-1}(1/641) = -2.956\) 인데
로 기준선보다 \(2.2\) 나 위에 떠 있다. 하한 \(-0.76287\) 에 이미 거의 닿았으므로 \(n\) 을 더 키우면 왼쪽 끝의 \(z_p\) 만 \(-3, -4\) 로 내려가고 세로 좌표는 \(-0.76\) 근처에 머문다. 곧 Q-Q 그림의 왼쪽 끝은 점점 더 수평으로 눕는다. 바닥이 있는 오차의 이 모양은 표본을 키워서 없앨 수 있는 것이 아니다.
연습문제 10. 설계점 \(x_0\) 에서 새 관측값의 예측오차는 \(Y_0 - \hat{Y}_0 = \bigl(m(x_0) - \hat{Y}_0\bigr) + \epsilon_0\) 으로 쪼개지고, 그 분산은
이다. 여기서 \(m(x) = \beta_0 + \beta_1 x\) 이다.
(a) \(n \to \infty\) 에서 두 항이 각각 어떻게 되는가.
(b) 그 결과 명목 95% 예측구간은 어떤 구간으로 수렴하는가.
(c) 이 쪽의 모의실험에서 \(n = 20, 100, 640\) 모두 아래로 새는 비율이 \(0.0\%\) 로 고정된 것을 (b) 로 설명하라. 왜 중심극한정리는 이 상황을 구해 주지 못하는가.
풀이
(a) 설계점이 한 분포에서 나오는 보통의 경우 \(X^\top X\) 는 \(n\) 에 비례해 커지므로 \(h_0 = O(1/n)\) 이고 \(h_0 \to 0\) 이다(설계 중심 근처라면 \(h_0 \approx 1/n\)). 따라서 추정 불확실성 \(\sigma^2 h_0\) 는 0 으로 사라지고, 새 오차 한 개의 몫 \(\sigma^2\) 는 줄지 않고 그대로 남는다.
(b) 폭이 \(\sigma \sqrt{1 + h_0} \to \sigma\) 로 가고 중심 \(\hat{Y}_0 \to m(x_0)\) 이므로 구간은
로 수렴한다. 이것은 오차 한 개 자신의 \(\pm 1.96\sigma\) 구간, 곧 \(\epsilon_0\) 에 대한 좌우대칭 구간이다.
(c) \(\sigma = 1\) 이므로 그 극한 구간은 \(\epsilon\) 척도에서 \([-1.96,\ 1.96]\) 이다. 그런데 이 오차는 \(\epsilon \ge -0.76287\) 이므로 아래 한계 \(-1.96\) 은 오차가 닿을 수조차 없는 자리에 있다. 따라서 아래로 새는 확률은 근사적으로 0 이 아니라 정확히 0 이고, 이는 \(n\) 에 전혀 의존하지 않는다. 쪽에서 보고한 \((0.0\%, 6.6\%)\), \((0.0\%, 4.4\%)\), \((0.0\%, 3.7\%)\) 가 왼쪽 자리에서 모두 같은 이유다. 참으로 중앙 95% 를 담는 구간은 \([-0.70,\ 2.52]\) 로 오른쪽으로 밀려 있으니, 좌우대칭 구간은 아래쪽에 쓰이지 않는 여유를 두고 그만큼을 위쪽에서 잃는다.
중심극한정리는 합과 평균에만 작동한다. 첫 항 \(m(x_0) - \hat{Y}_0\) 는 오차들의 가중평균이므로 중심극한정리가 정규로 밀어 주지만, 둘째 항 \(\epsilon_0\) 은 표본 한 개라서 \(n\) 과 무관하게 원래 분포를 그대로 유지한다. \(n\) 을 키우면 중심극한정리가 돕는 항만 사라지고 돕지 못하는 항만 남으므로, 비정규성은 가려지는 대신 오히려 더 드러난다.
연습문제 11. 보기 6은 \(JB = 1.6167\), \(p = 0.4456\)으로 정규성을 기각하지 못했고, 그 까닭을 "첨도는 표본에서 매우 부정확하게 추정되는 양"이라 했다. 이 자료의 참 첨도가 얼마인지 직접 구해 그 진단이 옳은지 확인한다. 설정은 \(\varepsilon \mid x \sim N(0, \sigma(x)^2)\), \(\sigma(x) = 0.5 + 0.35x\), \(x \sim U(0,10)\)이다.
(1) \(\varepsilon\)의 비조건부 첨도가 \(K = 3\,E[\sigma^4] / (E[\sigma^2])^2\)임을 보이고, 등분산이 아닌 한 언제나 \(K > 3\)임을 보이시오. 이어서 이 자료의 \(K\)를 구하시오.
(2) 왜도가 0이고 첨도가 (1)의 참값이었다면 \(n = 120\)에서 \(JB\)와 그 p 값이 얼마였겠는가. 이로부터 보기 6의 \(p = 0.4456\)은 검정의 실패인가 추정의 실패인가 가리시오.
풀이
(1) 조건부 정규성에서 비조건부 적률로. \(\varepsilon \mid x \sim N(0, \sigma(x)^2)\)이면 정규분포의 적률에서 \(E[\varepsilon^2 \mid x] = \sigma(x)^2\), \(E[\varepsilon^4 \mid x] = 3\sigma(x)^4\)이다. 양쪽에 \(x\)에 대한 기댓값을 취하면
이고 \(E[\varepsilon] = 0\)이므로
이다. 여기서 \(W = \sigma^2\)으로 두면 \(E[\sigma^4] = E[W^2] = (E[W])^2 + \operatorname{Var}(W)\)이므로
이고, 등호는 \(\operatorname{Var}(\sigma^2) = 0\), 곧 \(\sigma\)가 상수일 때뿐이다. 정규분포들을 서로 다른 폭으로 섞으면 반드시 정규보다 첨도가 커진다는 뜻이다(옌센 부등식 \(E[W^2] \ge (E[W])^2\)의 등호 조건).
이제 수를 넣는다. \(\sigma = 0.5 + 0.35x\)는 \(x\)의 1차함수이고 \(x \sim U(0,10)\)이므로 \(\sigma \sim U(0.5,\, 4)\)이다. 폭이 \(3.5\)인 균등분포에서
이고 따라서
이다. 참 첨도가 \(4.74\)이고 표본에서 읽은 것은 \(3.5595\)였다.
(2) 참 첨도로 \(JB\)를 다시 계산한다. \(S = 0\), \(K = 4.74337\), \(n = 120\)을 넣으면
이고, 보기 6에서 쓴 닫힌 꼴로
이다. 같은 표본크기에서 참 첨도를 알았다면 p 값이 \(0.0005\)로 압도적인 기각이었다. 관측된 \(JB = 1.6167\)의 아홉 배가 넘는다.
그러므로 검정의 실패가 아니라 추정의 실패다. \(n = 120\)은 \(K - 3 = 1.74\) 크기의 이탈을 \(5\%\) 수준에서 잡아내기에 충분한 표본인데, 정작 \(\hat K\)가 \(3.5595\)로 들어와 \(K - 3\)의 \(3\)분의 \(1\)만 재어 버렸다. 그리고 \(JB\)가 \((K-3)^2\)에 비례하므로 그 \(3\)분의 \(1\)이 통계량에서는 \(9\)분의 \(1\)로 줄어든다.
\(\hat K\)는 네제곱 평균이라 꼬리가 두꺼운 분포에서 특히 불안정하고, 위로 치우친 몇 점이 들어오고 말고에 값이 춤춘다. 실제로 같은 설정을 \(4000\)번 반복해 보면 \(\hat K\)의 평균이 \(4.470\), 표준편차가 \(1.061\)이고(\(95\%\) 범위 \(3.10\)–\(7.11\)), \(\hat K < 3.5595\)가 나오는 일이 \(16\%\)다. 평균 \(4.470\)이 참값 \(4.743\)보다 작은 것은 표본첨도가 아래로 편향된 추정량이라는 사실이고, 이번 표본은 그 분포의 \(16\)백분위에 앉았던 것이다. 보기 6이 적은 \(\sqrt{24/n} = 0.447\)은 \(H_0\)이 참일 때의 표준오차이므로, 이렇게 꼬리가 두꺼운 참분포에서는 실제 변동(\(1.06\))을 두 배 이상 과소평가한다.
연습문제 12. 보기 1은 OLS가 보고한 \(\mathrm{SE}(\hat\beta_1) = 0.074595\)가 참값 \(0.082525\)의 \(90.4\%\)라 했고, 어긋나는 방향을 "산포가 큰 관측이 \(x\)의 양끝(곧 \(c_i^2\)이 큰 자리)에 몰리면 보고값이 참값보다 작아진다"고 설명했다. 그런데 이 자료의 \(\sigma_i = 0.5 + 0.35x_i\)는 한쪽 끝에서만 크다.
(1) \(s^2 \to E[\sigma^2]\)임을 써서 \(n \to \infty\)에서 비 \(\operatorname{Var}(\hat\beta_1) \big/ \big(s^2/S_{xx}\big)\)가 무엇으로 가는지 적고, \(x \sim U(0,10)\), \(\sigma(x) = 0.5+0.35x\)로 그 값을 구해 보고값/참값의 극한을 백분율로 내시오.
(2) 그 계산에서 \(\sigma(x)^2\)의 1차항이 아무 기여도 하지 않음을 보이고, 이로부터 보기 1의 설명을 어떻게 고쳐야 하는지 말하시오. 극한값과 실제 관측값 \(90.4\%\)의 차이는 어디서 오는가.
풀이
(1) 두 분산의 비. 보기 1에서 참 분산은 \(\sum_i c_i^2 \sigma_i^2\)이고 \(c_i = (x_i - \bar x)/S_{xx}\)이므로
이다. 비를 만들면 \(S_{xx}\) 하나가 지워지고, 분자와 분모를 \(n\)으로 나누면
이다. \(y = x - 5 \sim U(-5,5)\)로 중심을 옮기면 \(\sigma = 2.25 + 0.35y\)이므로
이고, 균등분포의 적률은 \(E[y^2] = 25/3 = 8.333333\), \(E[y^3] = 0\), \(E[y^4] = 125\)다. 따라서
이다. 비는
이고, 표준오차는 분산의 제곱근이므로
곧 \(93.90\%\) 다.
(2) 1차항은 왜 사라지는가. 비를 공분산으로 다시 쓰면
이고, \(\sigma^2\)이 \(y\)의 2차식이므로
이다. 첫 항의 \(\operatorname{Cov}(y^2,y) = E[y^3] - E[y^2]E[y] = 0 - 0 = 0\)이다. \(x\)의 분포가 \(\bar x\)에 대해 대칭이면 1차항은 언제나 지워진다. 남는 것은
뿐이고, \(1 + 6.805556/50.694444 = 1.134247\)로 (1)과 같다.
따라서 불일치를 만드는 것은 \(\sigma_i\)가 커진다는 사실이 아니라 \(\operatorname{Cov}\big((x-\bar x)^2,\, \sigma_i^2\big) > 0\), 곧 \(\sigma_i^2\)이 \(x\)의 함수로서 아래로 볼록하다는 것이다. 보기 1의 "양끝에 몰리면"은 "\((x-\bar x)^2\)과 \(\sigma_i^2\)의 공분산이 양이면"으로 고쳐야 한다. 둘은 같지 않다. 극단으로 보내 보면 분명해진다. \(\sigma_i^2\)이 \(x\)의 1차함수였다면(\(\sigma_i^2 = a + bx\)) 공분산이 정확히 0이어서, \(\sigma\)가 자료 안에서 몇 배로 변하든 보고된 표준오차가 점근적으로 옳다. 거꾸로 \(\sigma^2\)이 오목하면(산포가 가운데서 크면) 보고값이 참값보다 커진다. 방향을 정하는 것은 \(\sigma^2\)의 곡률이다.
\(93.9\%\)와 \(90.4\%\)의 차이. 둘로 갈라 보면 정확히 설명된다.
- 설계 쪽. 이 표본의 \(X\)를 고정하고 \(\bar{\sigma^2} = \frac{1}{n}\sum_i \sigma_i^2 = 6.0916\)을 쓰면 \(\sqrt{\bar{\sigma^2}/S_{xx}} = 0.077878\)이고, 참값과의 비가 \(0.077878/0.082525 = 0.9437\)이다. \(X\)를 \(4000\)번 새로 뽑아 평균하면 \(0.9396\)으로 극한값 \(0.93896\)에 붙는다.
- \(s^2\) 쪽. 이 표본의 \(s^2 = 5.5889\)가 \(\bar{\sigma^2} = 6.0916\)의 \(91.75\%\)로 들어왔다. 표준오차에서는 \(\sqrt{0.9175} = 0.9578\)배다.
곱하면 \(0.9437 \times 0.9578 = 0.9039\)로 쪽에 적힌 \(90.4\%\)가 그대로 나온다. \(10\)퍼센트포인트 가운데 구조적인 몫은 \(6\)뿐이고 나머지 \(4\)는 이 표본의 \(s^2\)이 작게 나온 우연이다. 한 번의 실현값을 과소평가의 크기로 인용하면 안 되고, 그 수는 \(93.9\%\)다.
연습문제 13.
보기 5는 \(A^2\)을 정의식으로 계산할 때 척도를 ddof=0으로 잡으면 \(0.923067\), ddof=1로 잡으면 scipy와 같은 \(0.933840\)이 나온다고 하고, 그 차이를 "척도를 조금만 작게 잡아도 표준화된 값들이 밖으로 밀려나 꼬리 항이 커지기 때문"이라 설명했다.
(1) 그 설명이 예측하는 부호가 관측된 부호와 반대임을 보이시오.
(2) 중심을 0으로 고정하고 \(A^2\)을 가정한 척도 \(s\)의 함수 \(A^2(s)\)로 보자. \(s \to 0\)과 \(s \to \infty\)에서 \(A^2(s)\)가 어떻게 되는지 적고, 주어진 두 값만으로 최솟값 자리 \(s^*\)가 어디에 있는지 좁히시오. 이것으로 (1)의 모순을 바로잡고, ddof 를 바꿔 손으로 계산한 값을 scipy의 임계값 표에 대어 보는 일이 왜 위험한지 말하시오.
풀이
(1) 설명과 부호가 어긋난다. ddof=0은 \(\sqrt{\mathrm{SSE}/120} = 2.34429\), ddof=1은 \(\sqrt{\mathrm{SSE}/119} = 2.35412\)를 준다. ddof=0이 더 작은 척도다. 쪽의 논리를 그대로 따라가면 "척도가 작다 → 표준화값 \(x_{(i)}/s\)가 밖으로 밀린다 → \(\hat F\)가 0과 1에 더 붙는다 → \(\ln \hat F\)가 더 큰 음수 → \(A^2\)이 커진다"이므로
을 예측한다. 그런데 실제로는 \(0.923067 < 0.933840\)이다. 예측과 관측의 부호가 정반대다. 그러므로 그 문장은 값이 왜 달라지는지는 말해 주지만 어느 쪽이 커지는지는 설명하지 못한다.
(2) 빠진 것은 가운데다. \(A^2\)은 꼬리에만 사는 양이 아니라
로 분포 전체에 걸친 거리이고, \(s\)를 줄이면 두 가지가 동시에 일어난다. 꼬리의 불일치는 커지지만, 동시에 점이 빽빽이 모여 있는 가운데에서 맞춤이 좋아진다. 두 효과의 부호가 반대이므로 합의 부호는 계산해야 알 수 있다.
양 끝을 보면 \(A^2(s)\)가 가운데 어딘가에서 최솟값을 가져야 함을 알 수 있다.
- \(s \to 0\): 가장 작은 잔차의 \(\hat F = \Phi(x_{(1)}/s) \to 0\)이라 \(\ln \hat F \to -\infty\)이므로 \(A^2(s) \to \infty\).
- \(s \to \infty\): 모든 \(\hat F \to 1/2\)이므로 각 괄호가 \(2\ln\frac12\)로 가고, \(\sum_i (2i-1)/n = n\)이라서
곧 양쪽에서 \(0.93\)보다 훨씬 큰 값으로 올라간다. \(A^2(s)\)는 \(s > 0\)에서 매끄러우므로 내부에 최솟값 \(s^*\)가 있다. 그리고 주어진 두 값이 그 자리를 좁혀 준다. \(2.34429 \to 2.35412\)로 \(s\)가 커질 때 \(A^2\)이 \(0.923067 \to 0.933840\)으로 늘었으므로 두 점은 모두 최솟값의 오른쪽, 곧
이다(실제로 수치로 찾으면 \(s^* = 2.2439\), \(A^2(s^*) = 0.8685\)이고, 더 내려가면 \(A^2(2.2) = 0.8801\), \(A^2(2.0) = 1.2844\)로 다시 커진다). 그래서 더 작은 척도인 ddof=0이 최솟값에 더 가까워 \(A^2\)이 작게 나온 것이다. 쪽의 꼬리 논리는 \(s < s^*\)에서만 맞는 말이다.
\(s^*\)가 적률로 맞춘 척도보다 작은 데에도 이유가 있다. 이 잔차는 폭이 다른 정규분포들의 섞임이라 덩어리가 전체 표준편차보다 좁다. 양 끝에서 \(10\%\)씩 잘라 내고 재면 표준편차가 \(1.42\)로 \(2.35\)의 \(60\%\)밖에 안 된다. 적합도 거리를 가장 작게 만드는 정규분포는 많은 점이 모인 그 덩어리의 폭 쪽으로 끌려가고, 그 값이 \(2.3443\)보다 작다.
표를 쓸 때의 위험. scipy가 보고하는 임계값 \(0.558,\, 0.636,\, 0.763,\, 0.890,\, 1.059\)는 "평균과 표준편차를 자료에서 추정하고, 그 표준편차를 ddof=1로 잡는다"는 그 표준화에 맞춰 만들어진 분포의 분위수다. 표준화를 바꾸면 통계량의 귀무분포가 바뀌므로 같은 표를 쓸 수 없다. 공식을 손으로 옮겨 ddof=0으로 \(0.923067\)을 얻은 뒤 그 표에 대는 것은 척도가 다른 자로 재는 일이다. 이번에는 \(0.9231\)과 \(0.9338\)이 둘 다 \(0.890\)과 \(1.059\) 사이에 들어 판정이 바뀌지 않았지만, 통계량이 임계값 근처일 때는 ddof 하나로 결론이 뒤집힐 수 있다.
연습문제 14. 이 쪽의 정규성 진단은 모두 통과했다(보기 4의 \(W = 0.9836\), \(p = 0.1524\), 보기 6의 \(JB = 1.6167\), \(p = 0.4456\)). 그 통과가 무엇을 보장하지 않는지를 수로 재어 본다. 보기 1의 \(\hat\beta_1 = 1.53165\), 보고 \(\mathrm{SE} = 0.074595\), 참 \(\mathrm{SE} = 0.082525\)를 쓰고 \(t_{0.975,\,118} = 1.98027\)을 받아들인다.
(1) 보고된 \(95\%\) 신뢰구간을 구하고, 그 반폭이 참 표준오차 단위로 몇인지 계산하시오.
(2) (1)의 수로 이 "\(95\%\)" 구간의 실제 포함확률을 구하시오(\(\Phi(1.79) = 0.9633\)을 쓴다). 유의수준 \(5\%\) 라 적힌 검정이 실제로는 몇 \(\%\) 로 틀리는가. 이 자료에서 정규성 진단을 모두 통과한 일이 이 오차를 왜 하나도 막아 주지 못했는지 한 줄로 적으시오.
풀이
(1) 보고된 구간. 반폭은
이므로
이다. 참값 \(\beta_1 = 1.5\)를 담고 있으니 이번 한 번은 맞혔다. 그런데 \(\hat\beta_1\)의 실제 변동은 \(0.082525\) 척도로 재야 하므로, 이 반폭을 참 표준오차 단위로 바꾸면
이다. \(1.96\)(또는 \(1.98\))을 쓸 자리에 \(1.79\)짜리 구간을 쓰고 있는 셈이다.
(2) 실제 포함확률. \(\hat\beta_1\)은 정규오차의 선형결합이므로 정확히 \(N(\beta_1,\, 0.082525^2)\)을 따른다. 구간이 \(\beta_1\)을 담는 사건은 \(\lvert \hat\beta_1 - \beta_1 \rvert \le 0.147718\), 곧 \(\lvert Z \rvert \le 1.79\)이므로
이다. "\(95\%\)" 라 적힌 구간이 실제로는 \(92.7\%\) 만 담는다. 뒤집어 말하면 유의수준 \(5\%\) 라 적힌 \(t\) 검정의 실제 제1종 오류율이
로 공칭의 \(1.5\)배다. (\(s^2\) 자체의 변동을 무시하고 보고 표준오차를 고정값으로 본 근사이며, 그것까지 넣으면 자유도 \(118\)의 보정이 더 붙는다.)
정규성 진단은 이 오차에 눈이 없다. 보기 4와 보기 6이 본 것은 잔차를 모아 놓은 분포의 모양인데, 여기서 틀어진 것은 모양이 아니라 \(\hat\beta_1\)의 척도, 곧 \(\sum_i c_i^2 \sigma_i^2\)을 \(s^2/S_{xx}\)로 바꿔치기한 자리다. Q-Q 그림이 아무리 곧고 \(p\) 값이 아무리 커도 표준오차가 옳다는 보증은 거기서 나오지 않는다. 그것을 보려면 잔차를 적합값이나 \(x\)에 대해 그리는 등분산 진단, 또는 로버스트 표준오차가 필요하다.
연습문제 15. 보기 4는 \(W\)의 비기각을 "옳은 판정이다. 오차를 정규분포에서 뽑았으므로 잔차는 정규가 맞다"라 했고, 보기 5는 같은 논리로 앤더슨–달링의 기각을 "제1종 오류(type I error)"라 불렀다. 연습문제 11의 결과를 들고 이 판정을 다시 따진다.
(1) 세 정규성 검정의 귀무가설(null hypothesis)을 정확히 적고, 이 자료에서 그것이 참인지 거짓인지 판정하시오. 잔차가 \(\mathbf e = (I - H)\boldsymbol\varepsilon\)인 점도 함께 살피시오.
(2) (1)의 답에 따라 보기 5의 "샤피로–윌크가 옳고 \(A^2\)은 제1종 오류"를 고쳐 쓰시오. 또 이 쪽이 두 번 반복한 표어 "이분산과 비정규성은 별개의 가정이다"를 어떻게 다듬어야 하는지 말하시오.
풀이
(1) 귀무가설은 조건부가 아니라 모아 놓은 표본에 대한 것이다. 샤피로–윌크, 앤더슨–달링, 자크–베라에 넘기는 것은 \(120\)개의 수 한 그룹이고, 세 검정이 모두 같은 귀무가설을 본다.
"각 \(\varepsilon_i\)가 자기 \(x_i\)를 알고 보면 정규"라는 말과 다르다. 이 자료는 \(\varepsilon_i \mid x_i \sim N(0, \sigma(x_i)^2)\)로 조건부 정규성은 성립하지만, \(\sigma\)가 \(0.5\)에서 \(4\)까지 변하므로 모아 놓은 그룹은 정규의 척도혼합(scale mixture)이다 — 분산만 서로 다른 정규분포들을 한데 섞은 분포다. 연습문제 11에서 그 첨도가
임을 이미 계산했다. 첨도가 3이 아닌 분포는 정규가 아니다. 따라서 \(H_0\)은 거짓이다.
잔차로 넘어가도 달라지지 않는다. \(\mathbf e = (I-H)\boldsymbol\varepsilon\)이므로 각 \(e_i\)는 독립 정규들의 선형결합이라 그 자체로는 정규이지만 분산이
로 \(i\)마다 다르다. 이 자료에서 \(v_i\)가 \(0.335\)부터 \(15.18\)까지 퍼지고, 모아 놓은 첨도가 \(3\,\overline{v^2}/\bar v^2 = 4.682\)다. 모자행렬이 분산을 조금 뒤섞어 \(\varepsilon\)의 \(4.733\)을 \(4.682\)로 깎을 뿐 3 근처로 데려오지 못한다. \(H_0\)은 \(\varepsilon\) 수준에서도 \(\mathbf e\) 수준에서도 거짓이다.
(2) 판정의 이름이 뒤바뀌어 있다. \(H_0\)이 거짓이므로
- 앤더슨–달링의 기각은 옳은 기각이다. 제1종 오류가 아니다. 제1종 오류는 \(H_0\)이 참일 때만 쓸 수 있는 말이다.
- 샤피로–윌크의 \(p = 0.1524\)와 자크–베라의 \(p = 0.4456\)은 제2종 오류(type II error)다.
곧 "\(A^2\)이 민감해서 헛기각했다"가 아니라 "\(A^2\)만 잡아냈고 나머지 둘이 놓쳤다"가 맞는 서술이다. 이것은 세 검정의 검정력으로 확인된다. 같은 설계를 \(4000\)번 반복해 \(5\%\) 수준의 기각률을 재면 앤더슨–달링 \(0.72\), 샤피로–윌크 \(0.68\), 자크–베라 \(0.65\)다. \(H_0\)이 참이었다면 셋 다 \(0.05\) 근처여야 한다. 기각률이 \(0.05\)가 아니라 \(0.7\) 인 것이 바로 "\(H_0\)이 거짓이고 검정에 검정력이 있다"는 뜻이다. 보기 5의 "스무 번에 한 번이 이번이었다"는 설명은 성립하지 않는다.
표어는 이렇게 다듬어야 한다. 등분산성과 정규성은 서로 다른 가정이지만, 관측마다 \(\sigma_i\)가 다르면 모아 놓은 잔차의 비조건부 분포는 자동으로 비정규가 된다(연습문제 11에서 본 대로 첨도가 반드시 3보다 커진다). 그러니
이분산은 비정규성과 별개다
가 아니라
이분산은 모아 놓은 잔차의 비정규성을 만들어 낸다. 정규성 검정이 못 보는 것은 이분산 자체가 아니라 그 무늬 — 어느 \(x\) 에서 \(\sigma\) 가 큰가 — 이고, 그 무늬는 잔차를 적합값에 대해 그려야 보인다
가 옳다. 처방까지 뒤집힌다. 정규성 검정의 기각을 보고 로그변환이나 로버스트 회귀로 "오차분포의 모양"을 고치려 들면 원인이 아닌 증상을 건드리는 것이다. 참 원인은 \(\sigma_i\)가 \(x_i\)와 함께 커진다는 것이고, 그 처방은 다음 절의 가중회귀다.
연습문제 16. 이 쪽은 오차를 "평균 0, 분산 1 로 맞춘 로그정규"로 두고 왜도 \(6.18\), 하한 \(-0.76\), 참 중앙 95% 구간 \([-0.70,\ 2.52]\) 라는 세 숫자를 보고했다. 이 셋이 모두 하나의 모수에서 나온다는 것을 확인하자.
\(Z \sim N(0,1)\), \(W = e^{\sigma Z}\) 로 두고 \(\epsilon\) 을 \(W\) 의 표준화라 하자. 로그정규의 왜도가 \((e^{\sigma^2} + 2)\sqrt{e^{\sigma^2} - 1}\) 임은 주어진 것으로 쓴다(표준화는 왜도를 바꾸지 않는다).
(a) 왜도가 \(6.18\) 이라는 사실에서 \(\sigma\) 를 구하라.
(b) 그 \(\sigma\) 에서 \(\epsilon\) 의 하한을 구하고 \(-0.76\) 과 맞는지 보라.
(c) \(\epsilon\) 의 중앙 95% 구간을 구하고 \([-0.70,\ 2.52]\) 와 맞는지 보라. \(\Phi^{-1}(0.975) = 1.95996\), \(e = 2.71828\) 을 쓰라.
풀이
(a) \(u = e^{\sigma^2}\) 로 두면 \((u + 2)\sqrt{u - 1} = 6.18\) 을 풀면 된다. 왼변은 \(u > 1\) 에서 증가하므로 해가 하나다. 몇 점을 대어 보면
이므로 \(u \approx 2.718 = e\) 이다. 곧 \(\sigma^2 = 1\), \(\sigma = 1\) 이다. 되짚어 보면
로 보고된 \(6.18\) 과 맞는다. 쪽의 오차는 표준 로그정규 \(e^Z\) 였다.
(b) \(W = e^Z\) 의 평균과 분산은
이므로
이다. \(e^Z > 0\) 이고 \(e^Z \to 0\) 이 가능하므로 하한(도달하지 못하는 하계)은
로 쪽의 \(-0.76\) 과 일치한다.
(c) \(\epsilon\) 은 \(Z\) 의 증가함수이므로 분위수가 보존된다. \(z = \pm 1.95996\) 에서 \(e^{-1.95996} = 0.14086\), \(e^{1.95996} = 7.09921\) 이므로
이고, 참 중앙 95% 구간은 \([-0.698,\ 2.522]\) 로 쪽의 \([-0.70,\ 2.52]\) 와 일치한다.
세 숫자가 서로 독립적인 정보가 아니었다. \(\sigma = 1\) 하나만 정하면 왜도 \(6.18\), 하한 \(-0.76\), 비대칭 구간 \([-0.70, 2.52]\) 가 모두 따라 나온다. \(\square\)
연습문제 17. 연습문제 16 의 오차 \(\epsilon = (e^Z - e^{1/2})/\sqrt{e^2 - e}\) 를 쓴다. \(\sigma = 1\) 을 안다고 보고 만든 명목 95% 예측구간 \(\pm 1.96\) 의 참 포함확률을 구하라. 아래로 새는 확률과 위로 새는 확률을 따로 적어라. \(\ln 5.88467 = 1.77235\), \(\Phi(1.77235) = 0.96183\) 을 쓰라.
이 값을 쪽이 보고한 \(n = 20\): \(93.4\%\) \((0.0,\ 6.6)\), \(n = 100\): \(95.6\%\) \((0.0,\ 4.4)\), \(n = 640\): \(96.3\%\) \((0.0,\ 3.7)\) 과 비교하여 모의실험 수치가 어디로 수렴하는지 말하라. 그리고 포함률이 \(n\) 과 함께 \(93.4 \to 95.6 \to 96.3\) 으로 올라간 까닭을 설명하라.
풀이
위쪽 먼저. \(\epsilon \le 1.96\) 은
곧 \(Z \le \ln 5.88467 = 1.77235\) 와 같다. 따라서
이다. 아래쪽은 \(\epsilon \ge -0.76287 > -1.96\) 이므로 \(P(\epsilon < -1.96) = 0\) 이다. 그러므로 참 포함확률은
곧 \(96.18\%\) 이고, 빗나감의 배분은 아래 \(0.00\%\), 위 \(3.82\%\) 다.
모의실험 수치는 이 극한으로 간다. \(n = 640\) 의 \(96.3\%\) \((0.0,\ 3.7)\) 은 \(96.18\%\) \((0.0,\ 3.82)\) 와 소수 첫째 자리까지 사실상 같다. 연습문제 10 에서 보았듯 \(h_0 \to 0\) 이면 예측구간이 \(\epsilon\) 자신의 \(\pm 1.96\) 구간으로 수렴하기 때문이다.
포함률이 올라간 까닭은 작은 \(n\) 에서 \(\sigma\) 가 아니라 \(s\) 를 쓴다는 데 있다. \(E[s^2] = \sigma^2 = 1\) 은 어느 \(n\) 에서나 맞지만, 왜도 \(6.18\) 의 오차에서 \(s^2\) 의 분포 자체가 심하게 오른쪽으로 치우쳐 중앙값이 평균보다 훨씬 낮다. 이 오차로 모의해 보면 \(s^2\) 의 중앙값은 \(n = 20\) 에서 \(0.54\), \(n = 100\) 에서 \(0.77\), \(n = 640\) 에서 \(0.92\) 이고 \(P(s^2 < 1)\) 은 각각 \(0.74\), \(0.68\), \(0.62\) 다. 곧 작은 \(n\) 에서는 구간이 너무 좁게 나오는 일이 훨씬 흔하다. \(\sqrt{1 + h_0}\) 와 \(t\) 배수는 반대로 구간을 넓히지만 \(n = 20\) 에서는 \(s\) 가 작게 나오는 효과가 이겨 포함률이 \(93.4\%\) 로 내려간다. \(n\) 이 커지면 \(s \to \sigma\) 로 안정되어 극한 \(96.18\%\) 로 올라붙는다.
포함률이 95% 를 넘어선 것은 좋은 소식이 아니다. 아래쪽 2.5% 를 쓸 수 없어 생긴 잉여가 위쪽의 과소보호(\(3.82\%\) 는 명목 \(2.5\%\) 의 1.5 배다)를 총량 뒤에 숨긴 것이다.
연습문제 18. 단순회귀 \(y_i = \beta_0 + \beta_1 x_i + \epsilon_i\) 에서 \(w_i = x_i - \bar{x}\) 라 하고, 오차의 왜도를 \(\gamma\) 라 하자.
(a) \(\hat{\beta}_1 - \beta_1 = \sum_i w_i \epsilon_i \big/ \sum_i w_i^2\) 를 써서
임을 보여라.
(b) 같은 설계점 그룹을 \(k\) 번 똑같이 반복해 표본을 \(k\) 배로 늘리면 이 왜도가 \(1/\sqrt{k}\) 배가 됨을 보여라.
(c) 쪽의 \(n = 10\) 에서 \(\operatorname{skew}(\hat{\beta}_1) = 2.67\) 이었다. (b) 의 법칙으로 \(n = 200\) 의 값을 예측하고 실제 \(0.50\) 과 비교하라.
(d) 모든 설계에서 \(\lvert \operatorname{skew}(\hat{\beta}_1) \rvert \le \lvert \gamma \rvert\) 임을 보여라. 또 설계점이 \(\bar{x}\) 에 대해 좌우대칭이면 이 왜도가 정확히 0 임을 보이고, 쪽이 "설명변수도 일부러 한쪽으로 치우친 설계점을 썼다"고 밝힌 까닭을 말하라.
풀이
(a) \(S = \sum w_i^2\) 로 두고 \(D = \hat{\beta}_1 - \beta_1 = \sum_i w_i \epsilon_i / S\) 라 하자. \(\epsilon_i\) 가 독립이고 평균 0, 분산 \(\sigma^2\), 3차 중심적률 \(\mu_3 = \gamma \sigma^3\) 이므로 교차항이 모두 사라져
이다. 따라서
이다.
(b) 같은 그룹을 \(k\) 번 반복하면 \(\bar{x}\) 가 그대로이므로 \(w\) 값들의 목록만 \(k\) 벌로 늘어난다. 그러면 \(\sum w_i^3 \to k \sum w_i^3\), \(S \to kS\) 이므로
로 비가 \(1/\sqrt{k}\) 배가 된다. 오차의 왜도 \(\gamma\) 는 손대지 않았는데도 \(\hat{\beta}_1\) 의 왜도만 줄어드는 것이 중심극한정리가 계수 쪽에서 작동하는 모습이다.
(c) \(k = 200/10 = 20\) 이므로 예측값은
이고 실제는 \(0.50\) 이다. 자릿수와 감소 배율(\(2.67/0.50 = 5.34\) 대 \(\sqrt{20} = 4.47\))은 맞게 나오지만 정확히 일치하지는 않는다. (b) 의 \(1/\sqrt{k}\) 법칙은 설계점의 모양을 그대로 유지하며 복제할 때만 성립하는데, 두 모의실험의 설계점 집합은 \(n\) 에 따라 다르기 때문이다. 유효표본크기로 읽으면 \((\gamma/\operatorname{skew})^2\) 가 \(n = 10\) 에서 \((6.18/2.67)^2 = 5.4\)(명목의 54%), \(n = 200\) 에서 \((6.18/0.50)^2 = 152.8\)(명목의 76%) 이니, \(n = 200\) 의 설계가 상대적으로 덜 치우쳐 있었다는 뜻이다.
(d) \(\ell^3\) 노름이 \(\ell^2\) 노름보다 작다는 사실로 바로 나온다. \(M = \max_i \lvert w_i \rvert\) 라 하면
이므로 \(\lvert \sum w_i^3 \rvert \big/ S^{3/2} \le 1\) 이고, 따라서 \(\lvert \operatorname{skew}(\hat{\beta}_1) \rvert \le \lvert \gamma \rvert\) 다. 실제로 \(2.67 \le 6.18\) 로 지켜졌다.
설계점이 \(\bar{x}\) 에 대해 좌우대칭이면 \(w\) 값들이 \(\pm\) 쌍으로 짝지어지므로 \(\sum_i w_i^3 = 0\) 이고 왜도가 정확히 0 이다. 오차의 왜도가 \(6.18\) 이든 \(10^6\) 이든 상관없다. 그러므로 치우친 오차만으로는 \(\hat{\beta}_1\) 의 표집분포를 비틀 수 없고, 설계점이 함께 치우쳐야 비틀린다. 쪽이 \(n = 10\) 에서 왜도 \(2.67\) 이라는 눈에 보이는 비대칭을 만들어 보이려고 설계점까지 한쪽으로 몰아 둔 이유가 이것이다. \(\square\)
연습문제 19. 이 쪽은 두 가지를 함께 말한다. 1절의 표는 \(n > 100\) 이면 정규성이 "덜 중요"하다고 하고, 정리하며는 "형식적 정규성 검정은 표본크기에 좌우되므로 참고만 한다"고 한다.
오차가 쪽의 로그정규(왜도 \(6.18\))로 고정되어 있을 때, \(n\) 을 키우면 (i) 샤피로–윌크 검정이 기각할 확률과 (ii) 그 비정규성이 추론에 끼치는 해악이 각각 어느 방향으로 움직이는지 쓰고, 그래서 검정의 \(p\) 값만으로는 "무엇을 해야 하는가"를 정할 수 없음을 설명하라.
쪽의 내용으로 (a) \(p\) 값이 아주 작은데도 그냥 넘어가도 되는 경우와 (b) \(p\) 값이 크지만 넘어가서는 안 되는 경우를 하나씩 들라.
풀이
(i) 기각확률은 \(n\) 과 함께 1 로 올라간다. 참 분포가 정규가 아니면 이탈의 크기가 고정되어 있어도 \(n\) 만 키우면 어떤 유의수준에서도 거의 확실히 기각된다. 검정의 귀무가설은 "정규다"이고 그것이 그냥 거짓이므로, 표본이 커지는 것은 거짓을 탐지할 힘만 키운다.
(ii) 계수 추론에 끼치는 해악은 \(n\) 과 함께 0 으로 내려간다. 오차의 왜도가 \(6.18\) 로 그대로인데도 \(\hat{\beta}_1\) 의 왜도는 \(n = 10\) 의 \(2.67\) 에서 \(n = 200\) 의 \(0.50\) 으로 떨어지고 히스토그램이 표준정규에 포개진다.
두 양이 반대 방향으로 움직이므로 \(p\) 값의 크기와 조치의 필요성 사이에 단조 관계가 없다. \(p\) 값이 작다는 것은 "이탈이 있다"는 말이고, 실무가 묻는 것은 "이 이탈이 내가 보고할 양을 망치는가"다. 후자의 답은 \(n\) 과 무엇을 쓸 것인가(계수냐 예측이냐)에 달려 있고, 샤피로–윌크는 그 둘을 모른다.
(a) \(n = 200\) 에서 계수의 \(p\) 값과 신뢰구간만 보고하는 경우. 왜도 \(6.18\) 의 오차라면 샤피로–윌크는 사실상 확실히 기각하지만, \(\hat{\beta}_1\) 의 표집분포는 이미 표준정규에 거의 포개져 있어 \(t\) 분포표를 읽어도 무리가 없다. 쪽이 "Q-Q 그림이 조금 휘어도 넘어갈 수 있다"고 한 자리다.
(b) 두 경우가 있다. 첫째로 \(n = 20\) 처럼 작은 표본에서 검정력이 낮아 왜도 \(6.18\) 조차 자주 놓치는데, 바로 그 구간(\(n < 30\))이 표가 "결정적"이라고 적은 구간이다. 불기각을 "정규성 확인됨"으로 읽으면 가장 위험한 곳에서 안심하게 된다. 둘째로 예측구간을 보고할 작정이라면 \(n = 640\) 의 \(96.3\%\) \((0.0,\ 3.7)\) 처럼 빗나감이 한쪽에 몰리는 문제가 \(p\) 값과 무관하게 남으므로, 어느 \(n\) 에서도 넘어가서는 안 된다.
연습문제 20. 10절은 비정규성의 대책으로 "종속변수에 로그를 적용하면 비정규성이 교정되기도 한다"를 든다. 이 처방을 이 쪽의 설정에 그대로 대어 보자. \(\lambda = 1/\sqrt{e^2 - e}\), \(\kappa = e^{1/2}/\sqrt{e^2 - e}\) 로 두면 연습문제 16 의 오차는 \(\epsilon = \lambda e^Z - \kappa\) 이고 모형은
이다.
(a) \(\log Y\) 를 \(Z\) 와 \(m(x)\) 로 쓰고, 그것이 "\(x\) 의 함수 + \(x\) 와 무관한 오차" 꼴로 쪼개지는 것이 \(\beta_1 = 0\) 일 때뿐임을 보여라.
(b) \(\beta_1 \ne 0\) 일 때 로그변환이 깨뜨리는 것은 네 가정 중 어느 것인가.
(c) 그렇다면 로그변환은 오차가 어떤 구조로 들어와 있을 때 맞는 처방인가. 가법 오차인 이 쪽의 설정에서는 10절의 네 대책 중 무엇이 맞는지 고르고 이유를 대라.
풀이
(a) \(c(x) = m(x) - \kappa\) 로 두면 \(Y = \lambda e^Z + c(x)\) 이므로(로그를 쓰려면 \(Y > 0\) 이어야 한다)
이다. 앞의 두 항은 이미 "오차 + 상수" 꼴이니 문제는 마지막 항 \(g(x, Z) = \log(1 + a e^{-Z})\), \(a = c(x)/\lambda\) 다. 어떤 함수가 \(f(x) + h(Z)\) 로 쪼개지려면 혼합편도함수가 0 이어야 한다. 그런데
이고 \(a\) 는 \(x\) 의 1차함수라 \(\partial a/\partial x = \beta_1/\lambda\) 이므로
이다. 이것이 모든 \((x, Z)\) 에서 0 이 되는 것은 \(\beta_1 = 0\) 일 때뿐이다. \(\beta_1 = 0\) 이면 \(a\) 가 상수이므로 \(\log Y\) 가 "상수 + \(Z\) 의 함수"로 쪼개지고, 게다가 \(\beta_0 = \kappa\) 까지 맞으면 \(\log Y = Z + \log \lambda\) 로 오차가 정확히 정규가 된다. 그러나 \(\beta_1 = 0\) 은 \(x\) 가 \(Y\) 에 아무 영향도 주지 않는 경우, 곧 회귀를 할 이유가 없는 경우다. \(\square\)
(b) 선형성과 등분산성이다. \(\log Y\) 의 조건부평균 \(E[\log Y \mid x]\) 는 \(x\) 의 비선형함수가 되고, 조건부 오차 \(\log Y - E[\log Y \mid x]\) 의 분포 자체가 \(x\) 에 따라 달라진다(위의 혼합편도함수가 0 이 아니라는 말이 바로 이 뜻이다). 특히 \(c(x)\) 가 커질수록 \(\log\) 가 \(\lambda e^Z\) 의 변동을 더 강하게 눌러 분산이 작아진다. 정규성 하나를 고치려고 더 중요한 두 가정을 내주는 거래다.
또 가법 모형에서는 \(m(x)\) 가 작은 설계점에서 \(Y \le 0\) 이 될 수 있어 \(\log Y\) 가 아예 정의되지 않는다. 가법 오차에 로그를 씌우는 것은 시작부터 성립하지 않을 수 있다.
(c) 로그변환은 오차가 곱으로 들어와 있을 때 맞는 처방이다. \(Y = e^{\beta_0 + \beta_1 x} U\) 이고 \(U\) 가 로그정규이면
로 선형성·등분산성·정규성이 한꺼번에 성립한다. 이때 비정규성은 척도를 잘못 골라 생긴 겉모습이었고 로그가 그것을 걷어낸다.
이 쪽의 설정에는 그런 곱 구조가 없으므로(오차가 평균구조에 더해져 있다) 맞는 대책은 부트스트랩이다. 부트스트랩은 분포 가정에 기대지 않고, 특히 잔차의 경험분포에서 뽑아 비대칭 예측구간을 만들 수 있어 참 구간 \([-0.70,\ 2.52]\) 처럼 한쪽으로 밀린 모양을 재현한다. 나머지 둘은 듣지 않는다. "더 큰 표본"은 연습문제 10, 17 에서 보았듯 예측구간의 한쪽 쏠림을 없애지 못하고, "로버스트 회귀"는 이상치의 영향을 줄이지만 역시 좌우대칭 구간을 내놓는다. 1 절 마지막 문단이 "부트스트랩으로 비대칭 구간을 만들거나, 분위수회귀처럼 대칭을 강요하지 않는 방법으로" 라고 적은 것이 이 결론이다.
정리하며¶
정규성 확인은 Q-Q 그림이 중심이다.
- 잔차의 Q-Q 그림을 본다. 점들이 직선에서 체계적으로 벗어나는 모양이 정보다. S 자면 꼬리가 두껍거나 얇은 것이고, 한쪽이 휘면 치우친 것이다.
- 형식적 검정은 보조 수단이다. 샤피로–윌크나 자크–베라는 표본이 크면 사소한 이탈에도 기각하고 작으면 큰 이탈도 놓친다(14장). 검정 결과만으로 판단하지 말 것.
- 정규성은 네 가정 중 가장 덜 중요하다. 계수의 불편성에도, 가우스–마르코프에도 필요 없으며 대표본에서는 중심극한정리가 보호한다.
- 다만 예측구간은 정규성에 직접 기댄다. 개별 예측의 구간을 쓸 생각이라면 더 신중해야 한다.
- 잔차에 대한 가정이다. \(Y\) 나 \(X\) 의 분포가 아니라 \(\varepsilon\) 의 분포다. 이 혼동이 매우 흔하다.
- 진짜 문제는 이상치다. Q-Q 그림에서 크게 벗어난 몇 점이 보이면 정규성보다 그 점들 자체를 들여다볼 일이다.
다음 절 가중회귀로 넘어간다.