콘텐츠로 이동

모형선택을 위한 교차검증

들어가는 이야기 — 어디서 끊었는지에 매달린다

떼어 놓은 자료로 재면 안전하다는 생각이 널리 퍼져 있다. 자료를 반으로 갈라 한쪽으로 적합하고 다른 쪽으로 채점하는 그 한 번이 어디서 끊었는지에 매달린다는 사실은 덜 알려져 있다. 그 한 번으로 모형을 고르고 성능까지 적으면 같은 자료를 두 번 쓴 것이 된다.

\(n = 200\) 인 자료를 절반으로 갈라 \(100\) 개로 다항회귀를 적합하고 남은 \(100\) 개로 채점한다. 분할의 난수만 열 번 바꾸어 같은 일을 반복하면 고른 차수가 \([10, 6, 9, 5, 5, 6, 6, 3, 3, 9]\) 로 나오고 표준편차가 \(2.3152\) 다. 자료도 방법도 그대로이고 어디서 끊었는지만 다른데 \(3\) 차와 \(10\) 차 사이를 오가는 답이 나온다.

변동의 크기를 한 줄에서 견줄 수 있다. 차수 \(6\) 만 보면 분할에 따른 표준편차가 \(0.035057\) 인데, 열 번의 평균 \(0.277278\) 과 하나 빼기 교차검증 값 \(0.257722\) 의 차이는 \(0.019556\) 이다. 고르려는 차이보다 재는 자의 변동이 더 크다.

두 칸짜리 그림. 왼쪽은 같은 자료를 절반으로 가르는 난수만 열 번 바꾸어 얻은 검증 MSE 곡선 열 개를 겹쳐 그린 것으로, 각 곡선이 고른 차수가 3 에서 10 까지 흩어져 있다. 오른쪽은 분할을 몇 번 평균하느냐에 따라 고른 차수의 표준편차가 1.70 에서 0.48 로 가라앉는 곡선이다

왼쪽. 자료도 방법도 그대로이고 어디서 끊었는지만 열 번 바꾸었다. 열 곡선이 거의 포개져 보이는데 각자의 최솟값(붉은 점)은 \(3\) 에서 \(10\) 까지 흩어진다 — 본문이 적은 \([10, 6, 9, 5, 5, 6, 6, 3, 3, 9]\) 그대로이고 표준편차가 \(2.3152\) 다. 곡선이 평평해서 바닥의 자리가 잡음에 끌려다니는 것이다. 오른쪽. 고치는 길은 여러 번 재서 평균하는 것이다. 한 번이면 표준편차가 \(1.70\) 인데 다섯 번을 평균하면 \(1.14\), 쉰 번이면 \(0.99\), 백 번이면 \(0.48\) 로 내려간다. \(K\) 겹이 하는 일이 바로 이것이다 — 모든 자료를 한 번씩 채점에 쓰는 것.

까닭은 둘이 겹치기 때문이다 — 훈련이 \(100\) 개로 줄어 적합이 흔들리고, 채점도 \(100\) 개로만 해서 또 흔들린다.

고치는 길은 모든 자료를 한 번씩 채점에 쓰는 것이고 그것이 \(K\) 겹이다. 다만 \(K\) 를 키우는 일에도 값이 따른다 — 하나 빼기까지 가면 편향은 가장 작아지는데 겹끼리 거의 같은 자료로 적합해 분산이 다시 는다. 떼어 놓은 자료로 재면서도 어디서 떼었는지에 답이 매달리지 않게 하려면 어떻게 해야 하는가. 아래 상자 둘이 그 절차를 한 걸음 어긋나게 쓰면 무엇이 무너지는지를 따라간다.

확인한 곳 — 이 쪽 「폴드 밖에서 고르면 교차검증이 아니다」·「\(20\) 분 차이로 백만 달러」 상자와 그 출처 줄

AIC나 BIC 같은 정보기준은 수학적 근사로 표본 밖 성능을 추정한다. 교차검증은 더 직접적인 접근을 취한다. 자료를 훈련 부분집합과 검증 부분집합으로 반복해 나누고, 훈련자료로 모형을 적합한 뒤 남겨 둔 자료에서 예측을 평가한다. 이렇게 하면 모형이 새 관측값에 얼마나 잘 일반화되는지에 대한 구체적인 추정값을 얻는다.

이 쪽의 실험은 참 관계가 \(g(x) = \sin x + 0.3x\) 로 후보 안에 없다 — 어떤 다항 차수도 옳지 않으므로 「맞히는가」를 물을 수 없고, 세 방법이 무엇을 고르는가를 묻는다. 참 모형이 후보 안에 있을 때 세 방법이 그것을 찾아내는지는 교차검증 다항 모형선택에서 따로 본다. 이 대비가 베이즈 정보기준의 일치성이 성립하는 전제이기도 하다.


1. 검증집합 방법

가장 단순한 전략은 자료를 서로 겹치지 않는 두 부분집합, 곧 모형을 적합할 훈련집합과 평가할 검증집합(홀드아웃 집합)으로 나누는 것이다.

관측값 \(n\)개가 있을 때 일정 비율(보통 50–80%)을 무작위로 훈련에 배정하고 나머지를 검증에 배정한다. 훈련집합으로 모형을 적합하고 검증집합에서 예측오차를 계산한다.

\[ \text{CV}_{\text{val}} = \frac{1}{n_{\text{val}}} \sum_{i \in \text{val}} (y_i - \hat{y}_i)^2 \]

여기서 \(\hat{y}_i\)는 훈련집합만으로 적합한 모형이 내놓은 관측값 \(i\)의 예측값이다.

분할이 달라지면 답도 달라진다

  • 큰 분산: 추정값이 어떤 관측값이 훈련에 가고 어떤 것이 검증에 가느냐에 크게 좌우된다. 무작위 분할이 달라지면 오차 추정값이 상당히 달라질 수 있다.
  • 줄어든 훈련자료: 모형이 쓸 수 있는 것보다 적은 관측값으로 훈련되므로 오차 추정값에 비관적 편향이 생긴다.

2. K-겹 교차검증

K-겹 교차검증은 모든 관측값을 훈련과 검증에 모두 쓰게 하여 검증집합 방법의 한계를 극복한다.

겹을 돌려 가며 한 번씩 검증에 쓴다

  1. \(n\)개의 관측값을 크기가 대략 같은 \(K\)개의 그룹(겹) \(C_1, C_2, \ldots, C_K\)으로 무작위로 나눈다.
  2. 각 겹 \(k = 1, \ldots, K\)에 대해 다음 둘을 한다.
    • 겹 \(C_k\)에 속한 관측값을 제외한 모든 관측값으로 모형을 적합한다.
    • \(C_k\)의 남겨 둔 관측값을 예측하고 오차를 기록한다.
  3. 모든 겹의 예측오차를 평균낸다.

겹마다의 오차를 크기로 가중해 더한다

\(n_k = |C_k|\)를 겹 \(k\)의 관측값 개수라 하고, \(\hat{y}_i^{(-k)}\)를 겹 \(k\) 없이 훈련한 모형이 내놓은 관측값 \(i\)의 예측값이라 하자. 예측오차의 K-겹 교차검증 추정값은

\[ \text{CV}_{(K)} = \frac{1}{n} \sum_{k=1}^{K} \sum_{i \in C_k} (y_i - \hat{y}_i^{(-k)})^2 \]

모든 겹의 크기가 같다면 이는 다음과 동등하다.

\[ \text{CV}_{(K)} = \frac{1}{K} \sum_{k=1}^{K} \text{MSE}_k \]

여기서 \(\text{MSE}_k = \frac{1}{n_k} \sum_{i \in C_k} (y_i - \hat{y}_i^{(-k)})^2\)는 겹 \(k\)의 평균제곱오차(mean squared error)이다.

흔한 선택은 \(K = 5\)와 \(K = 10\)이다. 두 값 모두 교차검증 추정값의 편향과 분산 사이에서 좋은 절충을 이룬다는 것이 경험적으로 확인되었다.


3. 하나 빼기 교차검증

하나 빼기 교차검증(leave-one-out cross-validation, LOOCV)은 \(K = n\)인 K-겹 교차검증의 특수한 경우로, 각 겹이 정확히 관측값 하나를 담는다.

\[ \text{CV}_{(n)} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i^{(-i)})^2 \]

여기서 \(\hat{y}_i^{(-i)}\)는 \(i\)를 제외한 모든 관측값으로 훈련한 모형이 내놓은 관측값 \(i\)의 예측값이다.

선형회귀에서의 지름길

선형회귀(linear regression)에서 LOOCV에는 놀라운 계산 지름길이 있다. \(n\)개의 모형을 따로 적합하는 대신, 모자행렬 \(\mathbf{H} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\)를 이용해 한 번의 적합으로 LOOCV 오차를 계산할 수 있다.

\[ \text{CV}_{(n)} = \frac{1}{n} \sum_{i=1}^{n} \left(\frac{e_i}{1 - h_{ii}}\right)^2 \]

여기서 \(e_i = y_i - \hat{y}_i\)는 통상적인 잔차이고 \(h_{ii}\)는 \(\mathbf{H}\)의 \(i\)번째 대각원소이다. 이 공식은 관측값 \(i\)의 하나 빼기 예측오차가 통상적인 잔차를 \(1 - h_{ii}\)로 나눈 것에 지나지 않음을 보여준다. 여기서 \(h_{ii}\)는 관측값 \(i\)의 지렛값(leverage), 곧 그 관측값의 \(y_i\) 가 자기 적합값 \(\hat{y}_i\) 를 얼마나 끌어당기는지를 잰다.

LOOCV 지름길의 유도

관측값 \(i\)를 제거하면 셔먼–모리슨–우드버리(Sherman–Morrison–Woodbury) 공식(행 하나를 뺀 뒤의 \((\mathbf{X}^\top\mathbf{X})^{-1}\) 을 다시 계산하지 않고 원래 역행렬로 적어 주는 항등식)이 \(\hat{\boldsymbol{\beta}}\)의 변화를 주며, \(x_i\)에서의 예측값은 정확히 \(e_i \cdot h_{ii} / (1 - h_{ii})\)만큼 바뀐다. 따라서 하나 빼기 잔차는 \(y_i - \hat{y}_i^{(-i)} = e_i / (1 - h_{ii})\)이다.


그림으로 보는 통계학 1. 폴드 밖에서 고르면 교차검증이 아니다

교차검증의 생각은 한 줄이다 — 고르는 데 쓴 자료와 채점하는 데 쓰는 자료를 떼어 놓는다. 그런데 실무에서 이 한 줄이 가장 자주 깨지는 자리가 있고, 깨지는 줄도 모르고 깨진다.

변수가 많을 때 흔히 이렇게 한다. 먼저 \(y\) 와 상관이 큰 변수 몇 개를 전체 자료에서 고르고, 그 변수들로 모형을 세운 뒤, 그 모형을 교차검증한다. 순서가 자연스러워 보인다. 그런데 고르는 단계에서 이미 \(y\) 를 전부 보았다. 폴드로 떼어 놓은 자료가 이미 선택에 한 번 쓰였으므로, 그 폴드는 더 이상 「처음 보는 자료」가 아니다.

얼마나 어긋나는지는 관계가 하나도 없는 자료에 걸어 보면 선명하다.

왼쪽은 교차검증이 말하는 R² 의 분포 둘로, 전체 자료로 고른 쪽은 +0.44 둘레에 몰려 있고 폴드 안에서 고른 쪽은 -0.39 둘레에 있어 0 을 사이에 두고 완전히 갈린다. 오른쪽은 고를 수 있는 변수의 개수에 따른 평균으로, 잘못된 길이 -0.23 에서 +0.50 으로 오른다

\(n = 50\) 에 설명변수(explanatory variable)를 모두 난수로, 반응변수도 난수로 만들었다. 참 \(R^2\) 은 \(0\) 이다. 그런데 전체 자료로 고른 뒤 교차검증하면 \(400\) 번 가운데 \(400\) 번 모두 양수가 나왔다. 자료에서 직접 그렸다.

왼쪽 두 봉우리가 \(0\) 을 사이에 두고 갈라져 있다. 잘못된 길은 평균 \(+0.44\) 를 내놓고 한 번도 음수를 내지 않았다 — 어느 자료를 받아도 「설명력 \(44\%\) 짜리 모형을 찾았다」고 보고하게 된다. 옳은 길은 평균 \(-0.39\) 이고, 이 음수가 맞는 답이다. 쓸모없는 모형은 그냥 평균을 쓰느니만 못하므로 \(R^2\) 이 음수로 나오는 것이 정상이다.

오른쪽은 이 거짓말이 어디서 오는지 보여 준다. 고를 수 있는 변수가 \(20\) 개일 때는 잘못된 길도 음수인데, \(2000\) 개가 되면 \(+0.50\) 까지 오른다. 훑어본 것이 많을수록 우연히 잘 맞는 것을 찾을 확률이 커지고, 그 우연이 선택을 통해 폴드 안으로 새어 든다.

같은 병이 §\(5\) 의 라쏘 경로 쪽과 단계적 선택 쪽에서도 나왔다. 프리드먼이 보인 것은 「고르고 나서 \(F\) 검정을 하면」이었고, 여기서는 「고르고 나서 교차검증을 하면」이다. 고르는 일도 추정의 일부라는 같은 말이다.

고치는 법은 간단하지만 번거롭다. 폴드 안으로 집어넣는 것이다. 변수 선택, 결측값 채우기, 표준화, 초모수 탐색 — \(y\) 를 한 번이라도 들여다보는 단계는 전부 훈련 쪽에서만 하고 폴드마다 다시 해야 한다. scikit-learn 의 Pipeline 이 있는 까닭이 그것이다. 전처리를 파이프라인 안에 넣어 두면 cross_val_score 가 폴드마다 알아서 다시 돌린다.

확인한 곳 — 변수 선택을 교차검증 밖에서 하면 오차가 크게 낙관적으로 나온다는 것은 『The Elements of Statistical Learning』 \(7.10.2\) 절이 「교차검증의 옳은 길과 그른 길」로 다루는 유명한 예다 · 그림의 수치는 \(n=50\) · \(400\) 번(오른쪽은 \(150\) 번)으로 이 쪽이 직접 쟀다

4. 교차검증의 편향–분산 절충

\(K\)의 선택에는 절충이 따른다.

편향: K-겹 교차검증에서 각 훈련집합의 크기는 대략 \(n(K-1)/K\)이다. \(K\)가 작으면(예: \(K = 2\)) 각 훈련집합이 전체 자료보다 훨씬 작아, 모든 자료로 훈련한 모형에 비해 성능이 떨어지는 모형이 나온다. 이는 교차검증 오차 추정값에 위쪽 편향을 만든다. LOOCV(\(K = n\))는 각 훈련집합이 \(n - 1\)개의 관측값을 가지므로 이 편향을 최소화한다.

분산: LOOCV의 \(K\)개 훈련집합은 거의 완전히 겹치므로(\(n - 2\)개의 관측값을 공유한다) \(K\)개의 적합된 모형이 강하게 상관되어 있다. 상관된 양들을 평균내는 것은 무상관인 양들을 평균내는 것보다 분산을 덜 줄인다. 그 결과 LOOCV는 분산이 클 수 있다. \(K\)가 작으면(예: \(K = 5\)나 \(K = 10\)) 추정값들의 상관이 덜해 분산이 보통 더 작다.

\(K\)의 선택 교차검증 추정값의 편향 교차검증 추정값의 분산 계산량
\(K = 5\) 중간(위쪽) 작음 모형 5회 적합
\(K = 10\) 작음 중간 모형 10회 적합
\(K = n\) (LOOCV) 거의 불편 클 수 있음 1회 적합(선형회귀의 지름길을 쓸 때)

K 를 바꿀 때 교차검증 추정값의 편향과 분산

위 표를 모의실험으로 확인해 보자. 관측값 \(n = 80\), 설명변수 \(5\)개의 회귀를 \(600\)번 반복하면서, 매번 전체 자료로 적합한 모형의 진짜 표본밖 MSE를 아주 큰 시험자료에서 따로 재 두었다. 교차검증이 추정하려는 목표가 그 값이고, 그림은 (교차검증 추정값 \(-\) 실제값)을 정리한 것이다.

왼쪽이 편향이다. \(K = 2\)에서 평균 오차가 \(+0.098\)로 뚜렷하게 위로 치우친다. 훈련집합이 \(40\)개뿐이라 전체 \(80\)개로 적합한 모형보다 나쁜 모형을 평가하게 되기 때문이다. \(K = 5\)에서 \(+0.022\), \(K = 10\)에서 \(+0.009\)로 급격히 줄고, LOOCV(\(K = 80\))에서는 \(+0.001\)로 사실상 사라진다. 훈련집합이 \(79\)개여서 전체와 거의 같기 때문이다. 표의 "편향" 열이 그대로 재현되었다.

오른쪽이 분산이다. \(K = 2\)에서 오차의 표준편차가 \(0.239\)로 가장 크고, \(K = 5\)에서 \(0.195\), \(K = 10\)에서 \(0.188\)까지 줄어든 뒤 \(K = 20\) 이후로는 \(0.184\) 언저리에서 더 이상 내려가지 않는다. \(K\)를 \(20\)에서 \(80\)으로 네 배 늘려도 얻는 것이 없다는 뜻이다. 겹이 많아질수록 각 훈련집합이 서로 거의 같아져(LOOCV에서는 \(78\)개의 관측값을 공유한다) \(K\)개의 추정값이 강하게 상관되고, 상관된 값을 평균해서는 분산이 줄지 않기 때문이다.

두 그림을 겹쳐 보면 \(K = 5\)에서 \(K = 10\) 사이가 답이라는 것이 보인다. 그보다 작으면 편향이 눈에 띄게 커지고, 그보다 크면 계산만 늘 뿐 편향도 분산도 거의 개선되지 않는다. 아래 권장이 경험칙이 아니라 이 두 곡선의 교차점에서 나온 결론이다.

기본 권장

실무에서는 \(K = 5\)나 \(K = 10\)이 권장된다. James 등(2013)은 이 값들이 편향도 분산도 지나치게 크지 않은 교차검증 오차 추정값을 준다는 것이 경험적으로 확인되었다고 지적한다.


5. 모형선택을 위한 교차검증

K-겹 교차검증으로 \(M\)개의 후보 모형 가운데 고르려면

  1. 각 모형 \(j = 1, \ldots, M\)에 대해 \(\text{CV}_{(K)}^{(j)}\)를 계산한다.
  2. 교차검증 오차가 가장 작은 모형을 고른다: \(\hat{j} = \arg\min_j \text{CV}_{(K)}^{(j)}\).

1 표준오차 규칙

절대적으로 가장 낮은 교차검증 오차를 갖는 모형을 고르는 대신, 1 표준오차 규칙은 교차검증 오차가 최솟값의 1 표준오차 안에 드는 가장 단순한 모형을 고른다. 과적합(overfitting)에 대한 추가 방어책이 된다.

\(\text{SE}(\text{CV}_{(K)}^{(j)})\)를 모형 \(j\)의 교차검증 추정값의 표준오차라 하자. 이는 \(K\)개 겹별 MSE의 표준편차를 \(\sqrt{K}\)로 나눈 값이다. 1 표준오차 규칙은 다음을 만족하는 가장 단순한 모형 \(j\)를 고른다.

\[ \text{CV}_{(K)}^{(j)} \leq \text{CV}_{(K)}^{(\hat{j})} + \text{SE}(\text{CV}_{(K)}^{(\hat{j})}) \]

6. AIC와의 관계

Stone(1977)은 선형회귀에서 AIC에 의한 모형선택이 LOOCV와 점근적으로 동등함을 증명했다. 곧 큰 표본에서 AIC와 LOOCV는 같은 모형을 고르는 경향이 있다. \(K\)가 작은 K-겹 교차검증은 AIC와 동등하지 않다. 훈련집합이 작아 생기는 위쪽 편향 때문에 더 단순한 모형을 고르는 경향이 있어 오히려 BIC에 가깝다.

교차검증에도 가정이 있다

교차검증은 관측값이 교환 가능하다고(대략 순서가 중요하지 않다고) 가정한다. 시계열 자료에서 표준적인 무작위 겹 교차검증은 시간 구조를 위배하여 오도할 만큼 낙관적인 추정값을 낸다. 시계열 자료에는 이동창이나 확장창 교차검증 같은 전용 전략이 필요하다.


7. 세 방법을 한 자료에서 견주기

위의 세 방법은 같은 자료에 돌려 보아야 차이가 보인다. 다항 회귀로 차수를 고르는 문제를 만들어 셋을 나란히 돌린다. 검증집합 방법이 얼마나 흔들리는지가 여기서 드러난다.

설정과 모의자료

비선형 모형에서 \(n = 200\)개의 관측을 생성한다.

\[ y_i = \sin(x_i) + 0.3\,x_i + \varepsilon_i, \qquad \varepsilon_i \sim \mathcal{N}(0, 0.5^2), \quad x_i \sim \text{Uniform}(-3, 3) \]

모형선택을 위해 차수 \(d = 1, 2, \ldots, 10\)인 다항회귀 모형을 적합하고 각 교차검증 방법이 추정한 검정 MSE를 비교한다.

보기 1. 모의자료와 다항 파이프라인. 참 관계가 \(g(x) = \sin x + 0.3x\)이고 잡음이 \(\mathcal N(0, 0.5^2)\)이므로, 어떤 모형도 넘을 수 없는 바닥이 있다.

(1) 어떤 차수를 쓰든 검정 MSE가 내려갈 수 없는 값을 적으시오. 또 \(x \sim \text{Uniform}(-3,3)\)에서 \(1\)차 다항식의 모집단 MSE를 적분으로 정확히 구하시오.

(2) 그 두 수를 뒤의 LOOCV 표와 견주시오.

풀이

(1) 해석적으로. 관측은 \(Y = g(X) + \varepsilon\)이고 \(\varepsilon\)이 \(X\)와 독립이므로, 예측함수 \(\hat g\)의 모집단 MSE가

\[ E\left[(Y - \hat g(X))^2\right] = \underbrace{\sigma^2}_{0.25} + \underbrace{E\left[(g(X) - \hat g(X))^2\right]}_{\text{근사오차} \ \ge 0} \]

로 쪼개진다. 바닥은 \(\sigma^2 = 0.5^2 = 0.25\)다. 차수를 아무리 올려도 그 아래로 내려갈 수 없고, 교차검증 곡선이 \(0.25\) 근처에 닿으면 더 얻을 것이 없다는 뜻이다.

\(1\)차의 근사오차. 최선의 직선은 모집단 최소제곱 직선이므로, 근사오차가 \(g\)를 \(1, x\)에 사영하고 남은 분산이다.

\[ E\left[(g(X) - \hat g(X))^2\right] = \operatorname{Var}(g(X)) - \frac{\operatorname{Cov}(g(X), X)^2}{\operatorname{Var}(X)} \]

\(X \sim U(-3,3)\)에서 \(\operatorname{Var}(X) = 3\), \(E[\sin X] = 0\)(대칭)이고

\[ E[X\sin X] = \frac16\int_{-3}^{3} x\sin x\,dx = \frac13\big(\sin 3 - 3\cos 3\big) = 1.037032 \]
\[ E[\sin^2 X] = \frac16\int_{-3}^{3}\sin^2 x\,dx = \frac16\left(3 - \frac{\sin 6}{2}\right) = 0.523285 \]

이다. \(g = \sin X + 0.3X\)이므로

\[ \operatorname{Var}(g) = 0.523285 + 0.09 \times 3 + 0.6 \times 1.037032 = 1.415504, \qquad \operatorname{Cov}(g, X) = 1.037032 + 0.9 = 1.937032 \]

이고 근사오차가 \(1.415504 - 1.937032^2/3 = 0.164806\)이다. 따라서

\[ \text{1차의 모집단 MSE} = 0.25 + 0.164806 = 0.414806 \]

(2) 수치적으로.

import numpy as np
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline

def generate_data(n=200, seed=42):
    """sin 곡선에 선형 추세와 잡음을 얹은 자료를 만든다.

    참 관계가 다항식이 아니므로 "옳은 차수"가 따로 없다. 세 교차검증
    방법이 어느 차수를 고르는지 견주는 것이 목적이다.
    """
    rng = np.random.default_rng(seed)
    x = rng.uniform(-3, 3, n)
    y = np.sin(x) + 0.3 * x + rng.normal(0, 0.5, n)
    return x.reshape(-1, 1), y

def poly_pipeline(degree):
    """주어진 차수의 다항회귀 파이프라인."""
    return Pipeline([
        ("poly", PolynomialFeatures(degree=degree, include_bias=False)),
        ("lr", LinearRegression()),
    ])

X, y = generate_data(n=200)
degrees = range(1, 11)

(1)의 두 수를 계산한다.

from scipy import integrate

VarX = 3.0
Exsin = integrate.quad(lambda x: x * np.sin(x) / 6, -3, 3)[0]
Esin2 = integrate.quad(lambda x: np.sin(x) ** 2 / 6, -3, 3)[0]
Varg = Esin2 + 0.09 * VarX + 0.6 * Exsin
Cov = Exsin + 0.3 * VarX
print(f"E[X sin X] = {Exsin:.6f},  E[sin^2 X] = {Esin2:.6f}")
print(f"Var(g) = {Varg:.6f},  Cov(g, X) = {Cov:.6f},  최적 기울기 = {Cov/VarX:.6f}")
print(f"1차의 근사오차 = {Varg - Cov**2/VarX:.6f}")
print(f"바닥 sigma^2 = {0.25:.6f},  1차의 모집단 MSE = {0.25 + Varg - Cov**2/VarX:.6f}")

출력:

E[X sin X] = 1.037032,  E[sin^2 X] = 0.523285
Var(g) = 1.415504,  Cov(g, X) = 1.937032,  최적 기울기 = 0.645677
1차의 근사오차 = 0.164806
바닥 sigma^2 = 0.250000,  1차의 모집단 MSE = 0.414806

뒤의 표와 맞춰 보면 두 수가 모든 것을 설명한다.

  • \(1\)차의 LOOCV 값이 \(0.4422\)다. 예측한 모집단 MSE \(0.414806\)보다 \(0.027\) 크고, 이는 모수 두 개를 자료에서 추정한 몫과 이 자료 하나의 요동을 합친 것이다.
  • \(6\)차의 LOOCV 값이 \(0.2577\)로 바닥 \(0.25\)에서 \(0.0077\)밖에 떨어져 있지 않다. 모수 일곱 개를 추정하는 데 드는 몫만 해도 \(\sigma^2 p/n = 0.25 \times 7/200 = 0.0088\)이니, \(6\)차 다항식의 근사오차는 사실상 \(0\)이다.

그러므로 "어느 차수가 최적인가"라는 물음은 애초에 날이 서지 않는다. \(3\)차부터 이미 바닥에 거의 닿았고, 그 위에서 차수를 올려 얻는 것은 근사오차 \(0.003\) 안팎이며 추정에 드는 비용이 그만큼씩 늘어난다. 교차검증 곡선이 평평한 것은 방법의 결함이 아니라 문제의 성질이다.


방법 1: 검증집합 방법

가장 단순한 전략은 자료를 절반씩 나누어 하나는 훈련에, 하나는 검정에 쓰는 것이다. 추정된 검정 MSE는

\[ \widehat{\text{MSE}} = \frac{1}{n_{\text{test}}} \sum_{i \in \text{test}} (y_i - \hat{y}_i)^2 \]

이다.

단점: 어떤 관측이 훈련집합과 검정집합에 들어가는지에 따라 결과가 달라지므로 추정값의 분산이 크다. 다른 무작위 분할로 반복하면 다른 답이 나온다.

보기 2. 검증집합 방법. 자료를 절반으로 갈라 \(100\)개로 훈련하고 \(100\)개로 잰다. 분할을 열 번 다르게 해 본다.

(1) 이 방법의 추정값이 위로 치우치는 까닭을 적고, 차수 \(d\)에서 편향의 크기를 \(\sigma^2\)과 표본크기로 근사하시오. LOOCV와 견주면 얼마나 차이 나는가.

(2) 실행해 열 번의 분할이 고른 차수가 얼마나 흩어지는지 재고, 편향의 근사와 견주시오.

풀이

(1) 해석적으로. 모수 \(p = d+1\)개인 선형모형을 \(n_{\text{tr}}\)개로 적합해 새 자료에서 재면 기대 MSE가 대략

\[ E[\widehat{\text{MSE}}] \approx \sigma^2\left(1 + \frac{p}{n_{\text{tr}}}\right) + \text{근사오차} \]

다. 추정한 계수들이 훈련자료의 잡음을 따라가므로 모수 하나당 \(\sigma^2/n_{\text{tr}}\)씩 벌점이 붙는다. 훈련자료가 적을수록 벌점이 커진다.

검증집합 방법은 \(n_{\text{tr}} = 100\)만 쓰고 LOOCV는 \(n_{\text{tr}} = 199\)를 쓰므로, \(d = 6\)(\(p = 7\))에서 두 추정값의 차이가

\[ \sigma^2 p\left(\frac{1}{100} - \frac{1}{199}\right) = 0.25 \times 7 \times 0.004975 = 0.0087 \]

쯤 된다. 검증집합 쪽이 그만큼 나쁘게 본다. 모형이 실제보다 못하다고 말하는 셈이다.

(2) 수치적으로. 함수는 이렇다.

def validation_set_mse(X, y, degrees, n_splits=10, rng=None):
    """검증집합 방법. 자료를 절반으로 갈라 한쪽으로 훈련하고 한쪽으로 잰다.

    가장 간단하지만 두 가지 약점이 있다. 어떻게 가르느냐에 따라 결과가
    들쭉날쭉하고(그래서 여기서는 10번 다르게 갈라 본다), 훈련에 절반밖에
    쓰지 못해 성능을 실제보다 나쁘게 잡는다.
    """
    rng = rng or np.random.default_rng(7)
    n = len(y); n_train = n // 2
    all_mses = {d: [] for d in degrees}
    for _ in range(n_splits):
        perm = rng.permutation(n)
        tr, te = perm[:n_train], perm[n_train:]
        for d in degrees:
            model = poly_pipeline(d).fit(X[tr], y[tr])
            all_mses[d].append(np.mean((y[te] - model.predict(X[te])) ** 2))
    return all_mses

am = validation_set_mse(X, y, degrees)
M = np.array([am[d] for d in degrees])
best = M.argmin(axis=0) + 1
print(f"각 분할이 고른 차수 = {list(best)},  표준편차 = {best.std():.4f}")
print(f"차수 6: 열 번의 평균 {M[5].mean():.6f},  분할에 따른 SD {M[5].std(ddof=1):.6f}")

출력:

각 분할이 고른 차수 = [10, 6, 9, 5, 5, 6, 6, 3, 3, 9],  표준편차 = 2.3152
차수 6: 열 번의 평균 0.277278,  분할에 따른 SD 0.035057

고른 차수가 \(3\)에서 \(10\)까지 흩어진다. 표준편차가 \(2.32\)다. 같은 자료, 같은 방법인데 분할의 난수만 바꾸어 얻은 결과이다. 이것이 검증집합 방법의 근본적 문제이다.

편향의 근사도 맞는다. \(d = 6\)에서 열 번의 평균이 \(0.277278\)인데 보기 3이 내놓을 LOOCV 값은 \(0.257722\)다. 차이 \(0.0196\)으로, (1)이 근사한 \(0.0087\)의 두 배쯤이다. 근사는 모수 벌점만 센 것이고 실제로는 훈련자료가 절반이라 근사오차도 덩달아 커지기 때문에 그만큼 더 벌어진다. 방향과 자릿수는 맞다.

분할 하나로 얻은 값의 불확실성이 그 편향보다 크다는 점도 함께 보아야 한다. 차수 \(6\)의 분할별 표준편차가 \(0.0351\)로 편향 \(0.0196\)의 거의 두 배다. 곧 한 번 갈라 얻은 수치는 치우쳐 있을 뿐 아니라 흔들린다. 이 두 결함을 각각 줄이려는 것이 보기 3(훈련자료를 거의 다 쓴다)과 보기 4(여러 겹을 평균한다)다.


방법 2: 하나 남기기 교차검증 (LOOCV)

LOOCV는 \(n - 1\)개로 훈련하고 남은 하나로 검정하며, 이를 모든 관측에 대해 반복한다.

\[ \text{CV}_{(n)} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i^{(-i)})^2 \]

여기서 \(\hat{y}_i^{(-i)}\)는 관측 \(i\)를 빼고 훈련한 모형이 관측 \(i\)에 대해 내놓는 예측이다.

장점: 거의 불편이다(훈련집합이 전체 자료와 거의 같다). 결정적이다(분할에 무작위성이 없다).

단점: 계산이 비싸다(\(n\)번의 모형 적합). 다만 선형모형에는 지름길 공식이 있다(연습문제 14, 그리고 위 절 \(3\) 의 「선형회귀에서의 지름길」).

보기 3. 하나 빼기 교차검증. 선형모형에서는 \(n\)번 적합하지 않고도 정확히 같은 값을 얻을 수 있다.

(1) 모자행렬 \(H = Z(Z^{\top}Z)^{-1}Z^{\top}\)과 잔차 \(e_i = y_i - \hat y_i\)에 대해

\[ \text{CV}_{(n)} = \frac1n \sum_{i=1}^{n}\left(\frac{e_i}{1 - h_{ii}}\right)^2 \]

임을 보이시오.

(2) 열 가지 차수 모두에서 이 식과 LeaveOneOut()이 같은 수를 주는지 확인하고, 적합 횟수를 견주시오.

풀이

(1) 해석적으로. \(i\)번째를 뺀 적합값을 \(\hat y_i^{(-i)}\)라 하자. 핵심은 \(i\)번째 관측의 \(y\)값을 \(\hat y_i^{(-i)}\)로 바꿔 끼워도 적합이 달라지지 않는다는 사실이다. 그 점에서 잔차가 \(0\)이 되어 최소제곱 목적함수에 아무 기여도 하지 않으므로, 나머지 \(n-1\)개만으로 적합한 것과 같아진다.

그러면 \(\hat y_i^{(-i)}\)는 자료 \(\tilde y = (y_1, \ldots, \hat y_i^{(-i)}, \ldots, y_n)\)에 \(H\)를 적용한 \(i\)번째 성분이다. \(\tilde y = y - (y_i - \hat y_i^{(-i)})\mathbf e_i\)이므로

\[ \hat y_i^{(-i)} = (H\tilde y)_i = \hat y_i - h_{ii}\left(y_i - \hat y_i^{(-i)}\right) \]

다. \(y_i\)를 양변에서 빼고 \(e_i^{(-i)} = y_i - \hat y_i^{(-i)}\)라 두면

\[ e_i^{(-i)} = e_i + h_{ii}\,e_i^{(-i)} \quad\Longrightarrow\quad e_i^{(-i)} = \frac{e_i}{1 - h_{ii}} \]

이고, 제곱해 평균하면 구하려던 식이 된다. \(\square\)

\(n\)번의 적합이 한 번으로 줄어든다. 지렛값이 큰 점(\(h_{ii}\)가 \(1\)에 가까운 점)에서 분모가 작아져 그 점의 잔차가 크게 증폭되는 것도 이 식이 보여 주는 바다.

(2) 수치적으로.

from sklearn.model_selection import cross_val_score, LeaveOneOut
import time

# 하나 빼기 교차검증(LOOCV). 관측값 하나씩만 남기므로 훈련자료를 거의
# 다 쓰고, 어떻게 가르느냐에 따른 변동도 없다. 대신 n 번 적합해야 한다.
t0 = time.time()
loocv_mses = [-cross_val_score(poly_pipeline(d), X, y, cv=LeaveOneOut(),
                               scoring="neg_mean_squared_error").mean()
              for d in degrees]
elapsed = time.time() - t0        # 아래 주의 참조: 출력에는 싣지 않는다

print(f"Best degree (LOOCV): {int(np.argmin(loocv_mses)) + 1}")

출력:

Best degree (LOOCV): 6

모자행렬 식과 맞춰 본다.

from sklearn.preprocessing import PolynomialFeatures

def loocv_hat(X, y, d):
    """모자행렬로 한 번에 구하는 LOOCV."""
    Z = PolynomialFeatures(degree=d, include_bias=True).fit_transform(X)
    H = Z @ np.linalg.pinv(Z.T @ Z) @ Z.T
    e = y - H @ y
    return np.mean((e / (1 - np.diag(H))) ** 2)

hat = [loocv_hat(X, y, d) for d in degrees]
print(f"{'d':>3}{'sklearn':>12}{'모자행렬':>12}{'차이':>12}")
for d, a, b in zip(degrees, loocv_mses, hat):
    print(f"{d:>3}{a:>12.6f}{b:>12.6f}{a-b:>12.2e}")
print(f"적합 횟수: sklearn {200*10} 번,  모자행렬 {10} 번")

출력:

  d     sklearn        모자행렬          차이
  1    0.442177    0.442177    1.11e-16
  2    0.447928    0.447928    0.00e+00
  3    0.263086    0.263086   -5.55e-17
  4    0.262563    0.262563    3.33e-16
  5    0.259166    0.259166   -5.83e-15
  6    0.257722    0.257722   -2.22e-16
  7    0.261009    0.261009    1.14e-12
  8    0.264039    0.264039    4.01e-14
  9    0.262481    0.262481    1.95e-11
 10    0.267918    0.267918    5.43e-11
적합 횟수: sklearn 2000 번,  모자행렬 10 번

열 가지 차수 모두에서 같은 수가 나온다. 차이가 \(10^{-16}\)에서 \(10^{-11}\) 사이로, 전부 부동소수 오차다. 높은 차수에서 차이가 조금 커지는 것은 \(Z^{\top}Z\)의 조건수가 나빠지기 때문이며(\(d = 10\)이면 \(x^{10}\)까지 들어간다) 값 자체에는 영향이 없다.

적합 횟수는 \(2{,}000\) 대 \(10\)이다. 자료가 \(200\)개이고 차수 후보가 \(10\)개이므로 LeaveOneOut()은 \(200 \times 10\)번 회귀를 돌리고, 모자행렬 식은 차수마다 한 번씩만 돌린다. \(n\)에 비례해 벌어지므로 \(n\)이 커질수록 이 지름길의 값이 커진다.

그러나 이 지름길은 선형모형에만 통한다. \(\hat y = Hy\)로 적을 수 있어야 유도가 성립하기 때문이며, 능형회귀(ridge regression)나 평활 스플라인처럼 \(H\)가 있는 다른 선형 평활기에도 같은 꼴이 쓰인다. 임의의 기계학습 모형에서는 \(n\)번 다시 적합하는 수밖에 없고, 그래서 실무에서는 \(k\)겹을 쓴다.

소요 시간을 출력에 싣지 않은 이유

LOOCV의 요점 가운데 하나는 비싸다는 것이므로 시간을 재는 것 자체는 의미가 있다. 다만 time.time()이 재는 값은 기계와 그때의 부하에 따라 달라져 재현되지 않는다(같은 기계에서도 \(0.8\)초에서 \(2\)초까지 관측되었다).

그래서 시간은 elapsed에 담아 두기만 하고 출력에서는 뺐다. 이렇게 하면 이 블록의 출력이 언제 실행해도 같아진다. 자료와 분할이 고정되어 있으므로 고른 차수 \(6\)은 실행과 무관하게 재현된다.

비용의 크기는 직접 재어 보라. 이 자료(\(n = 200\), 차수 후보 \(10\)개)에서 LOOCV는 아래 \(K\)겹보다 대략 \(10\)배 이상 오래 걸린다. \(n\)이 커지면 LOOCV의 적합 횟수가 \(n\)에 비례해 늘어나므로 격차는 더 벌어진다.


방법 3: k-겹 교차검증

자료를 크기가 같은 \(k\)개의 겹으로 나눈다. 각 겹이 한 번씩 검정집합이 된다.

\[ \text{CV}_{(k)} = \frac{1}{k}\sum_{j=1}^{k}\text{MSE}_j \]

이는 검증집합 방법(\(k = 2\))과 LOOCV(\(k = n\)) 사이의 절충이다. 흔한 선택은 \(k = 5\)와 \(k = 10\)이다.

편향–분산 절충: \(k\)가 작으면 편향이 크지만(겹당 훈련자료가 적다) 분산이 작다. \(k\)가 크면 편향이 작지만 훈련집합끼리 많이 겹쳐 분산이 커진다.

보기 4. \(k\)겹 교차검증. \(k\)가 커지면 편향은 줄고 분산은 는다고들 한다. 두 주장을 따로 재어 본다.

(1) \(k\)겹의 추정값이 위로 치우치는 크기를 보기 2의 식으로 근사하시오(\(d = 6\), \(k = 5, 10\), LOOCV). 세 값의 순서는 어떻게 되어야 하는가.

(2) 두 종류의 분산을 구별해 재시오. 하나는 자료를 고정한 채 겹 배정만 바꿀 때의 변동이고, 다른 하나는 자료를 새로 뽑을 때의 변동이다. 둘이 \(k\)에 대해 같은 방향으로 움직이는가.

풀이

(1) 해석적으로. \(k\)겹은 매번 \(n_{\text{tr}} = n(1 - 1/k)\)개로 훈련하므로 보기 2의 근사에서

\[ E[\text{CV}_{(k)}] \approx \sigma^2\left(1 + \frac{p}{n(1-1/k)}\right) + \text{근사오차} \]

다. \(d = 6\)(\(p = 7\)), \(n = 200\), \(\sigma^2 = 0.25\)를 넣으면 바닥 \(0.25\) 위의 벌점이

방법 \(n_{\text{tr}}\) 벌점 \(\sigma^2 p/n_{\text{tr}}\)
\(5\)겹 \(160\) \(0.01094\)
\(10\)겹 \(180\) \(0.00972\)
LOOCV \(199\) \(0.00879\)

이다. \(k\)가 커질수록 편향이 줄어든다. 따라서 세 추정값의 순서가 \(\text{CV}_{(5)} > \text{CV}_{(10)} > \text{CV}_{(n)}\)이어야 한다.

(2) 수치적으로.

from sklearn.model_selection import KFold

# k겹 교차검증. 앞 두 방법의 절충이다. k 번만 적합하면 되고, 겹마다의
# 훈련자료가 조금씩 겹쳐 LOOCV 보다 추정의 분산이 오히려 작다.
# 실무에서 5 나 10 을 쓰는 까닭이 이것이다.
for k in (5, 10):
    kf = KFold(n_splits=k, shuffle=True, random_state=42)
    mses = [-cross_val_score(poly_pipeline(d), X, y, cv=kf,
                             scoring="neg_mean_squared_error").mean()
            for d in degrees]
    print(f"Best degree ({k}-fold): {int(np.argmin(mses)) + 1}")

출력:

Best degree (5-fold): 6
Best degree (10-fold): 6

두 종류의 분산을 따로 잰다.

# (가) 자료는 그대로 두고 겹 배정만 바꾼다.
for k in (5, 10):
    vals = np.array([
        -cross_val_score(poly_pipeline(6), X, y,
                         cv=KFold(n_splits=k, shuffle=True, random_state=s),
                         scoring="neg_mean_squared_error").mean()
        for s in range(20)])
    print(f"k={k:2d}: 겹 배정 20 번의 평균 {vals.mean():.6f},  SD {vals.std(ddof=1):.6f}")
print(f"LOOCV: {loocv_hat(X, y, 6):.6f},  SD 0 (결정적)")

# (나) 자료를 새로 뽑는다.
res = {5: [], 10: [], 'loo': []}
for s in range(100):
    rng = np.random.default_rng(1000 + s)
    xx = rng.uniform(-3, 3, 200)
    yy = np.sin(xx) + 0.3 * xx + rng.normal(0, 0.5, 200)
    XX = xx.reshape(-1, 1)
    for k in (5, 10):
        res[k].append(-cross_val_score(
            poly_pipeline(6), XX, yy,
            cv=KFold(n_splits=k, shuffle=True, random_state=s),
            scoring="neg_mean_squared_error").mean())
    res['loo'].append(loocv_hat(XX, yy, 6))
print(f"\n자료 100 개에서 (d=6)")
for k, lab in ((5, ' 5겹'), (10, '10겹'), ('loo', 'LOOCV')):
    v = np.array(res[k])
    print(f"  {lab}: 평균 {v.mean():.6f},  자료에 따른 SD {v.std(ddof=1):.6f}"
          f"  (SD 추정의 오차 {v.std(ddof=1)/np.sqrt(2*100):.6f})")

출력:

k= 5: 겹 배정 20 번의 평균 0.260405,  SD 0.007121
k=10: 겹 배정 20 번의 평균 0.258382,  SD 0.003266
LOOCV: 0.257722,  SD 0 (결정적)

자료 100 개에서 (d=6)
   5겹: 평균 0.265180,  자료에 따른 SD 0.026311  (SD 추정의 오차 0.001860)
  10겹: 평균 0.262959,  자료에 따른 SD 0.026537  (SD 추정의 오차 0.001876)
  LOOCV: 평균 0.261968,  자료에 따른 SD 0.025890  (SD 추정의 오차 0.001831)

편향의 순서는 예측대로다. 자료 \(100\)개의 평균이 \(0.265180 > 0.262959 > 0.261968\)로 \(k\)가 커질수록 내려간다. 바닥 \(0.25\) 위의 초과분이 \(0.01518\), \(0.01296\), \(0.01197\)인데, (1)이 근사한 벌점 \(0.01094\), \(0.00972\), \(0.00879\)보다 일정하게 \(0.003\)쯤 크다. 그 \(0.003\)이 \(6\)차 다항식의 근사오차이고, 모든 방법에 공통으로 더해지므로 차이를 보면 사라진다. 실제로 \(5\)겹\(-\)LOOCV 차이가 \(0.00321\), 근사는 \(0.00215\)로 같은 자릿수다.

분산은 두 종류를 갈라 보아야 한다.

\(5\)겹 \(10\)겹 LOOCV
겹 배정에 따른 SD \(0.00712\) \(0.00327\) \(0\)
자료에 따른 SD \(0.02631\) \(0.02654\) \(0.02589\)

겹 배정에 따른 변동은 \(k\)가 커질수록 줄어든다. \(k\)개의 겹을 평균하므로 평균의 개수가 늘고, LOOCV는 아예 결정적이라 \(0\)이다. 이것이 "\(k\)를 키우면 안정된다"는 말의 내용이다.

자료에 따른 변동은 셋이 거의 같다. \(0.0263\), \(0.0265\), \(0.0259\)인데 SD 추정 자체의 오차가 \(0.0019\)이므로 이 설정에서는 셋을 구별할 수 없다. "LOOCV는 훈련집합끼리 많이 겹쳐 분산이 커진다"는 흔한 서술이 여기서는 눈에 띄지 않는다는 뜻이다. 그 효과는 모형이 불안정할 때(차수가 아주 높거나 \(n\)이 작을 때) 드러나며, \(n = 200\)에 \(6\)차 다항식인 이 설정은 그런 상황이 아니다.

그리고 두 변동의 크기가 자릿수로 다르다는 점이 더 중요하다. 자료에 따른 \(0.026\)이 겹 배정에 따른 \(0.003\)--\(0.007\)보다 네 배 이상 크다. 교차검증 값의 불확실성은 대부분 "어떤 자료를 뽑았는가"에서 오고, \(k\)를 고르는 일로 줄일 수 있는 몫은 그 일부뿐이다.


곡선이 평평하면 최솟값을 믿을 수 없다

한 자료(\(n = 200\), 씨앗 \(42\))에 대한 교차검증 MSE 곡선은 이렇다.

차수 \(d\) 검증집합(평균) 5-겹 10-겹 LOOCV
1 0.4606 0.4463 0.4418 0.4422
2 0.4711 0.4513 0.4506 0.4479
3 0.2774 0.2715 0.2664 0.2631
4 0.2863 0.2697 0.2673 0.2626
5 0.2799 0.2641 0.2627 0.2592
6 0.2773 0.2628 0.2625 0.2577
7 0.2819 0.2716 0.2686 0.2610
8 0.2856 0.2742 0.2761 0.2640
9 0.2835 0.2751 0.2761 0.2625
10 0.2858 0.2817 0.2816 0.2679

네 방법 모두 \(d = 6\)을 고른다. 그러나 이 결론을 그대로 받아들이면 안 된다.

MSE 곡선이 거의 평평하다

\(d = 3\)부터 \(d = 10\)까지 LOOCV MSE가 \(0.2577\)에서 \(0.2679\) 사이이다. 최적값과 최악값의 차이가 \(4\)%에 불과하다.

\(d = 6\)이 "선택"된 것은 \(d = 3\)보다 \(0.0054\) 작기 때문인데, 이 차이는 교차검증 추정값 자체의 변동보다 작다. 다른 자료를 뽑으면 다른 차수가 선택된다.

실제로 \(100\)개의 서로 다른 자료에서 반복하면 가장 흔한 선택은 \(d = 6\)이 아니라 \(d = 3\)이다(연습문제 11).

참 함수를 생각하면 납득이 된다. \(\sin(x)\)의 테일러 전개는 \(x - x^3/6 + x^5/120 - \cdots\)이므로 \([-3, 3]\)에서 \(3\)차만으로도 이미 상당히 좋고, \(5\)--\(7\)차에서 조금 더 개선된다. 잡음 표준편차 \(0.5\)가 이 미세한 개선을 대부분 가린다.

계산시간: LOOCV \(0.9\)초, 5-겹 \(0.03\)초, 10-겹 \(0.05\)초. LOOCV가 \(20\)--\(30\)배 느리다.

표를 그림으로 옮기면 "\(d = 6\)을 골랐다"는 문장이 얼마나 약한 근거 위에 서 있는지가 보인다.

네 교차검증 방법의 MSE 곡선과 검증집합 방법의 불안정성

(a)에서 눈에 띄는 것은 \(d = 2\)에서 \(d = 3\)으로 가는 절벽이다. \(\sin(x)\)를 직선이나 포물선으로 근사할 수 없으니 MSE가 \(0.44\)에서 \(0.26\)으로 떨어진다. 그 뒤로는 아무 일도 일어나지 않는다. 보라색 영역이 LOOCV의 \(d = 3\)부터 \(10\)까지 범위(\(0.2577\)--\(0.2679\))인데 최댓값과 최솟값의 차이가 \(4.0\%\)이다. 네 방법이 모두 \(d = 6\)에서 최소를 찍지만, 그 최소는 \(d = 3\)보다 겨우 \(0.0054\) 낮을 뿐이며 이는 교차검증 추정값 자체의 변동보다 작다.

네 곡선의 서열도 읽을 만하다. 검증집합(회색)이 가장 위에 있는데, 절반의 자료로만 훈련하므로 성능을 체계적으로 비관적으로 추정하기 때문이다. LOOCV(파랑)가 가장 아래인 것도 같은 이유의 반대쪽이다. \(n-1\)개로 훈련하므로 편향이 가장 작다. \(5\)겹과 \(10\)겹은 그 사이에 놓이며, 이것이 교차검증의 편향–분산 절충에서 편향 쪽 이야기이다.

(b)가 분산 쪽 이야기다. 같은 자료를 \(10\)번 다르게 절반씩 갈라 얻은 회색 곡선들이며, 붉은 점이 각자가 고른 차수다. 선택된 차수가 \(10, 6, 9, 5, 5, 6, 6, 3, 3, 9\)로 표준편차 \(2.44\)만큼 흩어진다. (이 \(2.44\) 는 \(n-1\) 로 나눈 표본표준편차이고, 보기 2의 출력 \(2.3152\) 는 같은 열 값을 \(n\) 으로 나눈 것이다.) 자료도 같고 모형 후보도 같은데 분할의 난수만 바꾼 결과이다. 굵은 파란 선(LOOCV)이 그 한가운데를 지나며 훨씬 매끄럽다. 평평한 곡선 위에서 최솟값을 고르는 일은 이렇게 잡음에 지배되며, "최적 차수"를 하나 보고하기보다 곡선 전체를 보여 주고 "\(d = 3\) 이상이면 실질적 차이가 없다"고 말하는 편이 정직하다.


세 방법의 일치에 큰 뜻을 두지 말 것

  • 이 자료에서 세 방법이 대체로 같은 차수를 고르지만, MSE 곡선이 평평하므로 그 "일치"에 큰 의미를 두면 안 된다.
  • 검증집합 방법은 분할에 따른 변동이 가장 크다. 선택된 차수가 무작위 분할마다 바뀐다.
  • LOOCV는 결정적이고 거의 불편이지만 계산이 비싸다. \(n \times 10 = 2000\)번의 모형 적합이 필요하다.
  • 10-겹 교차검증은 실용적인 절충이다. \(10 \times 10 = 100\)번의 적합만으로 LOOCV에 가까운 추정값을 낸다.
  • 최적 차수를 훨씬 넘는 차수(\(d = 8, 9, 10\))에서는 과적합으로 검정 MSE가 오르지만, 이 자료에서는 그 상승이 미미하다. \(n = 200\)이 \(10\)차 다항식(\(11\)개 모수)을 지탱하기에 충분히 크기 때문이다.

AI로 보는 통계학 1. \(20\) 분 차이로 백만 달러

위 세 방법이 답하려는 물음은 하나다 — 떼어 둔 자료로 성능을 잰다. 그 자료를 한 번만 쓰면 깨끗한 추정값이 나온다. 문제는 아무도 한 번만 쓰지 않는다는 데 있다.

\(2006\) 년 \(10\) 월, 넷플릭스가 상금 \(100\) 만 달러를 걸었다. 자사 추천 시스템 시네매치의 예측 오차(RMSE)를 \(10\%\) 줄이면 준다는 것. 평점 \(1\) 억 개를 공개했고, 전 세계에서 \(4\) 만 개 넘는 팀이 달려들었다. 기계학습 대회라는 형식이 이때 만들어졌다.

넷플릭스는 자료를 똑똑하게 나누어 두었다. 채점용 \(281\) 만 개를 반으로 갈라, 절반 (\(140\) 만 \(8\) 천여 개)은 공개 순위표를 매기는 데 쓰고 나머지 절반은 아무에게도 보여 주지 않았다. 우승은 뒤쪽으로 정한다고 미리 못박았다.

\(3\) 년 뒤의 결말이 그 설계가 옳았음을 보여 준다.

공개 순위표 (퀴즈) 비공개 (테스트)
The Ensemble \(10.10\%\) 개선 — \(1\) 위 RMSE \(0.8567\)
BellKor's Pragmatic Chaos \(10.09\%\) 개선 — \(2\) 위 RMSE \(0.8567\)

공개 순위표의 \(1\) 위가 우승하지 못했다. 비공개 점수가 소수 넷째 자리까지 같았고, 규정에 따라 \(20\) 분 먼저 제출한 쪽이 \(100\) 만 달러를 가져갔다.

왼쪽은 1,000 팀의 공개 점수와 비공개 점수를 찍은 산점도로 공개 상위 10 팀이 대각선 아래로 내려앉는 것을 빨간 점과 선으로 보인 그림, 오른쪽은 실력의 폭을 잡음으로 나눈 값에 따라 공개 1 위가 비공개 1 위이기도 할 확률이 팀 수 10·100·1000 별로 달라지는 세 곡선

실력이 똑같아서가 아니다. 실력의 차이보다 잰 값의 변동이 크면 이렇게 된다.

왼쪽 칸이 그 구조다. \(1{,}000\) 팀의 참 실력을 뿌려 놓고, 공개용 자료와 비공개용 자료에서 각각 점수를 재었다. 실력의 폭이 잡음의 두 배인 — 꽤 너그러운 — 설정인데도

  • 공개 \(1\) 위 팀이 비공개에서 \(9\) 위로 내려갔고,
  • 비공개 \(1\) 위 팀은 공개 순위표에서 \(136\) 위였으며,
  • 공개 상위 \(10\) 과 비공개 상위 \(10\) 이 \(5\) 팀만 겹쳤다.

공개 상위 \(10\) 팀의 점수는 비공개에서 평균 \(0.59\) 내려앉는다. 그 \(0.59\) 가 실력이 아니라 공개 자료에 맞춘 부분이다. 이 쪽 \(7\) 절이 검증집합 방법을 두고 「분할에 따른 변동이 가장 크다」고 적은 것과 같은 말인데, 다만 여기서는 분할을 고르는 주체가 한 사람이 아니라 \(4\) 만 팀이다.

오른쪽 칸이 언제 뒤집히는지를 말해 준다. 실력의 폭을 \(\tau\), 한 자료집합에서 재었을 때의 잡음을 \(\sigma\) 라 할 때, 공개 \(1\) 위가 비공개 \(1\) 위이기도 할 확률은

\(\tau/\sigma\) \(10\) 팀 \(100\) 팀 \(1{,}000\) 팀
\(0.5\) \(0.16\) \(0.03\) \(0.005\)
\(1\) \(0.29\) \(0.11\) \(0.05\)
\(2\) \(0.51\) \(0.33\) \(0.21\)
\(5\) \(0.77\) \(0.66\) \(0.56\)

대회 막바지에는 상위권의 실력 차가 소수 넷째 자리까지 좁혀지므로 \(\tau/\sigma\) 가 \(0\) 에 가까워진다. 표의 맨 윗줄이다. 그 지점에서 순위표는 실력이 아니라 잡음을 줄 세운다. 넷플릭스가 절반을 끝까지 감춘 것이 그래서 옳았다.

마지막 두 가지. 첫째, 넷플릭스는 그 우승 알고리듬을 끝내 쓰지 않았다. 뒤에 회사가 밝힌 이유는 「측정된 정확도 향상이 그것을 실제 환경에 올리는 공학적 노력을 정당화할 만큼은 아니었다」는 것이다. \(100\) 개 넘는 모형을 쌓아 올린 앙상블이었다. 둘째, 속편 대회는 열리지 못했다. 공개된 평점 자료를 다른 공개 자료와 맞춰 개인을 식별할 수 있다는 것이 나라야난과 슈마티코프에 의해 밝혀졌고, 소송과 연방거래위원회의 우려 속에 취소되었다.

\(10\%\) 를 좇던 \(3\) 년의 끝에 남은 것은 쓰이지 않은 알고리듬 하나와, 떼어 둔 자료는 한 번만 쓸 수 있다는 교훈이다.

확인한 곳 — 상금과 대회 기간, 퀴즈/테스트 분할의 크기, 두 팀의 개선율과 테스트 RMSE, \(20\) 분 규정, 넷플릭스가 우승 알고리듬을 쓰지 않은 이유, 속편 취소의 경위. 그림의 수는 모두 직접 모의실험한 값이다


연습문제

연습문제 1. k-겹 교차검증과 하나 빼기 교차검증(LOOCV)의 차이를 설명하라. 추정된 검정오차의 편향과 분산에는 어떤 절충이 있는가?

풀이

k-겹 교차검증은 자료를 크기가 대략 같은 \(k\)개의 겹으로 나누고 \(k-1\)개 겹으로 훈련한 뒤 남겨 둔 겹에서 검정하며, 모든 겹을 돌아가면서 반복한다. 교차검증 추정값은 겹들의 검정오차 평균이다. 흔한 선택은 \(k = 5\)나 \(10\)이다.

LOOCV는 \(k = n\)인 특수한 경우로, 각 관측값이 자기 자신의 검정집합이 된다. 모형을 \(n\)번 훈련하며 매번 \(n-1\)개의 관측값을 쓴다.

편향–분산 절충은 이렇다.

  • LOOCV는 편향이 작지만(훈련집합이 거의 전체 자료이다) 분산이 크다(\(n\)개의 훈련집합이 크게 겹쳐 \(n\)개의 오차 추정값이 강하게 상관된다).
  • 5-겹이나 10-겹은 편향이 조금 더 크지만(훈련집합이 더 작다) 분산이 더 작다(훈련집합이 덜 겹쳐 추정값 사이의 상관이 줄어든다).

실무에서는 분산 감소가 작은 편향 증가를 능가하므로 5-겹이나 10-겹이 검정오차를 더 잘 추정하는 편이다.

연습문제 2. 한 데이터 과학자가 다항회귀를 적합하고 훈련자료로 훈련오차를 최소화하는 차수를 골랐다. 그 결과 15차가 최선이라고 나왔다. 무엇이 문제이며 교차검증은 어떻게 도움이 되는가?

풀이

훈련오차로 모형 복잡도를 고르면 언제나 가장 복잡한 모형이 선택된다. 모형이 유연해질수록 훈련오차가 단조롭게 줄어들기 때문이다. 15차 다항식은 훈련자료를 과적합하여 잡음까지 외워 버리고 새 자료에서 성능이 나쁠 가능성이 높다.

교차검증은 (보지 않은 자료에서의 성능인) 검정오차를 추정하여 이 문제에 대처한다. 각 후보 차수 \(d\)에 대해

  1. 자료를 \(k\)개의 겹으로 나눈다.
  2. 각 겹에 대해 나머지 자료로 \(d\)차 다항식을 적합하고 남겨 둔 겹에서 예측오차를 계산한다.
  3. 겹들의 오차를 평균낸다.

교차검증 오차를 최소화하는 차수가 적합과 복잡도의 균형을 이룬다. 보통 교차검증은 훨씬 낮은 차수(예: 2–4차)를 고르며 이쪽이 더 잘 일반화된다.

연습문제 3. 층화(stratification) k-겹 교차검증에서 층화의 기준은 무엇이며 언제 중요한가?

풀이

층화 k-겹 교차검증에서는 각 겹이 전체 자료와 대략 같은 반응변수 분포를 갖도록 겹을 구성한다. 분류 문제에서는 각 겹이 각 범주를 대략 같은 비율로 담는다는 뜻이다.

층화가 중요한 경우는 이렇다.

  1. 범주 불균형: 소수 범주가 관측값의 5%뿐이라면 무작위로 만든 겹에 소수 범주 사례가 하나도 없을 수 있어 검정오차 추정을 믿을 수 없게 된다.
  2. 작은 자료: 자료가 적을 때는 각 겹이 대표성을 가져야 교차검증 추정값의 분산이 커지지 않는다.
  3. 순서형이거나 묶인 반응변수: 각 겹이 결과변수의 범위를 고루 담도록 한다.

회귀에서는 \(Y\)를 구간으로 나눈 값을 기준으로 층화할 수 있다. 다만 scikit-learn의 StratifiedKFold는 이산 라벨을 요구하므로, 회귀에서는 먼저 \(Y\)를 직접 구간화하여 라벨을 만든 뒤 그 라벨로 StratifiedKFold를 써야 한다.

연습문제 4. 교차검증을 이용한 모형선택에서 "1 표준오차 규칙"과 그 근거를 설명하라.

풀이

1 표준오차 규칙은 교차검증 오차가 최소 교차검증 오차의 1 표준오차 안에 드는 가장 단순한 모형을 고른다. 곧

  1. 각 모형 \(d\)에 대해 평균 교차검증 오차 \(\overline{\text{CV}}_d\)와 그 표준오차 \(\text{SE}_d\)를 계산한다.
  2. \(\overline{\text{CV}}_{d^*}\)가 최소인 모형 \(d^*\)를 찾는다.
  3. \(\overline{\text{CV}}_d \leq \overline{\text{CV}}_{d^*} + \text{SE}_{d^*}\)를 만족하는 가장 단순한 모형 \(d\)를 고른다.

근거: 교차검증 오차 추정값은 잡음이 있고, 절대 최솟값을 갖는 모형이 필요 이상으로 복잡할 수 있다. 최솟값의 1 표준오차 안에 있는 모형들은 예측 성능에서 통계적으로 구별되지 않는다. 그중에서는 절약성, 해석 가능성, 로버스트성을 위해 가장 단순한 모형을 선호한다.

이 규칙은 Breiman 등(1984)이 CART의 맥락에서 널리 알렸으며 정칙화(예: 라쏘의 교차검증)에서도 널리 쓰인다.

연습문제 5. 2 절은 K-겹 교차검증의 두 공식

\[ \text{CV}_{(K)} = \frac{1}{n} \sum_{k=1}^{K} \sum_{i \in C_k} (y_i - \hat{y}_i^{(-k)})^2 \qquad\text{와}\qquad \text{CV}_{(K)} = \frac{1}{K} \sum_{k=1}^{K} \text{MSE}_k \]

이 "모든 겹의 크기가 같다면" 동등하다고 했다. 크기가 다르면 어디가 어긋나는지 보자.

\(n = 5\), \(K = 2\), \(C_1 = \{1,2,3\}\), \(C_2 = \{4,5\}\) 이고 겹 밖 예측의 제곱오차 \((y_i - \hat{y}_i^{(-k)})^2\) 가 \(C_1\) 에서 \(1, 1, 1\), \(C_2\) 에서 \(4, 4\) 라 하자.

(a) 두 공식의 값을 모두 구하라.

(b) 각 공식에서 관측값 하나가 받는 무게를 \(n_k\) 로 나타내고, 어느 쪽이 어떤 관측값을 더 무겁게 세는지 말하라.

(c) \(n = 100\), \(K = 3\) 으로 겹 크기가 \(34, 33, 33\) 일 때 관측값별 무게를 구하고, 두 공식의 차이가 실무에서 왜 문제가 되지 않는지 설명하라.

풀이

(a) 첫 공식은 관측값을 다 더해 \(n\) 으로 나눈다.

\[ \text{CV}_{(2)} = \frac{1 + 1 + 1 + 4 + 4}{5} = \frac{11}{5} = 2.2 \]

둘째 공식은 겹별 MSE 를 먼저 만든다. \(\text{MSE}_1 = 3/3 = 1\), \(\text{MSE}_2 = 8/2 = 4\) 이므로

\[ \text{CV}_{(2)} = \frac{1 + 4}{2} = 2.5 \]

같은 자료에서 \(2.2\) 와 \(2.5\) 로 갈린다.

(b) 첫 공식에서 관측값 \(i\) 의 무게는 겹과 상관없이 \(1/n\) 이다. 둘째 공식에서는 겹 \(k\) 의 관측값이 \(\frac{1}{K}\cdot\frac{1}{n_k} = \frac{1}{K n_k}\) 를 받는다. 위 예에서 \(C_1\) 의 관측값은 \(\frac{1}{2\cdot 3} = \frac{1}{6}\), \(C_2\) 의 관측값은 \(\frac{1}{2\cdot 2} = \frac{1}{4}\) 를 받는다. 곧 둘째 공식은 작은 겹에 든 관측값을 더 무겁게 센다. 여기서는 오차가 큰 쪽(\(C_2\))이 작은 겹이었으므로 추정값이 \(2.2\) 에서 \(2.5\) 로 올라갔다.

\(n_k\) 가 모두 같아 \(n_k = n/K\) 이면 \(\frac{1}{K n_k} = \frac{1}{n}\) 이 되어 두 무게가 일치하고, 이것이 본문이 말한 동등 조건이다.

(c) 무게는 \(\frac{1}{3 \cdot 34} = \frac{1}{102} \approx 0.00980\) 과 \(\frac{1}{3 \cdot 33} = \frac{1}{99} \approx 0.01010\) 이고, 첫 공식의 무게는 모두 \(1/100 = 0.01000\) 이다. 차이가 \(2\%\) 안이다. 일반적으로 겹 크기가 \(\lfloor n/K \rfloor\) 와 \(\lceil n/K \rceil\) 로만 갈리면 무게의 상대오차가 \(O(K/n)\) 이어서, \(n\) 이 \(K\) 보다 훨씬 클 때는 어느 공식을 써도 같은 수가 나온다.

실무에서 조심해야 할 자리는 겹 크기가 의도적으로 크게 달라지는 경우다. 집단 단위로 겹을 자르거나(집단 크기가 다르면 겹 크기도 달라진다) \(n\) 이 작은데 층화를 걸면, 겹별 평균을 보고하는 관행이 자료를 조용히 재가중한다.

연습문제 6. 설명변수가 없고 절편(intercept)만 있는 모형, 곧 \(\mathbf{X} = \mathbf{1}_n\) (원소가 모두 1 인 \(n \times 1\) 행렬)을 생각하자. 예측값은 \(\hat{y}_i = \bar{y}\) 이다.

(a) 정의 \(\mathbf{H} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\) 에서 \(h_{ii}\) 를 구하라.

(b) 3 절의 지름길 공식으로 \(\text{CV}_{(n)}\) 을 훈련 MSE \(\frac{1}{n}\sum_i e_i^2\) 로, 그리고 표본분산(sample variance) \(s^2 = \frac{1}{n-1}\sum_i (y_i - \bar{y})^2\) 로 각각 나타내라.

(c) \(y = (2, 4, 4, 6, 9)\) 에서 훈련 MSE 와 \(\text{CV}_{(n)}\) 을 구하고, 하나 빼기 예측을 다섯 번 직접 해서 지름길 공식이 맞는지 확인하라.

(d) 훈련 MSE 는 \(\text{CV}_{(n)}\) 을 몇 배로 과소평가하는가. \(n \to \infty\) 에서 이 배수는 어떻게 되는가.

풀이

(a) \(\mathbf{X}^\top\mathbf{X} = n\) (스칼라)이므로 \(\mathbf{H} = \frac{1}{n}\mathbf{1}_n\mathbf{1}_n^\top\) 이고, 모든 \(i\) 에 대해

\[ h_{ii} = \frac{1}{n} \]

지렛값이 관측값마다 똑같다. 설명변수가 없으니 "특이한 \(x\)" 라는 것이 있을 수 없다.

(b) \(e_i = y_i - \bar{y}\) 이고 \(1 - h_{ii} = 1 - 1/n = (n-1)/n\) 은 \(i\) 와 무관하므로 분모를 밖으로 뺄 수 있다.

\[ \text{CV}_{(n)} = \frac{1}{n}\sum_{i=1}^{n}\left(\frac{e_i}{1 - 1/n}\right)^2 = \left(\frac{n}{n-1}\right)^2 \cdot \frac{1}{n}\sum_{i=1}^{n} e_i^2 \]

또 \(\sum_i e_i^2 = (n-1)s^2\) 이므로

\[ \text{CV}_{(n)} = \frac{1}{n}\left(\frac{n}{n-1}\right)^2 (n-1)s^2 = \frac{n}{n-1}\,s^2 \]

(c) \(\bar{y} = 25/5 = 5\), \(e = (-3, -1, -1, 1, 4)\), \(\sum e_i^2 = 9+1+1+1+16 = 28\). 따라서 훈련 MSE 는 \(28/5 = 5.6\) 이고 \(s^2 = 28/4 = 7\) 이다. 공식으로는

\[ \text{CV}_{(5)} = \left(\frac{5}{4}\right)^2 \times 5.6 = 1.5625 \times 5.6 = 8.75 = \frac{5}{4}\times 7 \]

직접 확인한다. 관측값 하나를 빼면 남은 네 개의 평균이 예측값이다.

뺀 관측값 남은 넷의 평균 하나 빼기 오차 제곱
\(y_1 = 2\) \(23/4 = 5.75\) \(-3.75\) \(14.0625\)
\(y_2 = 4\) \(21/4 = 5.25\) \(-1.25\) \(1.5625\)
\(y_3 = 4\) \(21/4 = 5.25\) \(-1.25\) \(1.5625\)
\(y_4 = 6\) \(19/4 = 4.75\) \(1.25\) \(1.5625\)
\(y_5 = 9\) \(16/4 = 4.00\) \(5.00\) \(25.0000\)

합이 \(43.75\) 이고 \(43.75/5 = 8.75\) 로 공식과 같다. 각 하나 빼기 오차가 통상 잔차의 \(1/(1-1/5) = 1.25\) 배임도 보인다(\(-3 \times 1.25 = -3.75\), \(4 \times 1.25 = 5\)).

(d) 배수는

\[ \frac{\text{CV}_{(n)}}{\frac{1}{n}\sum_i e_i^2} = \left(\frac{n}{n-1}\right)^2 \]

\(n = 5\) 에서 \(1.5625\) 배, 곧 훈련 MSE 는 참값의 \(64\%\) 밖에 안 된다. \(n \to \infty\) 에서는 \(1\) 로 가므로 차이가 사라진다.

모수가 하나뿐인 모형에서는 과적합 보정이 모든 관측값에 똑같이 걸리는 상수 하나로 끝난다. 과적합의 양이 \(n\) 에만 달려 있고 자료의 모양에는 달려 있지 않은 것이 이 모형의 특수함이다.

연습문제 7. \(5\)-겹 교차검증으로 다항회귀의 차수 \(d \in \{1, 2, 3\}\) 중 하나를 고른다. 겹별 MSE 가 다음과 같이 나왔다.

모형 \(\text{MSE}_1\) \(\text{MSE}_2\) \(\text{MSE}_3\) \(\text{MSE}_4\) \(\text{MSE}_5\)
\(d = 1\) \(4.0\) \(5.0\) \(4.5\) \(5.5\) \(6.0\)
\(d = 2\) \(3.0\) \(4.0\) \(5.0\) \(4.0\) \(4.0\)
\(d = 3\) \(3.0\) \(3.2\) \(4.8\) \(3.8\) \(4.2\)

(a) 세 모형의 \(\text{CV}_{(5)}\) 와 그 표준오차를 구하라(표준오차는 겹별 MSE 의 표본표준편차를 \(\sqrt{K}\) 로 나눈 값이다).

(b) 교차검증 오차를 최소화하는 모형과 1 표준오차 규칙이 고르는 모형을 각각 말하라.

(c) \(d = 3\) 의 겹별 MSE 가 평균은 그대로인 \(3.4, 3.6, 4.4, 3.6, 4.0\) 이었다면 (b) 의 답이 어떻게 바뀌는가. 규칙의 임계값이 후보 모형의 변동이 아니라 최소 모형의 변동에만 달려 있다는 사실을 어떻게 읽어야 하는가.

풀이

(a) 평균부터 구한다. \(d=1\): \(25/5 = 5.0\). \(d=2\): \(20/5 = 4.0\). \(d=3\): \(19/5 = 3.8\).

편차제곱합을 차례로 구한다.

  • \(d = 1\): 편차 \(-1, 0, -0.5, 0.5, 1\) → 제곱합(sum of squares) \(2.5\) → 표본분산 \(2.5/4 = 0.625\) → 표준편차 \(0.7906\).
  • \(d = 2\): 편차 \(-1, 0, 1, 0, 0\) → 제곱합 \(2\) → 표본분산 \(0.5\) → 표준편차 \(0.7071\).
  • \(d = 3\): 편차 \(-0.8, -0.6, 1.0, 0, 0.4\) → 제곱합 \(2.16\) → 표본분산 \(0.54\) → 표준편차 \(0.7348\).

표준오차는 이를 \(\sqrt{5} = 2.2361\) 로 나눈 값이다.

모형 \(\text{CV}_{(5)}\) 겹별 표준편차 표준오차
\(d = 1\) \(5.00\) \(0.7906\) \(0.3536\)
\(d = 2\) \(4.00\) \(0.7071\) \(0.3162\)
\(d = 3\) \(3.80\) \(0.7348\) \(0.3286\)

(b) 최솟값은 \(d = 3\) 의 \(3.80\) 이므로 \(\hat{j}\) 가 고르는 것은 \(d = 3\) 이다. 1 표준오차 규칙의 임계값은 최소 모형의 표준오차로 잰다.

\[ \text{CV}_{(5)}^{(\hat{j})} + \text{SE}(\text{CV}_{(5)}^{(\hat{j})}) = 3.80 + 0.3286 = 4.1286 \]

\(d = 2\) 는 \(4.00 \leq 4.1286\) 이므로 임계값 안이고, \(d = 1\) 은 \(5.00 > 4.1286\) 이므로 밖이다. 임계값 안의 가장 단순한 모형은 \(d = 2\) 이므로 1 표준오차 규칙은 \(d = 2\) 를 고른다.

(c) 평균은 \(3.8\) 로 같지만 편차가 \(-0.4, -0.2, 0.6, -0.2, 0.2\) 로 제곱합 \(0.64\), 표본분산 \(0.16\), 표준편차 \(0.4\), 표준오차 \(0.4/\sqrt{5} = 0.1789\) 로 작아진다. 임계값은

\[ 3.80 + 0.1789 = 3.9789 \]

이고 \(d = 2\) 의 \(4.00\) 은 이제 임계값 밖이다. 따라서 1 표준오차 규칙도 \(d = 3\) 을 고른다.

평균 교차검증 오차 셋(\(5.00, 4.00, 3.80\))이 하나도 바뀌지 않았는데 답이 \(d=2\) 에서 \(d=3\) 으로 뒤집혔다. 규칙이 보는 것은 모형들 사이의 간격이 아니라 최솟값 자체가 잡음인지다. 최소 모형의 겹별 MSE 가 들쭉날쭉하면 그 \(3.80\) 을 믿지 않고 더 단순한 쪽으로 물러서고, 겹마다 고르게 \(3.8\) 근처가 나오면 최솟값을 믿고 그대로 고른다. 표준오차를 후보마다 따로 쓰면 모형마다 임계값이 달라져 "가장 단순한" 이라는 비교가 성립하지 않으므로, 본문 공식처럼 기준은 반드시 \(\hat{j}\) 의 것 하나로 고정한다.

연습문제 8. 단순선형회귀에서 설명변수가 \(x = (0, 0, 0, 9)\), 반응변수가 \(y = (1, 3, 2, 7)\) 이다. 설계행렬은 \(\mathbf{X}\) 의 첫 열이 \(1\), 둘째 열이 \(x\) 인 \(4 \times 2\) 행렬이다.

(a) \(\mathbf{H} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\) 의 대각원소 \(h_{11}, \ldots, h_{44}\) 를 정의에서 직접 구하라.

(b) 최소제곱 적합선과 잔차 \(e_i\) 를 구하고, 지름길 공식을 \(i = 1, 2, 3\) 에 적용하라.

(c) \(i = 4\) 에서 지름길 공식에 무슨 일이 생기는가. 관측값 \(4\) 를 실제로 빼고 적합을 해 보아, 이것이 공식만의 탈인지 LOOCV 자체의 탈인지 판정하라.

(d) 지름길 공식이 \(n\) 번의 적합과 같은 값을 준다고 말하려면 설계행렬에 무슨 조건이 필요한가. \(h_{ii} = 0.99\) 인 관측값이 있으면 \(\text{CV}_{(n)}\) 이 어떻게 되는가.

풀이

(a) 먼저

\[ \mathbf{X}^\top\mathbf{X} = \begin{pmatrix} 4 & 9 \\ 9 & 81 \end{pmatrix}, \qquad \det = 4\cdot 81 - 81 = 243, \qquad (\mathbf{X}^\top\mathbf{X})^{-1} = \frac{1}{243}\begin{pmatrix} 81 & -9 \\ -9 & 4 \end{pmatrix} \]

\(h_{ii} = \mathbf{x}_i^\top(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{x}_i\) 이고 \(\mathbf{x}_i = (1, x_i)^\top\) 이므로 \(i = 1,2,3\) 에서 \(\mathbf{x}_i = (1,0)^\top\) 이고

\[ h_{11} = h_{22} = h_{33} = \frac{81}{243} = \frac{1}{3} \]

\(i = 4\) 에서는 \(\mathbf{x}_4 = (1,9)^\top\) 이므로

\[ h_{44} = \frac{1}{243}\left(81 - 9\cdot 9 - 9\cdot 9 + 4\cdot 81\right) = \frac{81 - 81 - 81 + 324}{243} = \frac{243}{243} = 1 \]

(대각합이 \(3\cdot\frac13 + 1 = 2\) 로 모수 개수와 같다.)

(b) \(x\) 값이 \(0\) 과 \(9\) 두 종류뿐이므로 최소제곱 직선은 각 \(x\) 에서 그 집단의 \(y\) 평균을 지난다. \(x=0\) 의 평균은 \((1+3+2)/3 = 2\), \(x=9\) 의 "평균" 은 \(7\) 이므로

\[ \hat{y} = 2 + \frac{7-2}{9}x = 2 + \frac{5}{9}x \]

잔차는 \(e = (-1, 1, 0, 0)\) 이다(\(\sum e_i = 0\), \(\sum x_i e_i = 0\) 으로 정규방정식(normal equations)이 확인된다). \(i = 1,2,3\) 에서 \(1 - h_{ii} = 2/3\) 이므로

\[ \frac{e_1}{1-h_{11}} = \frac{-1}{2/3} = -1.5, \qquad \frac{e_2}{1-h_{22}} = 1.5, \qquad \frac{e_3}{1-h_{33}} = 0 \]

실제로 관측값 \(1\) 을 빼면 \(x=0\) 의 평균이 \((3+2)/2 = 2.5\) 가 되어 \(\hat{y}_1^{(-1)} = 2.5\), 하나 빼기 오차가 \(1 - 2.5 = -1.5\) 로 일치한다.

(c) \(e_4 = 0\) 이고 \(1 - h_{44} = 0\) 이므로 지름길 공식은 \(0/0\) 이 되어 값을 내지 못한다. 관측값 \(4\) 를 빼면 남은 설명변수가 모두 \(0\) 이어서

\[ \mathbf{X}_{(-4)}^\top\mathbf{X}_{(-4)} = \begin{pmatrix} 3 & 0 \\ 0 & 0 \end{pmatrix} \]

이고 이는 역행렬이 없다. 기울기가 식별되지 않으므로 \(x = 9\) 에서의 예측값이 아무 값이나 될 수 있다. 곧 \(\hat{y}_4^{(-4)}\) 가 애초에 정의되지 않으며, \(0/0\) 은 공식의 흠이 아니라 LOOCV 자체가 이 설계에서 정의되지 않는다는 정직한 신호다. 이 자료에서는 \(\text{CV}_{(n)}\) 이 존재하지 않는다.

(d) 모든 \(i\) 에서 \(h_{ii} < 1\) 이어야 한다. 이는 "어느 관측값 하나를 빼도 \(\mathbf{X}^\top\mathbf{X}\) 가 여전히 가역" 이라는 말과 같다. \(\mathbf{H}\) 가 사영행렬이어서 \(h_{ii} = \sum_j h_{ij}^2\) 이므로 \(h_{ii} = 1\) 이면 그 행의 나머지가 모두 \(0\) 이고 \(\hat{y}_i = y_i\) 가 된다. \(y_i\) 가 무엇이든 정확히 맞혀 버리는 관측값, 곧 모수 하나를 그 점 하나에 다 써 버린 관측값이다.

\(h_{ii} = 0.99\) 라면 그 항의 배수가

\[ \frac{1}{(1-h_{ii})^2} = \frac{1}{0.01^2} = 10{,}000 \]

이다. 잔차가 작아도 이 한 항이 \(\text{CV}_{(n)}\) 의 합을 지배할 수 있다. 지렛값이 큰 점이 있으면 LOOCV 는 사실상 그 점 하나의 예측오차를 재는 셈이 되며, 이것이 4 절에서 말한 LOOCV 의 큰 분산이 극단적으로 나타나는 모습이다.

연습문제 9. 4 절의 모의실험(\(n = 80\), 설명변수 \(5\) 개, \(600\) 회)에서 (교차검증 추정값 \(-\) 실제값)의 표준편차가 \(K = 2\) 에서 \(0.239\), \(K = 5\) 에서 \(0.195\), \(K = 10\) 에서 \(0.188\), \(K \geq 20\) 에서 \(0.184\) 였다. 이 바닥이 왜 생기는지 수로 따져 보자.

겹별 오차 \(Z_1, \ldots, Z_K\) 가 각각 분산 \(\tau^2\) 을 갖고 서로 상관계수 \(\rho\) 로 같게 상관되어 있다고 두면

\[ \operatorname{Var}\!\left(\frac{1}{K}\sum_{k=1}^{K} Z_k\right) = \frac{\tau^2\{1 + (K-1)\rho\}}{K} \]

(a) \(K \to \infty\) 에서 이 분산의 극한을 구하고, 왜 표준편차가 \(0\) 으로 가지 않는지 설명하라.

(b) 바닥 \(0.184\) 와 \(K = 10\) 의 \(0.188\) 두 수로 \(\tau^2\) 과 \(\rho\) 를 풀어라.

(c) 그 \(\tau^2, \rho\) 로 \(K = 5\) 의 표준편차를 예측하고 보고된 \(0.195\) 와 비교하라.

(d) 같은 식으로 \(K = 2\) 를 예측해 보고 보고된 \(0.239\) 와 비교하라. 어긋난다면 모형의 어느 가정이 깨졌는가.

풀이

(a) 분산을 \(\frac{\tau^2}{K} + \frac{(K-1)\rho\tau^2}{K}\) 로 쓰면 첫 항은 \(0\) 으로 가고 둘째 항은 \(\rho\tau^2\) 으로 간다.

\[ \lim_{K\to\infty} \operatorname{Var} = \rho\tau^2, \qquad \text{표준편차} \to \tau\sqrt{\rho} \]

겹 추정값들이 공유하는 부분은 평균을 내도 사라지지 않는다. \(\rho > 0\) 이면 아무리 겹을 늘려도 표준편차가 \(\tau\sqrt{\rho}\) 아래로 내려가지 못한다. 4 절이 "상관된 값을 평균해서는 분산이 줄지 않는다" 고 한 것이 이 극한이다.

(b) 바닥에서 \(\rho\tau^2 = 0.184^2 = 0.033856\) 이다. \(K = 10\) 에서는

\[ \frac{\tau^2(1 + 9\rho)}{10} = 0.188^2 = 0.035344 \]

왼쪽을 \(\frac{\tau^2}{10} + \frac{9}{10}\rho\tau^2\) 으로 쪼개고 \(\rho\tau^2\) 을 대입하면

\[ \frac{\tau^2}{10} = 0.035344 - 0.9 \times 0.033856 = 0.035344 - 0.030470 = 0.004874 \]

따라서 \(\tau^2 = 0.04874\), \(\tau = 0.2208\) 이고

\[ \rho = \frac{0.033856}{0.04874} = 0.695 \]

겹 사이 상관이 \(0.7\) 가까이다. 4 절의 "강하게 상관되어 있다" 에 수를 붙인 것이다.

(c) \(K = 5\) 에서

\[ \operatorname{Var} = \frac{0.04874\,(1 + 4\times 0.695)}{5} = \frac{0.04874 \times 3.779}{5} = \frac{0.18419}{5} = 0.036837 \]

표준편차는 \(\sqrt{0.036837} = 0.192\) 로 보고된 \(0.195\) 와 \(2\%\) 안에서 맞는다. \(K = 5\) 와 \(K = 10\) 사이에서는 등상관 모형이 잘 듣는다.

(d) \(K = 2\) 에서

\[ \operatorname{Var} = \frac{0.04874\,(1 + 0.695)}{2} = \frac{0.08259}{2} = 0.041296, \qquad \sqrt{\cdot} = 0.203 \]

보고값 \(0.239\) 보다 \(15\%\) 작다. 깨진 가정은 \(\tau^2\) 이 \(K\) 와 무관하다는 것이다. \(K = 2\) 에서는 각 모형이 관측값 \(40\) 개로만 적합되므로 겹별 MSE 자체가 훨씬 들쭉날쭉해져 \(\tau^2\) 이 커진다. 훈련집합이 작아지는 바로 그 효과가 왼쪽 그림의 \(+0.098\) 편향도 만들었다. 다시 말해 작은 \(K\) 에서는 편향과 분산이 같은 원인에서 함께 나빠진다.

덧붙여, 만약 겹들이 무상관(\(\rho = 0\))이었다면 \(K = 80\) 에서 표준편차가 \(\tau/\sqrt{80} = 0.2208/8.944 = 0.0247\) 까지 내려갔을 것이다. 실제 바닥 \(0.184\) 는 그보다 \(7\) 배 이상 크다. \(K\) 를 키워 얻을 것이 없다는 본문의 결론이 이 비교에 다 들어 있다.

연습문제 10. 4 절의 표는 LOOCV 가 "거의 불편" 이라고 적었다. 그 말이 크게 틀어지는 자료를 만들어 보자.

측정을 집단마다 두 번씩 반복한 자료가 있다. 집단이 \(5\) 개, 관측값이 \(n = 10\) 이고 모형은 집단별 평균(가변수 \(5\) 개, 절편 없음)이라서 모수가 \(p = 5\) 이다. 관측값은 집단 순으로

\[ y = (4,\; 6 \mid 9,\; 11 \mid 16,\; 20 \mid 23,\; 25 \mid 30,\; 34) \]

(a) 정의에서 \(h_{ii}\) 를 구하라.

(b) 훈련 MSE 와 지름길 공식에 의한 \(\text{CV}_{(n)}\) 을 구하고, 하나 빼기 예측을 직접 해서 확인하라.

(c) \(y_i = \mu_{g(i)} + \varepsilon_i\), \(\operatorname{Var}(\varepsilon_i) = \sigma^2\) 이라 하자. \(\hat{\sigma}^2 = \sum_i e_i^2/(n-p)\) 를 구하고, \(\text{CV}_{(n)}\) 이 추정하는 양과 전체 자료로 적합한 모형이 기존 집단의 새 관측값에서 내는 기대제곱오차를 각각 \(\sigma^2\) 의 배수로 구하라.

(d) 두 값을 비교하라. 4 절 표의 "거의 불편" 은 무엇을 암묵적으로 가정하고 있었는가.

풀이

(a) \(\mathbf{X}\) 의 각 열이 집단 지시변수이고 집단마다 관측값이 둘이므로 \(\mathbf{X}^\top\mathbf{X} = 2\mathbf{I}_5\), 따라서 \((\mathbf{X}^\top\mathbf{X})^{-1} = \tfrac12\mathbf{I}_5\) 이다. \(\mathbf{x}_i\) 는 원소 하나만 \(1\) 인 벡터이므로 모든 \(i\) 에 대해

\[ h_{ii} = \mathbf{x}_i^\top \left(\tfrac12 \mathbf{I}_5\right) \mathbf{x}_i = \frac{1}{2} \]

(대각합은 \(10 \times \tfrac12 = 5 = p\) 로 맞는다.) 지렛값이 \(1/2\) 이라는 것은 관측값 하나가 자기 집단 평균의 절반을 혼자 떠받치고 있다는 뜻이다.

(b) 집단별 평균은 \(5, 10, 18, 24, 32\) 이고 잔차는

\[ e = (-1,\; 1,\; -1,\; 1,\; -2,\; 2,\; -1,\; 1,\; -2,\; 2) \]

\(\sum e_i^2 = 1+1+1+1+4+4+1+1+4+4 = 22\) 이므로 훈련 MSE 는 \(22/10 = 2.2\) 이다. \(1 - h_{ii} = 1/2\) 이 모든 \(i\) 에서 같으므로

\[ \text{CV}_{(10)} = \frac{1}{10}\sum_{i=1}^{10}\left(\frac{e_i}{1/2}\right)^2 = 4 \times 2.2 = 8.8 \]

직접 확인한다. 관측값 하나를 빼면 그 집단에는 쌍둥이 하나만 남으므로 예측값은 쌍둥이의 값 그대로다. 따라서 하나 빼기 오차는 쌍 안의 차이이고, 쌍별 차이는 \(2, 2, 4, 2, 4\) 이다.

\[ \text{CV}_{(10)} = \frac{2(2^2) + 2(2^2) + 2(4^2) + 2(2^2) + 2(4^2)}{10} = \frac{8 + 8 + 32 + 8 + 32}{10} = \frac{88}{10} = 8.8 \]

지름길 공식과 정확히 같다.

(c) \(\hat{\sigma}^2 = 22/(10-5) = 22/5 = 4.4\) 이다.

LOOCV 쪽: 관측값 \(i\) 의 하나 빼기 오차는 \(y_i - y_{\text{쌍둥이}} = \varepsilon_i - \varepsilon_{\text{쌍둥이}}\) 이고 둘이 독립이므로

\[ \mathbb{E}\left[(y_i - \hat{y}_i^{(-i)})^2\right] = 2\sigma^2 \]

추정값으로는 \(2 \times 4.4 = 8.8\) 이고, 위에서 얻은 \(8.8\) 과 일치한다.

참값 쪽: 전체 자료로 적합한 모형은 집단 \(j\) 를 평균 \(\bar{y}_j\) (관측값 둘의 평균)로 예측한다. 그 집단의 새 관측값 \(y_{\text{new}} = \mu_j + \varepsilon_{\text{new}}\) 에 대해 오차는 \(\varepsilon_{\text{new}} - \bar{\varepsilon}_j\) 이고 \(\operatorname{Var}(\bar{\varepsilon}_j) = \sigma^2/2\) 이므로

\[ \mathbb{E}\left[(y_{\text{new}} - \bar{y}_j)^2\right] = \sigma^2 + \frac{\sigma^2}{2} = 1.5\sigma^2 = 1.5 \times 4.4 = 6.6 \]

(d) LOOCV 는 \(8.8\) 을 주는데 목표는 \(6.6\) 이다. \(8.8/6.6 = 4/3\) 으로 \(33\%\) 나 위로 치우쳤다. 모의실험의 \(K = 2\) 가 만든 편향이 \(+0.098\) 로 참값의 몇 퍼센트 수준이었던 것에 비하면 비교가 안 되게 크다.

이유는 분명하다. 관측값 하나를 빼면 그 집단의 훈련자료가 둘에서 하나로 절반이 된다. LOOCV 가 편향 없이 추정하는 것은 언제나 \(n-1\) 개로 훈련한 모형의 오차(\(2\sigma^2\))이고, 우리가 알고 싶은 것은 \(n\) 개로 훈련한 모형의 오차(\(1.5\sigma^2\))다. 4 절 표의 "거의 불편" 은 이 둘이 거의 같다는 것, 곧 학습곡선이 \(n-1\) 과 \(n\) 사이에서 평평하다는 것을 암묵적으로 가정한다. 모수 개수 \(p\) 가 고정되고 \(n\) 이 크면 평균 지렛값이 \(p/n \to 0\) 이라 그 가정이 성립한다.

여기서는 \(p = n/2\) 로 모수가 \(n\) 과 함께 늘어나고 \(h_{ii} = 1/2\) 이 전혀 작지 않다. 지름길 공식의 배수 \(1/(1-h_{ii})^2 = 4\) 가 바로 그 증상이다. \(h_{ii}\) 가 작지 않은 자료에서는 "LOOCV 는 거의 불편" 을 "LOOCV 는 \(n-1\) 개로 훈련한 모형에 대해 불편" 으로 고쳐 읽어야 한다.


연습문제 11. 모의실험 연구를 수행하라. 같은 모형에서 \(100\)개의 자료를 생성한다. 각 자료에서 검증집합, 5-겹, 10-겹, LOOCV로 최적 다항 차수를 선택하고, 각 방법별로 선택된 차수의 분포를 보고하라. 어느 방법이 가장 안정적인가?

풀이
import numpy as np
from collections import Counter
from sklearn.model_selection import cross_val_score, LeaveOneOut, KFold

degrees = list(range(1, 11))
res = {"validation": [], "5-fold": [], "10-fold": [], "LOOCV": []}

for trial in range(100):
    rng = np.random.default_rng(1000 + trial)
    x = rng.uniform(-3, 3, 200).reshape(-1, 1)
    y = np.sin(x.ravel()) + 0.3 * x.ravel() + rng.normal(0, 0.5, 200)

    perm = rng.permutation(200); tr, te = perm[:100], perm[100:]
    vm = [np.mean((y[te] - poly_pipeline(d).fit(x[tr], y[tr]).predict(x[te]))**2)
          for d in degrees]
    res["validation"].append(degrees[int(np.argmin(vm))])

    for name, cv in [("5-fold",  KFold(5,  shuffle=True, random_state=0)),
                     ("10-fold", KFold(10, shuffle=True, random_state=0)),
                     ("LOOCV",   LeaveOneOut())]:
        m = [-cross_val_score(poly_pipeline(d), x, y, cv=cv,
                              scoring="neg_mean_squared_error").mean()
             for d in degrees]
        res[name].append(degrees[int(np.argmin(m))])

선택된 차수의 분포 (\(100\)개 자료)

방법 최빈값 평균 표준편차 \(d = 3\) 선택 횟수 \(d \ge 5\) 선택 비율
검증집합 3 4.99 2.15 35 0.45
5-겹 3 4.39 1.70 47 0.42
10-겹 3 4.32 1.75 49 0.38
LOOCV 3 4.20 1.72 55 0.34

네 방법 모두 최빈값(mode)이 \(d = 3\)이다. 앞서 하나의 자료에서 \(d = 6\)이 선택된 것은 그 자료의 우연이었다.

검증집합 방법이 명백히 가장 나쁘다. 표준편차 \(2.15\)로 다른 방법들보다 \(25\)% 크고, 평균 차수 \(4.99\)로 과적합 쪽으로 치우쳐 있다. 훈련자료가 절반뿐이라 저차 모형이 불리하게 평가되기 때문이다.

LOOCV가 가장 안정적이다. 표준편차 \(1.72\), \(d = 3\)을 \(55\)번 선택한다. \(k\)-겹과 큰 차이는 없지만(\(1.70\)--\(1.75\)) 결코 나쁘지 않다.

'LOOCV는 분산이 크다'는 통념의 정확한 의미

교재에서 흔히 "LOOCV는 \(n\)개의 훈련집합이 거의 완전히 겹치므로 겹별 오차가 강하게 상관되어 분산이 크다"고 서술한다. 위 결과는 이와 어긋나 보인다.

모순이 아니다. 두 가지 다른 "분산"을 이야기하고 있다.

대상 LOOCV의 성질
CV 오차 추정값의 분산 이론적으로 클 수 있다(겹 간 상관 때문)
분할 난수에 의한 변동 정확히 \(0\)(LOOCV는 결정적이다)
선택된 모형의 안정성 위 표에서 가장 좋다

모형선택이 목적이면 두 번째와 세 번째가 중요하다. \(k\)-겹은 분할 난수라는 추가 변동원을 갖는데 LOOCV에는 그것이 없다.

게다가 겹 간 상관으로 인한 분산 증가는 편향 감소와 상쇄된다. LOOCV는 \(n-1\)개로 훈련하므로 편향이 가장 작다. 실무에서 두 효과의 순합은 문제에 따라 다르며, "LOOCV가 항상 나쁘다"고 말할 근거는 약하다.

LOOCV를 피하는 진짜 이유는 계산비용이다. 지름길 공식이 없는 모형(랜덤포레스트, 신경망)에서 \(n\)번 적합은 현실적이지 않다.


연습문제 12. 반복 \(k\)-겹 교차검증을 구현하라. 서로 다른 무작위 섞기로 10-겹 교차검증을 다섯 번 실행하고 MSE 곡선을 평균낸다. 단일 10-겹 실행과 선택된 차수의 안정성을 비교하고, 오차막대와 함께 평균 MSE 곡선을 그려라.

풀이
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import cross_val_score, KFold

X, y = generate_data(n=200, seed=42)
degrees = list(range(1, 11))
all_mses = {d: [] for d in degrees}

for rep in range(5):
    kf = KFold(10, shuffle=True, random_state=rep)
    for d in degrees:
        all_mses[d].append(
            -cross_val_score(poly_pipeline(d), X, y, cv=kf,
                             scoring="neg_mean_squared_error").mean())

means = [np.mean(all_mses[d]) for d in degrees]
stds  = [np.std(all_mses[d]) for d in degrees]
print("Best degree (repeated 10-fold):", degrees[int(np.argmin(means))])

plt.errorbar(degrees, means, yerr=stds, fmt='o-', capsize=4)
plt.xlabel("Polynomial Degree"); plt.ylabel("CV MSE")
plt.title("Repeated 10-fold CV")
plt.show()

출력:

Best degree (repeated 10-fold): 5

교차검증 방법의 비교

반복 \(k\)-겹 교차검증은 여러 무작위 분할에 대해 평균내어 MSE 추정값의 분산을 줄인다. 오차막대는 반복 간 변동을 보여준다. 단일 10-겹 실행에 비해 평균 곡선이 매끄럽고 선택된 차수가 더 신뢰할 만하다.

\(R\)번 반복하면 분할 난수에 의한 분산이 \(1/R\)로 줄어든다. 다섯 번이면 \(\sqrt{5} = 2.24\)배 안정된다. 계산비용도 정확히 \(5\)배이다.

그러나 반복이 줄이지 못하는 것이 있다. 자료 자체에서 오는 변동이다. 같은 자료를 몇 번 다시 나누어도 그 자료가 우연히 어떤 차수를 선호한다면 결과는 바뀌지 않는다.

변동원 반복 \(k\)-겹이 줄이는가
분할 난수 예 (\(1/R\))
자료 표집 아니오
모형 적합의 난수(있다면) 예

연습문제 11의 표준편차 \(1.75\)는 대부분 두 번째 항목에서 온다. 그래서 LOOCV(분할 난수가 아예 없다)도 \(1.72\)로 크게 낫지 않은 것이다.

오차막대를 어떻게 읽을 것인가

평균 MSE 곡선에서 최솟값을 그냥 고르는 대신, 1-표준오차 규칙을 쓰는 것이 널리 권장된다.

최소 MSE에서 \(1\) 표준오차 이내에 있는 모형 중 가장 단순한 것을 고른다. 이 자료에서는 \(d = 3\)이 선택될 것이다. \(d = 6\)과의 차이 \(0.005\)가 오차막대보다 훨씬 작기 때문이다.

이 규칙은 "동등하게 좋다면 단순한 쪽"이라는 원칙을 정량화한 것이며, 연습문제 11에서 \(100\)개 자료의 최빈 선택이 \(d = 3\)이었던 것과도 부합한다.


연습문제 13. 각 교차검증 방법의 계산비용을 모형 적합 횟수로 논하라. \(n\)개 관측에 대한 차수 \(d\) 다항회귀를 \(k\)-겹 교차검증으로 평가할 때, 후보 차수의 개수 \(D\)의 함수로 총 적합 횟수를 표현하고 세 방법을 비교하라.

풀이

평가할 후보 차수의 개수를 \(D\)라 하자.

  • 검증집합(단일 분할): \(D\)번의 모형 적합. \(m\)번 반복 분할이면 \(mD\)번. 보기에서 \(m = 10\), \(D = 10\)이므로 \(100\)번.
  • \(k\)-겹 교차검증: \(kD\)번. 10-겹에 \(D = 10\)이면 \(100\)번, 5-겹이면 \(50\)번.
  • LOOCV: \(nD\)번. \(n = 200\), \(D = 10\)이면 \(2000\)번.

다항회귀의 적합 하나에 드는 비용은 \(O(nd^2)\)이다(다항 특징을 만들고 최소제곱 체계를 푼다). 따라서 총비용은

방법 총 적합 횟수 총비용
검증집합 (\(m\) 분할) \(mD\) \(O(mDnd^2)\)
\(k\)-겹 교차검증 \(kD\) \(O(kDnd^2)\)
LOOCV \(nD\) \(O(nDnd^2) = O(n^2Dd^2)\)

LOOCV는 \(k\)-겹보다 \(n/k\)배 비싸다. \(n = 200\), \(k = 10\)이면 \(20\)배이다.

실측값이 이론과 맞는다. 이 페이지의 실행 결과는 LOOCV \(0.90\)초, 10-겹 \(0.05\)초, 5-겹 \(0.03\)초로 비가 \(18\)배와 \(30\)배이다.

선형모형에서는 연습문제 14의 지름길 공식이 LOOCV를 단 한 번의 적합으로 줄인다. 그러나 비선형 모형이나 최소제곱이 아닌 모형에서는 \(n\)번의 재적합이 필요하다.

실무적 선택 지침

상황 권장
선형모형, \(n\)이 작거나 중간 LOOCV(지름길 공식으로 비용이 없다)
일반적인 경우 10-겹, 가능하면 \(3\)--\(5\)회 반복
적합이 매우 비쌈(딥러닝) 단일 검증집합 또는 5-겹
\(n\)이 아주 큼(\(> 10^5\)) 단일 검증집합으로 충분하다
자료가 불균형하거나 집단 구조가 있음 층화 \(k\)-겹 또는 집단 \(k\)-겹

마지막 행이 중요하다. 관측이 독립이 아니면(같은 환자의 여러 측정, 시계열 등) 표준 \(k\)-겹이 검정오차를 심각하게 과소평가한다. 같은 개체의 자료가 훈련과 검정에 나뉘어 들어가면 모형이 그 개체를 "기억"할 수 있기 때문이다. GroupKFold나 TimeSeriesSplit을 써야 한다.


연습문제 14. 단순선형회귀에서 LOOCV에는 지름길 공식이 있다. LOOCV 평균제곱오차가 다음과 같음을 보여라.

\[ \text{CV}_{(n)} = \frac{1}{n}\sum_{i=1}^{n}\left(\frac{y_i - \hat{y}_i}{1 - h_{ii}}\right)^2 \]

여기서 \(h_{ii}\)는 사영행렬 \(H = X(X^\top X)^{-1}X^\top\)의 \(i\)번째 대각원소이다. 왜 이 공식이 모형을 \(n\)번 재적합하는 것을 피하게 해 주는가?

풀이

관측 \(i\)를 제거하면 OLS 적합이 바뀐다. 셔먼–모리슨–우드버리 공식에 의해 하나 빼기 잔차는

\[ y_i - \hat{y}_i^{(-i)} = \frac{y_i - \hat{y}_i}{1 - h_{ii}} = \frac{e_i}{1 - h_{ii}} \]

이다. \(e_i = y_i - \hat{y}_i\)는 통상적인 잔차이고 \(h_{ii}\)는 관측 \(i\)의 지렛값이다. 회귀에서 관측 하나를 제거하면 예측이 정확히 \(1/(1 - h_{ii})\)배로 조정되기 때문에 이 항등식이 성립한다.

제곱하여 평균내면 LOOCV 공식을 얻는다. 핵심 이점은 전체 \(n\)개 관측에 대해 모형을 한 번만 적합하고 사영행렬을 계산하면 된다는 것이다. \(n\)번 재적합할 필요가 없다. 선형모형에서 복잡도가 \(O(n \cdot p^2 n)\)에서 \(O(p^2 n)\)으로 줄어든다. \(\square\)

왜 \(1/(1-h_{ii})\)인가. 직관적으로, \(h_{ii}\)는 관측 \(i\)가 자기 자신의 예측에 기여하는 정도이다. \(h_{ii}\)가 \(1\)에 가까우면 그 관측이 자기 예측을 거의 완전히 결정하므로, 제거하면 예측이 크게 달라진다.

\(\sum_i h_{ii} = p\)(모수 개수)이므로 평균 지렛값은 \(p/n\)이다. 다항회귀에서 \(d\)가 커지면 \(p = d+1\)이 커지고, 따라서 LOOCV 잔차의 증폭도 커진다. 이것이 LOOCV가 자동으로 복잡한 모형에 벌점을 주는 메커니즘이다.

\(h_{ii} \to 1\)인 관측이 있으면 LOOCV가 폭발한다. 다항 차수가 \(n\)에 가까워지면 실제로 이런 일이 일어난다.


연습문제 15. LOOCV 추정량의 기댓값이 참 기대 검정 MSE에 대해 근사적으로 불편임을 증명하라. 구체적으로 \(E[\text{CV}_{(n)}] \approx E[\text{MSE}_{\text{test}}]\)임을 보여라. 여기서 검정 MSE는 같은 분포에서 나온 독립 관측에서 평가된다.

풀이

LOOCV 합의 각 항은 \(n - 1\)개로 훈련하고 \(1\)개로 검정한다.

\[ \text{CV}_{(n)} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i^{(-i)})^2 \]

기댓값을 취하면

\[ E[\text{CV}_{(n)}] = \frac{1}{n}\sum_{i=1}^{n} E\!\left[(y_i - \hat{y}_i^{(-i)})^2\right] \]

이다. 각 항 \(E[(y_i - \hat{y}_i^{(-i)})^2]\)은 \(n - 1\)개로 훈련한 모형을 (제외되었으므로) 독립인 관측 \(i\)에서 평가한 기대 검정오차이다. 대칭성에 의해(모든 관측이 동일한 분포를 따르므로) 각 항이 \(\text{Err}_{n-1}\), 즉 \(n-1\)개로 훈련한 모형의 기대 검정오차와 같다. 따라서

\[ E[\text{CV}_{(n)}] = \text{Err}_{n-1} \]

이다. 큰 \(n\)에서 \(\text{Err}_{n-1} \approx \text{Err}_n\)이므로 LOOCV는 \(n\)개로 훈련한 모형의 검정오차에 대해 근사적으로 불편이다. \(n-1 < n\)에서 오는 작은 위쪽 편향은 중간 이상의 \(n\)에서 무시할 만하다. \(\square\)

\(k\)-겹의 편향은 더 크다. \(k\)-겹은 \(n(k-1)/k\)개로 훈련하므로 \(E[\text{CV}_{(k)}] = \text{Err}_{n(k-1)/k}\)이다.

방법 훈련 크기 (\(n = 200\)) 편향의 방향
검증집합 100 가장 큰 위쪽 편향
5-겹 160 중간
10-겹 180 작다
LOOCV 199 거의 없다

위쪽 편향이 왜 문제인가. 학습곡선 \(\text{Err}_m\)이 \(m\)에 대해 감소하므로 \(\text{Err}_{100} > \text{Err}_{200}\)이다. 즉 검증집합 방법은 모든 모형의 오차를 과대평가한다.

모든 모형을 똑같이 과대평가하면 모형선택에는 영향이 없다. 문제는 편향이 모형마다 다르다는 것이다. 복잡한 모형일수록 훈련자료 부족에 더 민감하므로 더 크게 과대평가된다. 그런데 연습문제 11에서 검증집합 방법의 평균 선택 차수가 \(4.99\)로 오히려 높았다. 이는 편향이 아니라 분산이 지배하기 때문이다. 추정값이 불안정하면 최솟값이 우연히 낮게 나온 차수가 선택되는데, 후보가 많은 고차 쪽에서 그런 일이 더 자주 생긴다.


연습문제 16. 연습문제 15의 풀이는 "편향이 모형마다 다르다"고 말하면서도 검증집합 방법이 더 높은 차수를 고른다고 보고한다. 보기 2의 근사

\[ E[\widehat{\text{MSE}}] \approx \sigma^2\left(1 + \frac{p}{n_{\text{tr}}}\right) + \text{근사오차} \]

를 써서 이 얽힘을 끝까지 풀어라. 아래에서 \(\sigma^2 = 0.25\), \(n = 200\), 차수 \(d\)의 모수 개수는 \(p = d+1\)이다.

(1) 같은 자료를 두 차수 \(d < d'\)에서 견준 추정값의 차이의 기댓값을 적어라. 편향이 차수에 공통이면 이 차이에서 사라져야 한다. 사라지는가? 모수 하나당 붙는 벌점을 \(n_{\text{tr}} = 100, 160, 180, 199\)에서 적고, \(d = 3\)과 \(d = 10\) 사이의 벌점 차이도 네 경우에 대해 적어라.

(2) (1)만 보면 검증집합 방법은 LOOCV보다 단순한 차수를 골라야 한다. 7절의 표에서 \(d = 3\)에서 \(d = 10\)으로 가는 동안 검증집합 곡선과 LOOCV 곡선이 각각 얼마나 오르는지 읽어, (1)의 예측과 방향·비를 견주어라.

(3) 그런데도 연습문제 11에서 검증집합 방법의 평균 선택 차수가 가장 높다. (1)이 준 체계적 차이를 보기 2의 분할별 표준편차와 견주어, 왜 편향 쪽 이야기가 선택에서 묻히는지 수로 설명하라.

풀이

(1) 편향은 차수에 공통이 아니다. 근사에서 차수 \(d\)의 기대 추정값이 \(\sigma^2 + \sigma^2 p/n_{\text{tr}} + A_d\)(\(A_d\)는 차수 \(d\)의 근사오차)이므로

\[ E[\widehat{\text{MSE}}(d')] - E[\widehat{\text{MSE}}(d)] = \frac{\sigma^2 (p' - p)}{n_{\text{tr}}} + (A_{d'} - A_d) \]

다. 바닥 \(\sigma^2\)만 공통으로 빠지고 벌점항은 남는다. 모수 하나당 벌점이 \(\sigma^2/n_{\text{tr}}\)이므로

방법 \(n_{\text{tr}}\) 모수 하나당 \(\sigma^2/n_{\text{tr}}\) \(d=3 \to 10\) (\(\Delta p = 7\))
검증집합 \(100\) \(0.002500\) \(0.017500\)
\(5\)겹 \(160\) \(0.001563\) \(0.010938\)
\(10\)겹 \(180\) \(0.001389\) \(0.009722\)
LOOCV \(199\) \(0.001256\) \(0.008794\)

이다. 훈련자료가 적은 방법일수록 복잡한 모형에 더 무거운 벌점을 매긴다. 검증집합의 벌점 기울기가 LOOCV의 \(199/100 = 1.99\)배다.

(2) 표에서 읽은 상승폭. 7절의 표에서 \(d = 3 \to 10\) 사이에

\(d = 3\) \(d = 10\) 상승폭 (1)의 예측
검증집합(평균) \(0.2774\) \(0.2858\) \(0.0084\) \(0.0175\)
LOOCV \(0.2631\) \(0.2679\) \(0.0048\) \(0.0088\)

이다. 방향이 맞고 비도 맞는다. 관측된 비가 \(0.0084/0.0048 = 1.75\)로 예측한 \(1.99\)에 가깝다. 두 상승폭이 모두 예측의 절반쯤인 까닭은 두 가지다. 첫째, 근사오차가 \(d\)에 대해 줄어들므로(\(A_3 - A_{10} \approx 0.003\), 보기 1과 보기 4) 벌점의 상승을 그만큼 지운다. 둘째, 자료 하나의 실현값이라 흔들린다 — 검증집합 열은 열 번 분할의 평균이므로 그 자체의 표준오차가 \(0.0351/\sqrt{10} = 0.0111\)이고, 이는 읽어 낸 상승폭 \(0.0084\)보다 크다. 그러므로 이 표에서 건질 수 있는 것은 부호와 자릿수뿐이다.

(3) 체계적 차이는 작고 잡음은 크다. 검증집합과 LOOCV의 벌점 차이가 \(d = 3\)과 \(d = 10\) 사이에서

\[ 0.0175 - 0.0088 = 0.0087 \]

인데, 보기 2가 잰 한 번 분할한 값의 표준편차는 \(0.0351\)이다. 비가 \(0.0087/0.0351 = 0.25\)다. 즉 검증집합 방법 한 번이 내놓는 곡선에서 벌점의 기울기 차이는 잡음의 사분의 일밖에 되지 않아 곡선 모양으로 드러나지 않는다.

그러면 \(\arg\min\)은 거의 잡음이 정한다. 평평한 구간 \(d = 3, \ldots, 10\)의 여덟 후보 가운데 우연히 가장 낮게 나온 하나가 뽑히고, 여덟 가운데 일곱이 \(d = 3\)보다 높은 차수이므로 평균 선택 차수가 위로 끌린다. 연습문제 11의 \(4.99\)가 그렇게 나온다.

정리하면 두 효과의 방향이 반대다. 편향은 단순한 쪽을 가리키고(크기 \(0.009\)), 분산은 복잡한 쪽을 가리킨다(크기 \(0.035\)). 검증집합 방법의 결함을 "비관적으로 치우친다"로 요약하면 반쪽만 말한 것이고, 모형선택에서 실제로 해를 끼치는 쪽은 흔들린다는 것이다.


연습문제 17. 연습문제 14의 마지막 문장은 "\(h_{ii} \to 1\)인 관측이 있으면 LOOCV가 폭발한다"고 끝난다. 이것을 손으로 끝까지 세어 보자. 자료가

\[ x = (-2, -1, 0, 1, 2), \qquad y = (0, 0, 1, 0, 0) \]

이고 여기에 \(3\)차 다항식(\(p = 4\), \(n = 5\))을 최소제곱으로 적합한다.

(1) 다섯 점에 대한 \(4\)차 직교대비 \(u = (1, -4, 6, -4, 1)\)이 \(1, x, x^2, x^3\) 모두와 직교함을 확인하고, 이로부터 \(h_{ii}\)를 분수로 정확히 구하라. \(\sum_i h_{ii} = p\)로 검산하라.

(2) 잔차 \(e\), 훈련 MSE, 그리고 \(\text{CV}_{(n)}\)을 정확한 분수로 구하고 둘의 비를 적어라.

(3) \(x = -2\)를 빼고 남은 네 점에 \(3\)차 다항식을 직접 맞춰 그 점에서의 하나 빼기 예측을 구해, (2)에서 얻은 하나 빼기 잔차와 맞는지 확인하라. 그 예측이 왜 이렇게 커지는가. 차수를 \(4\)로 올리면 \(\text{CV}_{(n)}\)은 어떻게 되는가.

풀이

(1) 잔차공간이 \(1\)차원이다. \(n = 5\)이고 \(Z\)의 열공간이 \(4\)차원이므로 \(I - H\)는 계수 \(1\)이다. 그 공간을 생성하는 벡터는 \(1, x, x^2, x^3\) 모두와 직교하는 벡터인데, \(u = (1,-4,6,-4,1)\)이 그것이다.

\[ \sum u_i = 0, \quad \sum u_i x_i = -2+4+0-4+2 = 0, \quad \sum u_i x_i^2 = 4-4+0-4+4 = 0, \quad \sum u_i x_i^3 = -8+4+0-4+8 = 0 \]

따라서 \(I - H = uu^{\top}/\lVert u \rVert^2\)이고 \(\lVert u \rVert^2 = 1+16+36+16+1 = 70\)이므로

\[ 1 - h_{ii} = \frac{u_i^2}{70} \quad\Longrightarrow\quad h = \left(\frac{69}{70}, \frac{54}{70}, \frac{34}{70}, \frac{54}{70}, \frac{69}{70}\right) \]

다. 검산: \((69+54+34+54+69)/70 = 280/70 = 4 = p\). \(\square\)

끝점의 지렛값이 \(69/70 = 0.9857\)이다. 증폭 배수가 \(1/(1-h_{11}) = 70\)이다.

(2) 잔차와 두 MSE. \(e = (I-H)y = \dfrac{u^{\top}y}{70}\,u\)이고 \(u^{\top}y = 6\)이므로

\[ e = \frac{6}{70}(1,-4,6,-4,1) = \frac{1}{35}(3, -12, 18, -12, 3) \]
\[ \text{훈련 MSE} = \frac15 \cdot \frac{36}{70^2} \cdot 70 = \frac{36}{350} = \frac{18}{175} = 0.102857 \]

하나 빼기 잔차는 지름길 공식으로

\[ \frac{e_i}{1 - h_{ii}} = \frac{(6/70)u_i}{u_i^2/70} = \frac{6}{u_i} \quad\Longrightarrow\quad \left(6, -\tfrac32, 1, -\tfrac32, 6\right) \]

이다. 따라서

\[ \text{CV}_{(n)} = \frac15\left(36 + \frac94 + 1 + \frac94 + 36\right) = \frac15 \cdot \frac{155}{2} = \frac{31}{2} = 15.5 \]
\[ \frac{\text{CV}_{(n)}}{\text{훈련 MSE}} = \frac{31/2}{18/175} = \frac{5425}{36} = 150.694 \]

훈련오차와 LOOCV가 \(150\)배 벌어진다.

(3) 직접 맞춰 보기. \(x = -2\)를 빼면 네 점 \((-1,0), (0,1), (1,0), (2,0)\)이 남고, 이들을 지나는 \(3\)차 다항식은 유일하다. 라그랑주 보간(주어진 점들을 정확히 지나는 다항식을 점마다 하나씩의 항으로 적는 공식)에서 \(y\)가 \(0\)이 아닌 절점은 \(x=0\) 하나뿐이므로

\[ f(x) = \frac{(x+1)(x-1)(x-2)}{(0+1)(0-1)(0-2)} = \frac{(x+1)(x-1)(x-2)}{2} \]

이고 \(x = -2\)에서

\[ f(-2) = \frac{(-1)(-3)(-4)}{2} = -6 \]

이다. 하나 빼기 잔차가 \(y_1 - f(-2) = 0 - (-6) = 6\)으로 (2)의 첫 성분과 정확히 같다.

왜 커지는가. 끝점을 빼면 남은 네 점이 \(x \in [-1, 2]\)에 몰려 있고 \(x = -2\)는 그 바깥이다. 곧 하나 빼기 예측은 \(3\)차 다항식의 외삽이고, 외삽은 자료 범위 밖에서 급격히 벗어난다. 지렛값 쪽에서 보면 같은 말이다. \(p/n = 4/5 = 0.8\)이라 평균 지렛값이 이미 \(0.8\)이고 끝점은 \(0.9857\)이므로 그 점의 잔차가 \(70\)배로 증폭된다.

차수를 \(4\)로 올리면 \(\text{CV}_{(n)}\)이 정의되지 않는다. \(p = n = 5\)에서 \(H = I\)이므로 모든 \(e_i = 0\)이고 모든 \(1 - h_{ii} = 0\)이어서 식이 \(0/0\)이 된다. 실제로 점 하나를 빼면 네 점을 지나는 \(4\)차 다항식이 유일하지 않아 하나 빼기 예측 자체가 정해지지 않는다. 훈련 MSE는 \(0\)인데 LOOCV는 존재하지 않는다 — 훈련오차가 모형의 좋음을 재는 척도가 될 수 없음을 가장 날카롭게 보여 주는 자리다.


연습문제 18. 연습문제 12의 팁은 \(1\)-표준오차 규칙을 쓰면 "이 자료에서는 \(d = 3\)이 선택될 것"이라고 말하지만 확인하지 않았다. 확인하라.

KFold(n_splits=10, shuffle=True, random_state=42)로 차수 \(d = 1, \ldots, 10\)의 겹별 MSE를 받아, 차수마다 평균과 표준오차 \(\text{SE} = s/\sqrt{10}\)(\(s\)는 겹별 MSE 열 개의 표본표준편차)을 구하라.

(1) 최소 평균을 주는 차수와 그 SE를 적고, 최솟값 \(+\) \(1\,\)SE 안에 드는 차수를 모두 찾아 규칙이 고르는 차수를 적어라.

(2) \(d = 6\)의 SE를 보기 4가 잰 두 표준편차 — 겹 배정에 따른 \(0.00327\)과 자료에 따른 \(0.02654\) — 와 견주어라. 겹별 SE는 둘 가운데 어느 것을 재는 양인가. 왜 그런가.

(3) 그 답으로 (1)의 결과를 설명하라. \(1\)-표준오차 규칙의 막대가 \(d = 3\)부터 \(10\)까지를 모두 덮는 것이 7절의 경고와 어떻게 같은 말인가.

풀이

(1), (2) 수치적으로.

import numpy as np
from sklearn.model_selection import cross_val_score, KFold

X, y = generate_data(n=200, seed=42)
degrees = list(range(1, 11))
kf = KFold(n_splits=10, shuffle=True, random_state=42)

means, ses = [], []
for d in degrees:
    fold = -cross_val_score(poly_pipeline(d), X, y, cv=kf,
                            scoring="neg_mean_squared_error")
    means.append(fold.mean())
    ses.append(fold.std(ddof=1) / np.sqrt(10))

j = int(np.argmin(means))
thr = means[j] + ses[j]
print(f"{'d':>3}{'CV MSE':>12}{'SE':>11}{'1SE':>6}")
for d, m, s in zip(degrees, means, ses):
    print(f"{d:>3}{m:>12.6f}{s:>11.6f}{'O' if m <= thr else 'X':>6}")
inside = [d for d, m in zip(degrees, means) if m <= thr]
print(f"최소 차수 = {degrees[j]},  최소값 = {means[j]:.6f},  그 SE = {ses[j]:.6f}")
print(f"임계값 = {thr:.6f},  1SE 안의 차수 = {inside}")
print(f"1SE 규칙이 고르는 차수 = {min(inside)}")
print(f"d=3 과 d=6 의 차이 = {means[2] - means[5]:.6f}")

출력:

  d      CV MSE         SE   1SE
  1    0.441761   0.037755     X
  2    0.450574   0.037859     X
  3    0.266402   0.025240     O
  4    0.267261   0.025989     O
  5    0.262698   0.025590     O
  6    0.262493   0.029115     O
  7    0.268589   0.031108     O
  8    0.276077   0.031684     O
  9    0.276057   0.030556     O
 10    0.281637   0.032550     O
최소 차수 = 6,  최소값 = 0.262493,  그 SE = 0.029115
임계값 = 0.291608,  1SE 안의 차수 = [3, 4, 5, 6, 7, 8, 9, 10]
1SE 규칙이 고르는 차수 = 3
d=3 과 d=6 의 차이 = 0.003909

(1) 최소는 \(d = 6\)에서 \(0.262493\)이고 그 SE가 \(0.029115\)다(평균값들은 7절의 \(10\)겹 열 \(0.2664\), \(0.2625\), \(0.2816\)과 같은 수다). 임계값이 \(0.291608\)인데 \(d = 3\)부터 \(10\)까지 여덟 차수가 모두 그 아래에 있다. 가장 단순한 것을 고르므로 규칙이 고르는 차수는 \(d = 3\)이다. 팁의 주장은 옳다. 다만 그 까닭은 "\(d=3\)이 \(d=6\)에 겨우 못 미친다"가 아니라 "여덟 차수를 하나도 구별하지 못한다"는 것이다.

(2) 겹별 SE는 자료 쪽 요동을 잰다. \(d = 6\)의 SE \(0.0291\)은 겹 배정에 따른 SD \(0.00327\)의 거의 \(9\)배이고, 자료에 따른 SD \(0.02654\)와는 거의 같다.

까닭은 이 SE가 무엇을 다시 뽑은 셈인지 보면 드러난다. 겹별 MSE 열 개는 서로 겹치지 않는 \(20\)개의 검정점에서 각각 잰 값이므로, 그 산포는 "검정점을 다시 뽑을 때"의 요동을 담는다. 열 개를 평균하고 \(\sqrt{10}\)으로 나누면 결국 \(200\)개 전부에서 잰 평균의 요동, 곧 자료를 다시 뽑을 때 CV 값이 얼마나 달라지는가를 근사한 양이 된다. 보기 4가 자료 \(100\)개를 실제로 새로 뽑아 직접 잰 \(0.0265\)에 \(0.0291\)이 맞아떨어지는 것이 그 증거다.

반면 겹 배정에 따른 \(0.00327\)은 같은 자료를 가르는 법만 바꾼 요동이라 비교가 안 될 만큼 작다. (엄밀히 말하면 겹별 SE는 깨끗한 추정량이 아니다. 겹끼리 훈련자료를 공유해 독립이 아니고 여기서는 조금 비관적으로 나왔다. 그래도 재는 대상은 분명히 자료 쪽이다.)

(3) 그래서 막대가 그렇게 넓다. 막대가 재는 것이 자료의 운이고 그 크기가 \(0.03\)인데, 차수를 바꾸어 얻는 것은 \(d=3\)과 \(d=6\) 사이의 \(0.0039\)뿐이다. 잴 수 있는 것보다 얻는 것이 한 자릿수 작다. \(1\)-표준오차 규칙은 이 사실을 "여덟 후보가 동등하다"로 번역해 주고, 그중 가장 단순한 \(d=3\)을 내놓는다.

7절의 경고 — "\(d=3\)부터 \(10\)까지 차이가 \(4\)%뿐이며 다른 자료를 뽑으면 다른 차수가 선택된다" — 와 정확히 같은 말이다. 다만 7절은 자료 \(100\)개를 새로 뽑아 그것을 보였고, \(1\)-표준오차 규칙은 자료 하나만 가지고 같은 결론에 이른다. 겹별 산포가 이미 자료의 운을 재고 있기 때문이다.


연습문제 19. 보기 2의 근사 \(\sigma^2(1 + p/n_{\text{tr}})\)을 LOOCV에서는 정확한 식으로 바꿀 수 있다. 자료가 참으로 차수 \(d\) 다항모형에서 나왔고(근사오차 \(0\)), 오차가 평균 \(0\)·분산 \(\sigma^2\)으로 서로 무상관이며, 설계행렬 \(Z\)는 고정이라 하자.

(1) 연습문제 14의 지름길 공식에서 출발해

\[ E\left[\text{CV}_{(n)}\right] = \frac{\sigma^2}{n}\sum_{i=1}^{n}\frac{1}{1 - h_{ii}} \]

가 정확히 성립함을 보여라.

(2) 여기서 \(E[\text{CV}_{(n)}] \ge \sigma^2\,\dfrac{n}{n-p}\)이고 등호가 성립하는 것은 모든 \(h_{ii}\)가 같을 때뿐임을 보여라.

(3) \(d = 6\)(\(p=7\)), \(n = 200\), \(\sigma^2 = 0.25\)에서 보기 2의 근사와 (2)의 하한을 수로 견주어라. 어느 쪽이 큰가. 그리고 이 쪽이 보고한 두 수 — 7절 표의 \(d=6\) LOOCV 값 \(0.2577\)과 보기 4의 자료 \(100\)개 평균 \(0.261968\) — 가운데 (2)와 견주어야 하는 것은 어느 것인가. 남는 차이는 무엇인가.

풀이

(1) 잔차의 분산이 \(\sigma^2(1-h_{ii})\)다. 참모형 \(y = Z\beta + \varepsilon\)에서 \((I-H)Z\beta = 0\)이므로

\[ e = (I - H)y = (I - H)\varepsilon \]

다. 따라서 \(E[e_i] = 0\)이고

\[ E[e_i^2] = \operatorname{Var}\left((I-H)\varepsilon\right)_{ii} = \sigma^2\left[(I-H)(I-H)^{\top}\right]_{ii} = \sigma^2 (I-H)_{ii} = \sigma^2 (1 - h_{ii}) \]

이다(\(I-H\)가 대칭이고 멱등이라 \((I-H)(I-H)^{\top} = I-H\)). 지름길 공식에 기댓값을 씌우면

\[ E\left[\text{CV}_{(n)}\right] = \frac1n\sum_{i=1}^{n}\frac{E[e_i^2]}{(1-h_{ii})^2} = \frac1n\sum_{i=1}^{n}\frac{\sigma^2(1-h_{ii})}{(1-h_{ii})^2} = \frac{\sigma^2}{n}\sum_{i=1}^{n}\frac{1}{1-h_{ii}} \]

다. 근사가 하나도 들어가지 않았다. \(\square\)

(2) 옌센 부등식. \(t_i = 1 - h_{ii} > 0\)이라 두면 \(\sum_i t_i = n - \operatorname{tr}(H) = n - p\)다. \(t \mapsto 1/t\)가 \(t>0\)에서 볼록이므로

\[ \frac1n\sum_{i=1}^{n}\frac{1}{t_i} \ \ge\ \frac{1}{\frac1n\sum_i t_i} = \frac{1}{\frac{n-p}{n}} = \frac{n}{n-p} \]

이고(산술평균 \(\ge\) 조화평균(harmonic mean)), \(1/t\)가 엄격히 볼록이므로 등호는 모든 \(t_i\)가 같을 때, 곧 \(h_{ii} \equiv p/n\)인 균형 설계에서만 성립한다. 따라서

\[ E\left[\text{CV}_{(n)}\right] \ \ge\ \sigma^2\,\frac{n}{n-p} = \sigma^2\left(1 + \frac{p}{n-p}\right) \]

\(\square\)

(3) 근사는 하한보다도 작다.

식 \(d=6\) (\(p=7\)) \(d=10\) (\(p=11\))
보기 2의 근사 \(\sigma^2(1 + p/(n-1))\) \(0.258794\) \(0.263819\)
(2)의 하한 \(\sigma^2(1 + p/(n-p))\) \(0.259067\) \(0.264550\)

하한이 근사보다 크다. 보기 2는 \(n_{\text{tr}} = n - 1 = 199\)로 나누지만 정확한 식은 사실상 \(n - p = 193\)으로 나누기 때문이다. 즉 보기 2의 근사는 벌점을 조금 낮게 잡는다. 차이가 \(p=7\)에서 \(0.00027\), \(p=11\)에서 \(0.00073\)으로 \(p\)가 커질수록 벌어진다.

이 쪽의 설계행렬에서 (1)의 합을 직접 계산하면 \(d=6\)에서 \(\frac1n\sum 1/(1-h_{ii}) = 1.037656\)이라 \(E[\text{CV}_{(n)}] = 0.259414\)이고, 하한 \(0.259067\)을 \(0.00035\) 넘는다. \(d=10\)에서는 \(1.075568\)로 \(0.268892\)가 되어 하한 \(0.264550\)보다 \(0.0043\) 크다. 지렛값이 고르지 않을수록 옌센 간격이 벌어지는 것이며, \(d=10\)에서 최대 지렛값이 \(0.75\)까지 올라가므로 그렇다.

견주어야 할 것은 \(0.2577\)이 아니라 \(0.261968\)이다. (1)과 (2)는 기댓값에 대한 식인데 \(0.2577\)은 자료 하나의 실현값이고, 보기 4가 잰 자료에 따른 SD가 \(0.0259\)다. 그러므로 \(0.2577\)이 하한 \(0.2591\)보다 작게 나오는 것은 모순이 아니다 — \(0.05\) 표준편차어치의 요동일 뿐이다. 기댓값을 재려면 자료를 여러 개 뽑아 평균해야 하고, 보기 4의 \(0.261968\)이 바로 그것이다.

남는 차이가 근사오차다. \(0.261968 - 0.259414 = 0.00255\)(하한과 견주면 \(0.00290\))이고, 이는 보기 4가 "그 \(0.003\)이 \(6\)차 다항식의 근사오차"라고 한 바로 그 양이다. (1)과 (2)는 근사오차 \(0\)을 가정했으므로, 실제 평균에서 그 식을 빼면 근사오차만 남는 것이 당연하다.

다만 자릿수까지만 믿어야 한다. 자료 \(100\)개 평균의 표준오차가 \(0.0259/\sqrt{100} = 0.00259\)로 추정하려는 양 \(0.0026\)과 같은 크기다. 근사오차가 \(0.003\) 규모라는 것은 말할 수 있지만 \(0.00255\)라는 소수점은 말할 수 없다.


연습문제 20. 7절은 네 방법 모두 \(d = 6\)을 골랐고 그 LOOCV 값 \(0.2577\)이 \(d=3\)보다 \(0.0054\) 작다고 보고한다. 이 \(0.0054\)가 승자의 저주로 설명되는 크기임을 보이고, 보고할 오차를 바로잡는 방법을 적어라.

(1) 평평한 구간 \(d = 3, \ldots, 10\)의 여덟 후보의 참 오차가 모두 같은 \(\theta\)이고 교차검증 추정값이 \(\theta + \varepsilon_d\)(\(\varepsilon_d\)는 서로 독립인 \(\mathcal N(0, s^2)\))라 하자. 보고되는 최솟값의 기댓값을 \(s\)와 \(a_D = E[\max_{1\le i \le D} Z_i]\)로 적어라. \(Z_i\)는 표준정규이고 \(a_8 = 1.4236\)이다.

(2) 보기 4의 \(10\)겹의 겹 배정 SD \(s = 0.00327\)을 넣어 편향의 크기를 구하고 \(0.0054\)와 견주어라. 연습문제 18이 얻은 겹별 SE \(0.0291\)을 \(s\)로 쓰면 어떻게 되는가. 두 수 가운데 이 물음에 맞는 잡음은 어느 것인가.

(3) 선택 자체는 치우치지 않는데 보고된 오차만 치우치는 까닭을 말하고, 중첩 교차검증이 그것을 어떻게 고치는지 적어라. 외부 \(10\)겹·내부 \(10\)겹·후보 \(D=10\)일 때 적합 횟수를 연습문제 13의 셈법으로 세어 평범한 \(10\)겹과 견주어라.

풀이

(1) 최솟값의 기댓값. \(\min_d (\theta + \varepsilon_d) = \theta - \max_d(-\varepsilon_d)\)이고 \(-\varepsilon_d\)도 \(\mathcal N(0,s^2)\)이므로

\[ E\left[\min_{d}\left(\theta + \varepsilon_d\right)\right] = \theta - s\,a_D \]

다. 보고되는 최솟값은 뽑힌 모형의 참 오차를 평균 \(s\,a_D\)만큼 낮게 본다. 후보가 많을수록(\(a_D\)가 \(D\)에 대해 증가) 추정값이 흔들릴수록(\(s\)) 저주가 깊다.

(2) 크기가 \(0.0054\)와 맞먹는다. \(D = 8\)이므로 \(a_8 = 1.4236\)이고

\[ s\,a_8 = 0.00327 \times 1.4236 = 0.004655 \]

이다. 보고된 "\(d=6\)이 \(d=3\)보다 \(0.0054\) 좋다"와 거의 같은 크기다. 즉 그 \(0.0054\)는 참 오차가 모두 똑같은 여덟 후보에서 가장 운 좋은 하나를 골랐을 때 기대되는 낙폭과 구별되지 않는다.

겹별 SE \(0.0291\)을 쓰면 \(0.0291 \times 1.4236 = 0.041427\)로 \(0.0054\)의 여덟 배가 된다.

맞는 잡음은 \(0.00327\) 쪽이다. \(\arg\min\)을 흔드는 것은 후보 사이에서 달라지는 몫뿐이다. 여덟 추정값은 같은 자료에서 같은 겹으로 계산되므로 자료의 운(\(0.0265\))은 여덟 후보에 거의 공통으로 실려 수준만 위아래로 옮기고 순위를 바꾸지 않는다. 그러므로 자료 쪽 요동을 재는 \(0.0291\)은 이 물음에 과하다. 반대로 \(0.00327\)은 아래쪽 근사이다. 차수마다 모형이 달라 생기는 몫이 더 있으므로 참 \(s\)는 그보다 크다. 어느 쪽이든 결론은 같다 — \(0.0054\)는 저주의 크기 안에 있다.

(여덟 추정값이 강하게 양으로 상관된 것이 독립 가정과 어긋나 보이지만, 상관된 몫은 모두 공통 수준으로 빠지므로 \(s\)를 "후보끼리 달라지는 몫의 SD"로 읽으면 독립 근사가 맞는 자리다.)

(3) 고르는 데 쓴 수를 그대로 성능으로 보고하는 것이 잘못이다. 참 오차가 모두 같다면 여덟 후보가 같은 확률로 뽑히므로 선택이 어느 쪽으로 치우친다고 말할 수 없다. 치우치는 것은 보고하는 수다. 같은 자료가 고르고 또 재면, 고를 때 써 버린 운이 잴 때 다시 세어진다. 7절이 \(0.2577\)을 "\(d=6\) 모형의 검정 MSE"로 읽으면 안 되는 까닭이 이것이다.

중첩 교차검증이 고르는 방식은 이 장의 물음 그대로다 — 무엇을 고정하고 무엇을 다시 뽑는가를 한 겹 더 바깥에서 정한다. 외부 겹으로 자료를 나누고, 각 외부 훈련부분 안에서만 내부 교차검증으로 차수를 고른 뒤, 고른 차수로 그 훈련부분을 적합해 한 번도 보지 않은 외부 검정부분에서 잰다. 고르는 자료와 재는 자료가 갈리므로 저주가 사라진다. 외부 겹마다 다른 차수가 뽑힐 수 있는데, 그것은 결함이 아니라 선택이 불안정하다는 정보다(연습문제 11과 같은 이야기).

값은 적합 횟수로 치른다. 외부 겹 하나에서 내부 \(10\)겹으로 후보 \(10\)개를 재면 \(k_{\text{in}} D = 100\)번이고, 뽑힌 차수로 외부 훈련부분을 다시 적합하는 데 \(1\)번이 더 든다. 외부 겹이 \(10\)개이므로

\[ k_{\text{out}}\left(k_{\text{in}} D + 1\right) = 10 \times 101 = 1010 \]

번이다. 연습문제 13의 평범한 \(10\)겹이 \(kD = 100\)번이었으니 약 \(10\)배다. 안팎을 모두 LOOCV로 하면 \(n\left((n-1)D + 1\right) = 200 \times 1991 = 398{,}200\)번이 되어 연습문제 14의 지름길 공식 없이는 현실적이지 않다.

요약하면 교차검증 값은 두 가지로 쓰이는데 그 둘을 한 수로 겸할 수 없다. 모형을 고르는 데 쓰면 그 최솟값은 성능 보고에 쓸 수 없고, 성능을 보고하려면 고르는 일을 한 겹 바깥에서 다시 해야 한다.


정리하며

교차검증은 표본 밖 성능을 근사하지 않고 직접 잰다.

  • 검증집합 방법이 가장 단순하다. 한 번 나누면 되지만 어떻게 나뉘었느냐에 따라 결과가 크게 흔들리고, 훈련자료가 줄어 성능이 비관적으로 나온다.
  • LOOCV 는 편향이 작다. \(n-1\) 개로 훈련하므로 거의 전체 자료를 쓰지만, \(n\) 번 적합해야 하고 추정값의 분산이 크다(훈련집합들이 거의 같아 상관이 높다).
  • \(k\)-겹이 실용적 균형이다. \(k=5\) 나 \(10\) 이 관례이며, 편향과 분산과 계산 비용 셋을 적당히 맞춘다.
  • 선형회귀에서는 LOOCV 에 닫힌 형태가 있다. 모자값을 쓰면 한 번의 적합으로 계산되므로 비용 문제가 사라진다.
  • 누출을 조심한다. 표준화·변수선택 같은 전처리를 각 겹 안에서 해야 하며, 전체 자료에서 먼저 하면 검증자료가 훈련에 새어든다. 가장 흔한 실수다.

다음 절 AIC와 BIC: 모형선택 기준으로 넘어간다. 교차검증이 자료를 갈라 재어서 고르는 동안, 정보기준은 같은 저울을 벌점 한 항으로 대신한다. 후보 모형을 실제로 훑는 방법은 그 뒤의 부분집합 선택과 단계적 선택이 맡는다.