콘텐츠로 이동

다항회귀

왜 다항회귀를 쓰는가

다항회귀는 설명변수의 거듭제곱을 회귀식에 넣어 비선형 관계를 모형화한다. 직선 관계를 가정하는 단순선형회귀와 달리 다양한 모양의 곡선을 모형화할 수 있다.

비선형 관계는 실무에서 자주 나타난다.

  • 물리학에서 가속하는 물체의 거리와 시간의 관계는 이차식이다: \(y = ax^2 + bx + c\).
  • 경제학에서 수익체감은 흔히 투입과 산출 사이의 다항 관계를 따른다.
  • 금융에서 변동성 스마일은 옵션 행사가와 내재변동성 사이의 굽은 관계를 시사한다.

수학적 정식화

다항회귀는 설명변수의 다항 항을 넣어 선형회귀를 확장한다.

\[ Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \beta_3 X^3 + \cdots + \beta_d X^d + \epsilon \]

여기서 \(X^2, X^3, \ldots, X^d\)는 설명변수 \(X\)의 다항 항이고 \(d\)는 다항식의 차수이다.

여전히 선형모형이다

\(X\)와 \(Y\) 사이의 관계는 비선형이지만, 다항회귀는 모수 \(\beta_0, \beta_1, \ldots, \beta_d\)에 대해서는 여전히 선형 모형이다. 따라서 \(X, X^2, \ldots, X^d\)를 각각 별개의 설명변수로 취급하면 최소제곱법(OLS)을 그대로 적용할 수 있다.

다항식의 차수가 곡선의 유연성을 결정한다.

차수 이름 모양
1 선형 직선
2 이차 포물선(굽이 하나)
3 삼차 S자 곡선(굽이 둘)
\(d\) \(d\)차 최대 \(d - 1\)개의 굽이

다항 항의 해석

계수의 부호와 크기가 곡률의 방향과 강도를 나타낸다.

  • \(\beta_2 > 0\) (이차항): 곡선이 U자 모양(볼록)이다. \(X\)가 커질수록 \(Y\)는 줄었다가 늘어난다.
  • \(\beta_2 < 0\) (이차항): 곡선이 뒤집힌 U자 모양(오목)이다. \(Y\)는 늘었다가 줄어든다.
  • 고차 항(\(X^3\), \(X^4\) 등)은 변곡점이 더 많은 복잡한 패턴을 포착한다.

과적합의 위험

고차 다항 항은 모형의 유연성을 높이지만 과적합의 위험도 함께 키운다. 자료가 적을 때 특히 그렇다. 차수가 높은 다항식은 훈련자료에는 잘 맞지만 새 관측값에는 일반화가 잘 안 될 수 있다. AIC나 BIC 같은 모형선택 기준으로 적절한 차수를 골라야 한다.

차수를 올릴 때 훈련자료와 새 자료에서 각각 일어나는 일

참 곡선이 \(y = 2 + 1.2x - 0.9x^2\)인 자료 \(40\)개를 만들고(잡음 \(\sigma = 2\)) 차수를 \(1\)부터 \(15\)까지 바꿔 가며 적합했다. 왼쪽 그림에서 초록 직선(차수 \(1\))은 곡률을 통째로 놓친다. 파란 곡선(차수 \(2\))은 검은 점선인 참 곡선과 거의 포개진다. 붉은 곡선(차수 \(15\))은 점들 사이를 구불구불 누비며 지나가다가 자료의 양끝에서 화면 밖으로 튀어 나간다. 고차 다항식의 고질적인 버릇인데, 자료가 없는 가장자리에서 항들이 서로 상쇄되지 못하고 폭주하기 때문이다.

오른쪽이 그 결과를 수로 잰 것이다. 파란 선(훈련 RMSE)은 차수가 오를수록 한 번도 내려가지 않고 계속 줄어든다. 차수 \(1\)에서 \(2.850\), 차수 \(2\)에서 \(1.792\), 차수 \(15\)에서 \(1.565\)다. 모수를 더 주면 최소제곱이 언제나 더 잘 맞춘다는, 앞 절에서 본 \(R^2\)의 단조성과 같은 이야기다. 붉은 선(따로 만든 새 자료에서 잰 검정 RMSE)은 전혀 다르게 움직인다. 차수 \(1\)의 \(3.341\)에서 차수 \(2\)의 \(2.009\)로 떨어졌다가, 그 뒤로는 계속 오른다. 차수 \(10\)에서 \(23.6\), 차수 \(15\)에서 \(644\)다. 세로축이 로그 눈금이라는 점에 주의하라.

검정 RMSE의 최솟값 \(2.009\)가 잡음의 표준편차 \(\sigma = 2\)와 거의 같다는 사실이 이 그림의 핵심이다. \(\sigma\)가 그 어떤 모형도 넘어설 수 없는 바닥이며, 참 차수인 \(2\)가 그 바닥에 닿는다. 차수 \(3\) 이후로 훈련 RMSE가 계속 줄어드는 것은 모형이 신호를 더 찾아내서가 아니라 잡음을 외우고 있기 때문이다. 훈련자료만 보면 이 두 가지를 구별할 수 없다. 그래서 다항 차수를 고를 때는 수정 \(R^2\), AIC, BIC, 교차검증처럼 복잡도에 값을 매기는 기준이 반드시 필요하다.

보기 1. 나이와 소득. 나이와 소득의 관계를 연구할 때 선형모형은 소득이 어느 시점까지는 나이와 함께 늘다가 이후 정체하거나 (은퇴 후처럼) 줄어드는 현실을 놓칠 수 있다. 이차 모형이 이를 포착한다.

풀이
\[ \text{Income} = \beta_0 + \beta_1 \cdot \text{Age} + \beta_2 \cdot \text{Age}^2 + \epsilon \]

\(\beta_1 > 0\)이고 \(\beta_2 < 0\)이면 모형은 소득이 나이와 함께 오르다가 정점에 이른 뒤 떨어지는, 곧 뒤집힌 U자 관계를 기술한다.

다항 항과 교호작용 항 결합하기

더 복잡한 관계를 포착하기 위해 교호작용 항과 다항회귀를 함께 쓸 수 있다. 예를 들어 선형 설명변수와 다항 항 사이에 교호작용 항을 넣을 수 있다.

\[ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_1^2 + \beta_4 (X_1 \times X_2) + \epsilon \]

이는 \(X_1\)과 \(Y\)의 비선형 관계가 \(X_2\)의 수준에 의존하는 상황을 모형화한다.

보기(농업): 비료 사용량(\(X_1\))과 작물 수확량(\(Y\))의 관계는 이차식일 수 있다(수익체증 뒤 수익체감). 그런데 이 관계가 강수량(\(X_2\))에도 의존할 수 있다. 다항 항과 교호작용 항을 함께 쓰면 이를 더 정확히 포착한다.

모형 적합도 평가

다항 항을 넣을 때는 늘어난 복잡도가 정말로 모형을 개선하는지 평가하는 것이 중요하다.

  • 수정 \(R^2\)는 항의 개수에 벌점을 주므로 차수가 다른 모형들을 비교하는 데 유용하다.
  • AIC와 BIC는 적합도와 복잡도 사이의 원칙 있는 절충을 제공한다. BIC의 더 강한 벌점은 고차 다항식의 과적합을 막는 데 특히 유용하다.
  • F 검정으로 내포된 모형들(예: 이차 모형 대 선형 모형)을 비교해 추가된 다항 항이 통계적으로 유의한지 검정할 수 있다.

연습문제

연습문제 1. 어떤 연구자가 \(Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \varepsilon\)을 적합하여 \(\hat{\beta}_2 = -0.03\), \(p = 0.01\)을 얻었다. \(\hat{\beta}_2\)의 부호와 유의성을 해석하라.

풀이

유의한 음의 \(\hat{\beta}_2\)는 \(X\)와 \(Y\) 사이의 오목한(뒤집힌 U자) 관계를 나타낸다. \(X\)가 커지면 (\(\hat{\beta}_1 > 0\)이라 할 때) 처음에는 \(Y\)가 늘지만 결국 이차항이 지배하여 \(Y\)가 줄어든다.

전환점은 \(X^* = -\hat{\beta}_1 / (2\hat{\beta}_2)\)에서 나타난다. 이 점을 넘어서면 \(X\)가 더 늘어날수록 \(Y\)가 줄어든다. \(p = 0.01\)은 이 곡률이 우연이 아니라 통계적으로 유의함을 확인해 준다.

연습문제 2. 다항회귀를 적합하기 전에 설명변수 \(X\)를 중심화하는(\(X\)를 \(X - \bar{X}\)로 바꾸는) 것이 왜 권장되는지 설명하라. 어떤 문제를 해결하는가?

풀이

중심화하지 않으면 \(X\)와 \(X^2\)은 (특히 \(X > 0\)일 때) 대체로 강하게 상관되며, 이 다중공선성이 \(\hat{\beta}_1\)과 \(\hat{\beta}_2\)의 표준오차를 부풀린다.

중심화는 \(X\)를 \(X_c = X - \bar{X}\)로 바꾸므로 \(X_c^2 = (X - \bar{X})^2\)이 된다. \(X_c\)의 평균이 0이므로 \(X_c\)와 \(X_c^2\)의 상관이 크게 줄어들고(대칭분포라면 정확히 0이 된다) 계수 추정이 더 안정적이고 해석 가능해진다. 모형의 적합도(\(R^2\), 예측값)는 바뀌지 않는다.

연습문제 3. 관측값이 \(n = 50\)개인 자료에 차수가 높은 다항식(예: 8차)을 적합할 때의 위험은 무엇인가? 편향-분산 절충과 연결지어 답하라.

풀이

8차 다항식은 (절편을 포함해) 모수 9개로 관측값 50개를 적합하므로 오차에 남는 자유도는 41개뿐이다. 위험은 다음과 같다.

  1. 과적합: 모형이 참된 근본 관계가 아니라 훈련자료의 잡음을 포착하여 새 자료에 대한 예측이 나빠진다.
  2. 큰 분산: 자료가 조금만 달라져도 적합된 다항식이 크게 흔들리며, 특히 경계 근처에서 심하다(Runge 현상).
  3. 나쁜 외삽: 차수가 높은 다항식은 자료 범위 밖에서 격렬하게 진동한다.

편향-분산 절충의 관점에서 고차 다항식은 편향이 작지만(거의 어떤 패턴이든 적합할 수 있다) 분산이 매우 크다. 더 단순한 모형(2차나 3차)이 대개 예측 성능이 낫다. 분산의 감소가 편향의 증가를 능가하기 때문이다.

정리하며

다항회귀는 설명변수와 반응변수 사이의 굽은 관계를 모형화하도록 선형 틀을 확장한다. 강력하지만 차수가 높아질수록 과적합의 위험이 커진다. 모형선택 기준을 신중히 써야 다항 항이 잡음을 적합하는 대신 실질적인 예측 가치를 더하게 된다.