선형성 가정¶

정의 1. 선형성¶

선형성 가정은 종속변수와 각 독립변수 사이에 직선 관계가 있다고 상정한다. 곧 종속변수의 변화가 독립변수의 변화에 비례한다는 뜻이다.

수학적 표현¶

독립변수가 하나인 단순선형회귀 모형에서 관계는 다음과 같이 쓸 수 있다.

\[ Y = \beta_0 + \beta_1 X + \epsilon \]

여기서

\(Y\)는 종속변수,
\(\beta_0\)은 절편,
\(\beta_1\)은 회귀직선의 기울기,
\(X\)는 독립변수,
\(\epsilon\)은 오차항이다.

설명변수가 \(p\)개인 다중선형회귀에서는

\[ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_p X_p + \epsilon \]

선형성 가정은 \(Y\)의 기댓값이 \(X\) 변수들의 선형함수임을 요구한다.

\[ E[Y \mid X_1, \ldots, X_p] = \beta_0 + \beta_1 X_1 + \cdots + \beta_p X_p \]

중요성¶

선형성은 결정적으로 중요하다. 변수들 사이의 관계가 선형이 아니면 모형이 참 관계를 과대 또는 과소 추정하게 되어 다음을 낳는다.

편향된 예측 — 예측값에 체계적인 오차가 생긴다.
타당하지 않은 통계적 추론 — 신뢰구간과 가설검정을 믿을 수 없게 된다.
나쁜 모형 적합 — 모형이 자료의 참된 패턴을 포착하지 못한다.

곡선 관계에 직선을 적합하면 잔차에 포물선이 남는다

왼쪽 그림의 참 관계는 \(y = 5 + 3x - 0.30x^2\) 이고 잡음의 표준편차는 \(1.4\) 다. 여기에 직선 하나를 적합했다. 최소제곱은 제 일을 충실히 해서 잔차제곱합을 가장 작게 만들었지만, 그 대가로 어느 구간에서도 맞지 않는 직선을 내놓았다. 주황으로 칠한 가운데 구간에서는 직선이 참 곡선 아래에 놓여 체계적으로 과소예측하고, 파랗게 칠한 양 끝에서는 위에 놓여 과대예측한다. 표본이 작아서 생긴 우연이 아니다. 표본을 아무리 키워도 색칠된 두 덩어리는 그대로 남는다.

오른쪽은 같은 적합의 잔차를 \(x\) 에 대해 찍은 것이다. 구간별로 잔차 평균을 재 보면 \(x < 2\) 에서 \(-2.16\), \(4 < x < 6\) 에서 \(+2.80\), \(x > 8\) 에서 \(-2.42\) 다. 잡음의 표준편차가 \(1.4\) 였으니 이 체계적인 치우침은 잡음보다 두 배가량 크다. 잔차란 정의상 모형이 설명하지 못하고 남긴 것인데, 그 남은 것에 이렇게 또렷한 모양이 있다면 그것은 잡음이 아니라 아직 꺼내지 못한 신호다. 잔차그림에서 곡선을 찾는 일이 선형성 진단의 거의 전부인 이유가 여기에 있다.

이 그림이 말해 주는 손해가 무엇인지도 분명히 해 두자. 망가지는 것은 표준오차가 아니라 계수의 뜻 자체다. 적합된 직선의 기울기는 \(0.08\) 로 거의 \(0\) 이다. 출력표만 보면 "\(x\) 는 \(y\) 와 관계가 없다"고 읽게 되지만, 그림 속 관계는 아주 강하다. 다만 방향이 도중에 뒤집힐 뿐이다. 이런 손해는 로버스트 표준오차 같은 사후 보정으로는 고칠 수 없고, \(x^2\) 항을 넣거나 변수를 변환해서 모형 자체를 고쳐야 사라진다. 그리고 앞서 보았듯 \(x^2\) 항을 넣은 모형도 여전히 선형회귀다.

진단¶

선형성 가정을 점검하려면

잔차그림: 잔차(관측값과 예측값의 차이)를 독립변수에 대해 그린다. 잔차가 수평축 주위에 무작위로 흩어져 있으면 선형성 가정이 충족되었을 가능성이 높다. 반면 곡선이나 군집 같은 패턴은 비선형성을 시사한다.
산점도: 각 독립변수와 종속변수의 산점도를 눈으로 살펴도 관계가 선형인지에 대한 통찰을 얻을 수 있다.
성분+잔차 그림: 다중회귀에서 부분잔차 그림은 각 설명변수의 선형성을 개별적으로 평가하게 해 준다.

비선형성에 대한 대책¶

변수변환: 로그, 제곱근, 다항 변환 등을 종속변수나 독립변수에 적용해 선형성을 얻는다.
다항 항: 독립변수의 제곱항이나 세제곱항을 넣어 선형회귀 틀 안에서 곡률을 포착한다.
비선형 모형: 변환으로 해결되지 않으면 비선형 회귀모형을 고려한다.

자세한 진단 방법은 선형성 확인을 보라.

연습문제¶

연습문제 1. 시험 점수를 공부 시간에 회귀시킨 단순선형회귀에서 잔차그림에 뚜렷한 포물선 패턴이 나타났다. 이 비선형성을 포착할 수학적 모형을 쓰고, 그것이 어떻게 여전히 선형회귀의 틀 안에 있는지 설명하라.

풀이

적절한 모형은

\[ Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \varepsilon \]

\(X^2\) 항이 있음에도 이것은 여전히 선형회귀 모형이다. "선형"이란 설명변수가 아니라 모수(\(\beta_0, \beta_1, \beta_2\))에 대한 선형성을 뜻하기 때문이다. 새 변수 \(X_2 = X^2\)을 만들어 \(Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \varepsilon\)을 적합하면 OLS로 추정할 수 있다.

연습문제 2. 선형성의 위배와 올바른 함수 형태의 위배가 어떻게 다른지 설명하라. 선형성 가정을 만족하면서도 모형이 잘못 설정될 수 있는가?

풀이

선형성 가정은 \(E[Y|X]\)가 모수의 선형함수라는 것이다. 함수 형태의 오설정은 포함된 항들이 선형으로 들어가더라도 모형이 관련 설명변수나 변환을 빠뜨렸다는 뜻이다.

그렇다. 모형이 선형성을 만족하면서도 잘못 설정될 수 있다. 예를 들어 \(Y = \beta_0 + \beta_1 X + \varepsilon\)은 모수에 대해 선형이지만, 참 관계가 \(Y = \beta_0 + \beta_1 X + \beta_2 Z + \varepsilon\)인데 \(Z\)를 빠뜨렸다면 선형성 가정은 위배되지 않았어도 누락변수 편향으로 모형이 잘못 설정된 것이다.

정리하며¶

선형성은 모수에 대한 선형을 뜻하지 변수에 대한 것이 아니다.

\(Y=\beta_0+\beta_1X^2+\varepsilon\) 도 선형모형이다. \(X^2\) 을 새 변수로 보면 되며, 계수가 선형으로 들어오는 한 최소제곱이 그대로 통한다.
위반하면 계수가 편향된다. 참 관계가 곡선인데 직선을 적합하면 어느 구간에서는 과대, 다른 구간에서는 과소 예측하며, 잔차에 체계적인 패턴이 남는다.
적합값 대 잔차 그림이 기본 진단이다. 곡선 모양이 보이면 선형성이 깨진 것이다.
처방은 세 가지다. 다항항 추가, 변수 변환(로그·제곱근), 또는 스플라인·GAM 같은 유연한 모형.
다중회귀에서는 변수마다 확인해야 한다. 부분잔차 그림이 개별 설명변수의 관계 모양을 보여 준다.

다음 절 독립성 개관으로 넘어간다.