로지스틱 회귀의 가능도¶

한 관측치의 기여를 \(\ell_i = -[y^{(i)}\log\sigma^{(i)} + (1-y^{(i)})\log(1-\sigma^{(i)})]\) 라 하고 \(z^{(i)}\)로 미분한다. 연쇄법칙과 \(\dfrac{d\sigma}{dz} = \sigma(1-\sigma)\)를 쓰면

이고, 괄호를 정리하면

이다. \(z^{(i)} = A[i,:]\boldsymbol{\theta}\)이므로 \(\partial z^{(i)}/\partial \boldsymbol{\theta} = A[i,:]^\top\)이고, 모든 \(i\)에 대해 더하면

를 얻는다. 최소제곱의 정규방정식 \(A^\top(A\hat\beta - y) = 0\)과 형태가 같다는 점이 인상적이다. 차이는 \(\boldsymbol{\sigma}\)가 \(\boldsymbol{\theta}\)의 비선형함수라는 것이며, 바로 그 때문에 닫힌 형태의 해가 없다. \(\square\)

연습문제 1에서 \(\partial \ell/\partial z^{(i)} = \sigma^{(i)} - y^{(i)}\)이므로 한 번 더 미분하면 \(\partial^2 \ell/\partial (z^{(i)})^2 = \sigma^{(i)}(1-\sigma^{(i)})\)이다. 서로 다른 관측치는 교차항을 만들지 않으므로

이다. 임의의 \(v\)에 대해 \(v^\top H v = \sum_i w_i (A[i,:]v)^2 \ge 0\)이고 \(w_i = \sigma^{(i)}(1-\sigma^{(i)}) > 0\)이므로 \(H\)는 양반정치이고 \(\ell\)은 볼록이다.

\(A\)가 완전열계수이면 \(Av = 0 \Rightarrow v = 0\)이므로 \(v^\top H v > 0\)이 되어 \(H\)가 양정치, 즉 \(\ell\)이 강볼록이 된다. 그러나 이는 주어진 \(\boldsymbol{\theta}\)에서의 이야기다. 자료가 완전히 분리 가능하면 \(\|\boldsymbol{\theta}\|\to\infty\)에 따라 \(w_i \to 0\)이 되어 \(H \to 0\)이고, 하한은 도달되지 않는다(연습문제 5). \(\square\)

\(z^{(i)} = \theta_0\)이면 모든 \(\sigma^{(i)}\)가 같은 값 \(\sigma\)이다. 연습문제 1의 결과에서 \(A\)가 1의 열 하나뿐이므로 기울기는

이고, 0으로 놓으면 \(\hat\sigma = \frac{1}{n}\sum_i y^{(i)} = \bar{y}\)이다. 즉 절편만 있는 로지스틱 회귀는 표본비율을 되돌려 준다.

\(n = 10\), \(\sum y^{(i)} = 3\)이면 \(\hat\sigma = 0.3\)이고

이다. 최소 손실은

이다. 대괄호 안의 값 \(0.61086\)이 바로 베르누이(0.3)의 엔트로피(내트 단위)이므로, \(\ell_{\min} = n\,H(\bar{y})\)이다. 즉 설명변수가 없는 모형의 손실은 결과 자체의 엔트로피이며, 이것이 모든 로지스틱 모형이 넘어서야 할 기준선(영이탈도)이다. \(\square\)

\(\varepsilon = 10^{-6}\)일 때 항 \(-\log(\sigma + \varepsilon)\)을 보자.

\(\sigma\)가 \(\varepsilon\) 수준으로 작아지면 보정이 손실을 \(\log 2 = 0.6931\)만큼 깎아낸다. 즉 확신에 찬 오답에 대한 벌칙이 인위적으로 \(-\log\varepsilon\) 근처에서 잘린다. 이는 수치적 무한대는 막아 주지만 목적함수 자체를 바꾸는 것이며, 특히 극단적으로 잘못된 예측이 있을 때 최적해를 이동시킨다.

softplus 방식은 \(\sigma\)를 거치지 않고 로짓에서 직접 계산한다.

예를 들어 \(z = -800\)이면 \(\sigma(z)\)는 배정도 부동소수점에서 0으로 반올림되어 \(-\log\sigma\)가 inf가 되지만, \(\operatorname{softplus}(800) = 800.0\)은 정확히 계산된다 (np.logaddexp(0, 800)). 근사가 전혀 개입하지 않으므로 목적함수가 왜곡되지 않는다. \(\square\)

분리 초평면을 주는 \(\boldsymbol{\theta}^*\)를 잡고 \(c > 0\)에 대해 \(\boldsymbol{\theta} = c\,\boldsymbol{\theta}^*\)를 생각하자. 분리 가능성에 의해 \(y^{(i)} = 1\)인 모든 \(i\)에서 \(z^{(i)} = c\,A[i,:]\boldsymbol{\theta}^* > 0\)이고, \(y^{(i)} = 0\)인 모든 \(i\)에서 \(z^{(i)} < 0\)이다.

\(c \to \infty\)이면 \(y^{(i)}=1\)인 관측치에서 \(\sigma^{(i)} \to 1\), \(y^{(i)}=0\)인 관측치에서 \(\sigma^{(i)} \to 0\)이므로 모든 항이 0으로 가고 \(\ell(c\,\boldsymbol{\theta}^*) \to 0\)이다. 그런데 \(\ell > 0\)은 항상 성립하므로 하한 0은 어떤 유한한 \(\boldsymbol{\theta}\)에서도 도달되지 않는다. 따라서 최소점이 존재하지 않고, MLE는 정의되지 않는다.

실무에서 나타나는 증상: 계수와 그 표준오차가 반복이 진행될수록 함께 발산한다. statsmodels는 "Perfect separation detected" 경고를 내고, sklearn은 기본으로 벌점을 주기 때문에(기본 C=1.0) 유한한 답을 돌려주지만 그 답은 MLE가 아니다. 해결책은 벌점을 명시적으로 넣거나(L2 정칙화, 19.4절 참조) 파스 보정(Firth's correction)을 쓰거나, 결과를 완벽히 예측하는 변수를 모형에서 빼는 것이다. \(\square\)