로지스틱 회귀의 L1·L2 정칙화¶

사전분포 \(\pi(\boldsymbol{\theta})\) 아래의 로그사후는

이다. MAP 추정은 이를 최대화한다.

정규 사전분포. \(\theta_j \sim \mathcal{N}(0, \sigma_0^2)\)이면

이므로 벌점 \(-\frac{\lambda}{2}\sum_j\theta_j^2\)과 비교하면 \(\frac{1}{\sigma_0^2} = \lambda\), 즉 \(\sigma_0^2 = 1/\lambda\)이다.

라플라스 사전분포. \(\theta_j \sim \text{Laplace}(0, b)\)의 밀도는 \(\frac{1}{2b}e^{-|\theta_j|/b}\)이므로

이고, 벌점 \(-\lambda\sum_j|\theta_j|\)과 비교하면 \(b = 1/\lambda\)이다.

두 경우 모두 \(\lambda \to 0\)이면 사전분포가 평평해져 MLE로 돌아가고, \(\lambda \to \infty\) 이면 사전분포가 0에 집중되어 모든 계수가 0이 된다. \(\square\)

두 가지 이유가 있다.

첫째, 평행이동 불변성. 반응변수의 기저율은 모형이 반드시 맞혀야 하는 값이지 축소할 대상이 아니다. 절편에 벌점을 주면 예측확률이 \(0.5\) 쪽으로 끌려간다. \(\theta_0 \to 0\)이면 \(\sigma(0) = 0.5\)이기 때문이다. 사건이 드문 자료(\(\bar y = 0.02\))에서 이는 심각한 편향이다.

둘째, 표준화와의 정합성. 설명변수를 표준화하면 각 \(x_j\)의 평균이 0이 되어, 절편은 "평균적인 관측치의 로그오즈"라는 자연스러운 의미를 갖는다. 이 값은 자료의 단위나 중심화 방식과 무관하게 정해져야 하는데, 벌점을 주면 다른 계수들이 축소되는 정도에 따라 절편까지 끌려다니게 된다.

절편에 벌점을 주면: \(\lambda \to \infty\)일 때 모든 계수가 0이 되어 모든 예측확률이 정확히 \(0.5\)가 된다. 벌점을 주지 않으면 \(\hat\theta_0 \to \operatorname{logit}(\bar y)\)가 되어 영모형, 즉 절편만 있는 모형으로 수렴한다. 후자가 옳은 극한이다.

scikit-learn에서는 해법기에 따라 다르다. lbfgs, newton-cg, sag, saga는 관례대로 절편에 벌점을 주지 않지만, liblinear는 절편에도 벌점을 준다(절편을 합성 특성으로 다루기 때문이며, intercept_scaling 인자가 그 영향을 완화하기 위해 있다). \(\bar y = 0.115\)인 자료에 \(C = 10^{-6}\)(사실상 무한대의 벌점)을 걸고 확인해 보면,

이고 \(\operatorname{logit}(\bar y) = -2.0407\)이다. lbfgs는 올바른 극한인 영모형으로 수렴하지만 liblinear는 절편까지 0으로 눌러 모든 예측확률을 \(0.5\)로 만든다. L1 벌점을 쓸 때 liblinear를 고르는 경우가 많으므로 특히 주의해야 한다. \(\square\)

scikit-learn은

를 최소화한다. 양변을 \(C\)로 나누면

이 되어 이 절의 표기와 비교하면 \(\lambda = 1/C\)이다.

\(n\)과의 관계가 중요하다. 위 식에서 손실은 합이지 평균이 아니다. 따라서 \(n\)이 커지면 손실 항이 \(n\)에 비례해 커지는 반면 벌점은 그대로다. 즉 같은 \(C\)라도 \(n\)이 크면 상대적으로 정칙화가 약해진다.

실무적 함의는 두 가지다.

• 표본 크기가 다른 자료 사이에서 \(C\) 값을 그대로 옮겨 쓰면 안 된다. \(n\)이 10배 커지면 같은 상대적 정칙화를 얻기 위해 \(C\)를 10분의 1로 줄여야 한다.
• 교차검증에서 겹의 크기가 전체 자료와 다르므로 미세한 불일치가 생긴다. 겹마다 훈련 표본이 \(n(K-1)/K\)이므로 최적 \(C\)가 전체 자료에 대한 최적값과 조금 다르다. \(K\)가 크면 무시할 만하다.

glmnet은 손실을 평균으로 쓰므로 이 문제가 없다. 두 도구의 \(\lambda\)를 비교할 때는 \(n\) 배율을 반드시 맞춰야 한다. \(\square\)

벌점 목적함수를 최소화 형태로 쓰면

이다.

존재성. \(-\ell(\boldsymbol{\theta}) \ge 0\)이고 \(\frac{\lambda}{2}\lVert\boldsymbol{\theta}_{-0}\rVert^2 \to \infty\)이므로, \(\lVert\boldsymbol{\theta}_{-0}\rVert \to \infty\)일 때 \(f \to \infty\)다. 즉 \(f\)는 강제적(coercive)이고 연속이므로 최소점이 존재한다. 분리 가능한 자료에서 벌점 없는 MLE가 존재하지 않았던 이유가 \(\lVert\boldsymbol{\theta}\rVert \to \infty\)를 막을 것이 없었기 때문인데, 벌점이 정확히 그 역할을 한다.

유일성. \(-\ell\)의 헤세행렬은 \(A^\top B A\)로 양반정치이고, 벌점 항의 헤세행렬은 \(\lambda I\)(절편 성분은 0)이다. 기울기 좌표에 대해서는 합이 양정치이므로 그 방향으로 강볼록이다. 절편이 벌점을 받지 않아 엄밀한 유일성에는 \(A\)의 첫 열에 대한 조건이 필요하지만, 절편 열이 다른 열들과 일차독립인 통상적인 경우에는 해가 유일하다.

이것이 실무적으로 매우 중요한 이유는, 분리는 드문 사건이 아니기 때문이다. \(p\)가 \(n\)에 가깝거나 범주형 변수의 수준이 세분화되어 있으면 흔히 발생한다. 작은 \(\lambda\) 하나만 넣어도 문제가 사라진다. \(\square\)

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(5)
n, p = 200, 3
X = rng.normal(size=(n, p))
z = 1.5 * X[:, 0] - 1.0 * X[:, 1]          # x3 is noise
y = (rng.random(n) < 1 / (1 + np.exp(-z))).astype(int)

for lam in np.arange(0.04, 0.17, 0.02):
    m = LogisticRegression(penalty='l1', C=1 / (lam * n),
                           solver='liblinear', max_iter=10000,
                           tol=1e-10).fit(X, y)
    print(f"lambda={lam:.2f}  {np.round(m.coef_[0], 5)}")

출력:

lambda=0.04  [ 0.91379 -0.59897  0.     ]
lambda=0.06  [ 0.75432 -0.47237  0.     ]
lambda=0.08  [ 0.61828 -0.36294  0.     ]
lambda=0.10  [ 0.49857 -0.26526  0.     ]
lambda=0.12  [ 0.39045 -0.17568  0.     ]
lambda=0.14  [ 0.29051 -0.09154  0.     ]
lambda=0.16  [ 0.19604 -0.01074  0.     ]

이 구간 내내 활성집합은 \(\{x_1, x_2\}\)로 고정되어 있다(\(x_3\)은 \(\lambda \ge 0.04\)에서 계속 0이다). 경로가 조각별 선형이라면 \(\lambda\) 간격이 일정하므로 증분 \(\Delta\hat\theta_1\)도 일정해야 한다. 그러나 실제 증분은 \(-0.159\)에서 \(-0.094\)로 단조롭게 줄어든다. 경로가 휘어 있다.

최소제곱 라쏘라면 이 구간에서 증분이 정확히 일정하다. 차이는 손실함수에서 온다. 제곱손실의 KKT 조건은 활성 좌표에 대해 \(\lambda\)에 관한 선형계를 주지만, 로지스틱 손실의 조건은 \(\hat p_i\)를 통해 \(\boldsymbol{\theta}\)에 비선형으로 의존한다.

실무적 함의: LARS처럼 꺾인 지점만 계산해 경로 전체를 얻는 알고리즘은 로지스틱 회귀에 쓸 수 없다. glmnet이 \(\lambda\) 격자를 잡고 온기 시작으로 각 점을 따로 푸는 이유가 이것이다. \(\square\)