벌점가능도를 통한 변수선택¶

이탈도 차이는 \(195 - 194 = 1\)로, 이탈도 \(194\) 대비 약 \(0.5\%\)에 불과하다. 이 정도 차이는 교차검증 자체의 표집오차 안에 충분히 들어간다. 실제로 \(\Delta D = 1\)은 자유도 1의 가능도비 검정에서 \(p = 0.32\)에 해당하여 전혀 유의하지 않다.

반면 모형의 구조는 크게 다르다. \(\log\lambda = -0.5\)는 잡음변수 \(x_5\)를 포함하고, \(\log\lambda = 0.0\)은 참 설명변수 세 개만 포함한다.

핵심: 교차검증 곡선의 최소점은 잡음이 있는 추정치다. \(\lambda\) 격자를 여러 번 훑으면서 그중 최솟값을 취하는 것은 최댓값 통계량을 보고하는 것과 같아, 필요 이상으로 작은 \(\lambda\)를 고르는 쪽으로 체계적으로 치우친다. 1-표준오차 규칙은 이 편향을 보정하는 간단한 방법이다. "예측 성능이 통계적으로 구별되지 않는다면 더 단순한 모형을 택하라"는 원칙을 형식화한 것이다.

이 현상은 18장의 라쏘 보기에서도 반복해서 나타났다. 교차검증은 예측을 최적화하며, 잡음변수를 하나 더 넣는 데 대한 벌칙이 거의 없다. 변수선택이 목표라면 CV 최소점을 그대로 믿어서는 안 된다. \(\square\)

Meinshausen과 Bühlmann이 \(n/2\)를 고른 이유는 이 크기에서만 상보적 쌍을 만들 수 있기 때문이다. 자료를 크기 \(n/2\)인 두 개의 겹치지 않는 절반으로 나누면 두 부분표본이 서로 독립이 되며, 이것이 위선택 개수에 대한 그들의 오류 경계

를 증명하는 데 쓰인다(\(V\)는 위선택 개수, \(q\)는 경로에서 선택된 변수의 평균 개수).

붓스트랩을 쓰지 않는 이유:

• 복원추출은 관측치를 중복시킨다. 라쏘는 중복된 관측치에 그 관측치를 두 배로 가중한 것처럼 반응하므로, 선택 확률이 원 자료의 유효 표본크기가 아니라 붓스트랩 표본의 성질을 반영하게 된다.
• 붓스트랩 표본의 서로 다른 관측치 개수는 평균적으로 \(n(1 - e^{-1}) \approx 0.632n\)이다. 즉 \(n/2\) 부분표집과 정보량이 비슷하면서도 가중이 불균등해 이론적 분석이 어렵다.
• 무엇보다 상보적 쌍 논증이 성립하지 않아 오류 경계를 잃는다.

실무적으로는 \(n/2\) 부분표집이 계산도 더 싸다(각 적합이 절반 크기의 자료를 쓴다). \(\square\)

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(2024)
n, p = 300, 50
X = rng.normal(size=(n, p))
beta = np.zeros(p)
beta[:5] = [1.5, -1.2, 1.0, -0.8, 0.7]
y = (rng.random(n) < 1 / (1 + np.exp(-(X @ beta)))).astype(int)

lambdas = np.logspace(-1.4, -0.5, 10)     # sparse region only -- see below
B, half = 100, n // 2
selected = np.zeros((len(lambdas), p))

for b in range(B):
    idx = rng.choice(n, size=half, replace=False)
    for t, lam in enumerate(lambdas):
        m = LogisticRegression(penalty='l1', C=1 / (lam * half),
                               solver='liblinear', max_iter=5000
                               ).fit(X[idx], y[idx])
        selected[t] += np.abs(m.coef_[0]) > 1e-8

pi_hat = (selected / B).max(axis=0)          # max over the path
for thr in (0.6, 0.8, 0.9):
    print(thr, np.where(pi_hat >= thr)[0])

출력:

0.6 [ 0  1  2  3  4 11 13 19 20 39]
0.8 [0 1 2 3 4]
0.9 [0 1 2 3 4]

결과. 참 신호 5개의 선택 확률은 모두 정확히 \(1.00\)이고, 잡음변수 45개 중 가장 높은 값은 \(0.72\)다(그다음이 \(0.65\), \(0.63\), \(0.62\), \(0.61\)).

단일 라쏘 적합과의 비교: 같은 자료에 LogisticRegressionCV로 \(\lambda\)를 고르고 한 번 적합하면 18개 변수가 선택된다(참양성 5개, 위양성 13개). 안정성 선택은 \(\pi_{\text{thr}} = 0.8\)에서 위양성을 13개에서 0개로 줄이면서 참 신호는 모두 지킨다.

대가: 안정성 선택은 \(B \times |\Lambda|\)번의 적합을 요구한다(위 코드는 1,000번). 또 약한 신호는 놓칠 수 있다. 계수가 작은 참 변수는 부분표본에서 일관되게 선택되지 않아 문턱을 넘지 못한다. 즉 위양성을 줄이는 대신 검정력을 잃는다. \(\square\)

하는 이유: 라쏘 계수는 축소되어 있다. 벌점이 선택된 변수의 계수까지 0 쪽으로 끌어 당기므로 효과 크기가 체계적으로 과소추정된다. 예측에는 이 축소가 이롭지만(분산을 줄인다), "이 변수의 오즈비는 얼마인가"라는 질문에 답하려면 편향된 값을 보고하는 셈이 된다.

사후 라쏘는 선택과 추정을 분리한다. 라쏘로 지지집합 \(\hat S\)를 고르고, \(\hat S\)의 변수만으로 벌점 없는 MLE를 구한다. 그러면 계수가 축소되지 않는다.

주의점 1: 선택 후 추론은 여전히 무효다. \(\hat S\)가 같은 자료에서 결정되었으므로, 두 번째 적합에서 나오는 표준오차와 p-값은 그 선택 과정을 반영하지 않는다. 신뢰구간은 너무 좁고 p-값은 너무 작다. 이는 단계적 선택의 문제와 본질적으로 같다. 유효한 추론이 필요하면 선택 후 추론(post-selection inference) 기법이나 자료 분할이 필요하다.

주의점 2: 지지집합이 틀리면 축소 제거가 해가 된다. \(\hat S\)에 잡음변수가 섞여 있을 때, 라쏘는 그 계수를 0 근처로 축소해 피해를 줄이지만 사후 라쏘는 벌점 없이 적합하므로 잡음변수의 계수가 온전한 크기로 들어온다. 지지집합 복원이 신뢰할 만할 때에만 이득이 있다.

주의점 3: 분리 위험. \(|\hat S|\)가 \(n\)에 비해 크면 벌점 없는 재적합에서 분리가 발생할 수 있다. 라쏘 벌점이 막아 주던 문제가 되살아난다.

권장: 예측이 목적이면 라쏘 적합을 그대로 쓰라. 선택된 변수의 효과 크기를 해석하는 것이 목적이면 사후 라쏘를 쓰되, 지지집합은 안정성 선택으로 정하고 추론은 별도의 자료에서 수행하라. \(\square\)

L1(라쏘): 둘 중 하나만 고르고 다른 하나를 0으로 만드는 경향이 있다. \(x_1\)과 \(x_2\)가 거의 같은 정보를 담고 있으므로, 하나를 넣으면 다른 하나의 부분잔차와의 상관이 거의 사라져 연성 문턱에 걸린다. 어느 쪽이 선택될지는 자료의 미세한 잡음이 결정하므로, 표본을 조금만 바꿔도 선택이 뒤집힌다.

이는 예측 관점에서는 큰 문제가 아니다. 두 변수가 거의 같으니 어느 쪽을 써도 예측은 비슷하다. 그러나 해석 관점에서는 위험하다. "\(x_1\)이 중요하고 \(x_2\)는 중요하지 않다"는 결론은 자료가 뒷받침하지 않는 주장이다.

엘라스틱넷: \(L_2\) 성분이 그룹 효과를 만들어 둘을 함께 선택하고, 각각에 대략 절반씩의 계수를 나눠 준다. 18장에서 인용한 Zou-Hastie 경계 \(|\hat\beta_i - \hat\beta_j| \le \frac{\|y\|_1}{\lambda(1-\alpha)n}\sqrt{2(1-\rho)}\)가 \(\rho = 0.98\)일 때 \(\sqrt{2(1-\rho)} = 0.2\)로 작아, 두 계수가 가까워질 수밖에 없음을 보장한다.

어느 쪽을 쓸 것인가:

• 최대한 희소한 모형이 목표이고 두 변수가 사실상 교체 가능하다면 라쏘로 충분하다.
• 두 변수가 모두 관련 있다는 배경지식이 있거나 선택의 재현성이 중요하다면 엘라스틱넷을 쓴다.
• 어느 쪽이든 안정성 선택을 곁들이면 진단이 된다. \(x_1\)과 \(x_2\)의 선택 확률이 각각 \(0.5\) 근처로 나오고 둘 중 적어도 하나가 선택될 확률이 1에 가깝다면, 이는 "둘 중 하나는 중요한데 어느 쪽인지 자료로는 구별할 수 없다"는 사실을 정확히 드러낸다. 단일 적합에서는 결코 볼 수 없는 정보다. \(\square\)