일대다(OvR) 접근¶

(1) 양성 비율. 층화추출이므로 훈련자료 \(n = 105\)개가 범주마다 \(35\)개씩이다. 분류기 \(f_c\)는 범주 \(c\)를 양성, 나머지 둘을 음성으로 두므로 양성 비율은

이고 양성 대 음성이 \(1:2\)다. 세 부분문제가 모두 같다. 이 쪽의 연습문제 2가 다루는 \(1/C\)가 \(C = 3\)에서는 \(33.3\%\)라 아직 견딜 만하다.

(2) 평균하면 왜 \(1\)인가. 분류기 \(f_c\)는 다시 붙인 목표값 \(\tilde y_i^{(c)} = \mathbf{1}\{y_i = c\}\)에 대해 벌점 붙은 음의 로그가능도

을 최소화한다. 여기서 \(\hat p_i^{(c)} = \sigma(\mathbf{w}_c^\top\mathbf{x}_i + b_c)\)다. 절편에는 벌점이 걸리지 않으므로 \(b_c\)에 대한 편미분이 그대로

이 되고, 따라서 최적점에서

가 정확히 성립한다. 각 이항 모형의 점수를 훈련자료에 걸쳐 더하면 그 범주의 개수가 된다는 말이다. 이제 \(c\)에 대해 더하면

이므로 양변을 \(n\)으로 나누어

을 얻는다. 점마다는 \(1\)이 아니지만 평균으로는 \(1\)이다. 그러므로 "점수의 합이 \(1\)이 아니다"라는 이 절의 경고는 치우침의 문제가 아니라 퍼짐의 문제다. 평균은 공짜로 맞아 주고, 틀리는 것은 개별 관측치다. 덧붙여 이 등식은 훈련자료에서만 성립한다. 검정자료에서는 성립할 이유가 없다.

수치적으로.

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.multiclass import OneVsRestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=0, stratify=y)

# 일대다(OvR)는 범주마다 "이 범주인가 아닌가" 분류기를 하나씩 둔다.
# 분류기가 C 개뿐이라 단순하지만, 각 분류기가 불균형 자료를 보게 되고
# 서로 다른 분류기의 점수를 견줄 근거도 약하다는 점이 걸린다.
model = OneVsRestClassifier(LogisticRegression(max_iter=1000))
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

print(f"이항 분류기 개수: {len(model.estimators_)}")
print(f"검정 정확도: {(y_pred == y_test).mean():.4f}")

# 세 이항 모형의 점수를 날것으로 모은다. 래퍼의 predict_proba 는 합이
# 1 이 되도록 정규화해 버리므로 이항 모형에서 직접 꺼낸다.
S = np.column_stack([e.predict_proba(X_train)[:, 1] for e in model.estimators_])
print(f"훈련 점수의 열별 합 {np.round(S.sum(axis=0), 4)}"
      f"   (범주별 개수 {np.bincount(y_train)})")
print(f"훈련 행별 합:  평균 {S.sum(axis=1).mean():.7f}"
      f"   최소 {S.sum(axis=1).min():.4f}   최대 {S.sum(axis=1).max():.4f}")

T = np.column_stack([e.predict_proba(X_test)[:, 1] for e in model.estimators_])
print(f"검정 행별 합:  평균 {T.sum(axis=1).mean():.4f}"
      f"   최소 {T.sum(axis=1).min():.4f}   최대 {T.sum(axis=1).max():.4f}")
print(f"아무도 0.5 를 넘지 않는 검정점 {(T.max(axis=1) < 0.5).sum()}/{len(T)}"
      f",  둘 이상 넘는 점 {((T > 0.5).sum(axis=1) >= 2).sum()}")

bad = np.where(y_pred != y_test)[0]
print(f"틀린 {len(bad)}개:  참 {y_test[bad]}  ->  예측 {y_pred[bad]}")

출력:

이항 분류기 개수: 3
검정 정확도: 0.9333
훈련 점수의 열별 합 [34.9997 35.0003 35.    ]   (범주별 개수 [35 35 35])
훈련 행별 합:  평균 1.0000007   최소 0.4144   최대 1.5730
검정 행별 합:  평균 0.9591   최소 0.3622   최대 1.5178
아무도 0.5 를 넘지 않는 검정점 9/45,  둘 이상 넘는 점 3
틀린 3개:  참 [1 1 1]  ->  예측 [2 2 2]

유도한 등식이 맞는다. 열별 합이 \(34.9997\), \(35.0003\), \(35.0000\)으로 범주별 개수 \(35\)와 소수 넷째 자리까지 같다. 차이 \(3 \times 10^{-4}\)는 L-BFGS가 수렴 허용오차에서 멈춘 탓이며, 식이 틀린 탓이 아니다. 행별 합의 평균은 \(1.0000007\)로 예고한 \(1\)과 맞는다.

그런데 개별 관측치는 전혀 \(1\)이 아니다. 훈련자료에서 행별 합이 \(0.4144\)에서 \(1.5730\)까지 흩어진다. 최소점에서는 세 분류기를 다 합쳐도 \(0.41\)밖에 안 되니 아무도 그 점을 자기 것이라 하지 않고, 최대점에서는 \(1.57\)이니 둘 이상이 동시에 자기 것이라 한다. 검정자료에서 \(45\)개 중 \(9\)개가 \(\max_c f_c < 0.5\)로 아무도 주장하지 않는 점이고 \(3\)개는 둘 이상이 주장하는 점이다. 앞 그림의 주황 영역과 분홍 영역이 수로 나타난 것이다.

틀린 \(3\)개는 모두 참값이 versicolor(범주 \(1\))인데 virginica(범주 \(2\))로 예측되었다. 가운데에 놓인 versicolor가 "versicolor 대 setosa \(\cup\) virginica"라는 선형으로 분리되지 않는 부분문제의 양성이 되는 탓이다. 바로 앞에서 그림으로 본 구조적 결함이 수로 드러난 셈이다. 참고로 다음 절의 OvO는 똑같은 분할에서 \(1.0000\)을 내며, 소프트맥스도 그렇다.

(a) 점수의 합이 \(0.80 + 0.65 + 0.40 + 0.55 = 2.40 \ne 1\)이다. 유효한 확률분포가 아니다. 각 OvR 분류기는 그 사례가 자기 범주에 속할 확률을 나머지 전부와 견주어 독립적으로 추정한다. 이 개별 이항 확률들은 합이 1이 되도록 제약되지 않으며, 그 크기는 각각의 이항 모형이 그은 결정경계에 달려 있다.

(b) 표준적인 OvR 예측은 점수가 가장 높은 범주를 고른다. \(\arg\max_k \text{score}_k = 1\), 즉 범주 1이다(점수 0.80). 단순하지만 이 규칙은 동점을 만들 수 있고 보정된 확률을 주지 못한다. 점수를 합으로 나누어 정규화할 수는 있지만 (\(0.80/2.40 = 0.333\)) 임시방편일 뿐 보정을 보장하지 않는다.

(c) 소프트맥스 확률 \(\hat{\mathbf{p}} = (0.45, 0.30, 0.10, 0.15)^\top\)은 정확히 합이 1이고 하나의 모형이 동시에 추정한 값이다. 모든 범주에 대한 정합적인 확률분포를 이루며 소프트맥스 함수를 통해 보정된다. 반면 OvR 점수는 학습 중에 서로 소통하지 않는 독립적인 분류기들에서 나온다.

(d) 고유 소프트맥스가 OvR보다 나은 점 두 가지.

1. 보정된 확률: 소프트맥스는 사후 정규화 없이도 본질적으로 유효한 확률분포 (비음수이고 합이 1)를 만든다. 출력을 범주 확률로 직접 해석할 수 있고 하류의 확률적 추론에 그대로 쓸 수 있다.

2. 동시 학습: 소프트맥스의 가중행렬은 모든 범주를 동시에 가르도록 최적화되므로 범주 경계들 사이에서 정보를 공유할 수 있다. OvR은 각 분류기를 독립적으로 학습시키므로 다범주 문제의 구조를 활용하지 못한다. 예컨대 범주 1과 2를 가르는 데 유용한 특성이 범주 3과 4를 가르는 데도 도움이 될 수 있지만 OvR은 이를 이용할 수 없다.

범주가 균형 잡혀 있으면 각 범주의 비율이 \(1/C\)이므로, 이항 부분문제의 양성 비율도 \(1/C\)다.

\(C = 100\)에서의 문제.

1. 절대 표본 수 부족. 전체 \(n = 10{,}000\)이라면 각 이항 문제의 양성이 100개뿐이다. 특성 차원이 100을 넘으면 분리가 발생하기 쉽고, 벌점 없이는 계수가 발산한다.
2. 점수의 비교 가능성 저하. 각 이항 모형의 절편이 \(\log(1/99) \approx -4.6\) 근처로 내려가 모든 \(f_c(\mathbf{x})\)가 작아진다. \(\arg\max\) 비교 자체는 여전히 작동하지만, 모형마다 보정 상태가 달라 비교가 신뢰하기 어려워진다.
3. 계산 비용. 분류기가 100개이므로 학습·저장·추론 비용이 그만큼 늘어난다. 다만 OvO의 \(\binom{100}{2} = 4{,}950\)개보다는 훨씬 낫다.

범주 수가 많으면 고유 소프트맥스가 확실히 유리하다. 모수를 하나의 행렬로 공유하고, 확률이 자동으로 정합적이며, 학습이 한 번으로 끝난다. \(\square\)

정규화 \(\tilde p_c = f_c(\mathbf{x}) / \sum_{c'} f_{c'}(\mathbf{x})\)는 합을 1로 만들 뿐 각 값이 실제 조건부확률에 가까워지도록 하지는 않는다.

문제가 되는 상황 두 가지.

1. 모든 점수가 낮을 때. 훈련자료에서 멀리 떨어진 입력에서는 모든 \(f_c\)가 작을 수 있다. 예컨대 \((0.05, 0.04, 0.03, 0.02)\)이면 정규화 결과는 \((0.357, 0.286, 0.214, 0.143)\)으로, 모형이 어느 범주에도 확신이 없다는 중요한 정보가 완전히 사라진다. 정규화 후에는 첫 범주에 상당한 확신이 있는 것처럼 보인다.

2. 여러 점수가 높을 때. \((0.9, 0.85, 0.1, 0.05)\)이면 두 분류기가 모두 "내 범주다"라고 주장하는 모순 상태인데, 정규화하면 \((0.45, 0.425, 0.05, 0.025)\)가 되어 마치 두 범주 중 어느 쪽인지 애매하다는 정상적인 상태처럼 보인다. 실제로는 모형들이 서로 충돌하고 있으며, 이는 학습이 잘못되었거나 입력이 분포 밖에 있다는 신호다.

두 경우 모두 정규화가 진단에 필요한 정보를 지운다. 원래 점수를 함께 보관하고, \(\max_c f_c(\mathbf{x})\)가 낮거나 상위 두 점수의 합이 1을 크게 넘으면 예측을 보류하는 편이 낫다.

더 나은 대안: 각 \(f_c\)를 따로 떼어 둔 자료에서 보정한 뒤(플랫 척도화나 등위회귀) 정규화하거나, 애초에 고유 소프트맥스를 쓴다. \(\square\)