20장: 소프트맥스 회귀¶

개요¶

이 장은 이항 로지스틱 회귀를 다범주 상황으로 확장하여 소프트맥스 회귀(다항 로지스틱 회귀)를 전개한다. 소프트맥스 함수와 확률단체 위에서의 기하학적 해석에서 출발하여 교차엔트로피 손실과 그 기울기를 유도하고, 정칙화와 최적화 전략을 살펴보며, 혼동행렬과 평균화 방식으로 다범주 모형을 평가한다. 또한 대안적인 분해 전략인 일대다(OvR)와 일대일(OvO)을 다루고, MNIST 사례연구로 마무리한다.

장의 구성¶

20.1 소프트맥스 회귀¶

소프트맥스 모형을 통한 다범주 분류의 기초를 다룬다.

다항 로지스틱 회귀 --- 범주별 로짓을 만드는 가중행렬과 편향벡터를 학습하여 이항 로지스틱 회귀를 \(C > 2\) 범주로 일반화하고, 단층 소프트맥스 구조를 세운다.
소프트맥스 함수와 확률단체 --- 실숫값 로짓을 \((C{-}1)\)-단체 위의 유효한 확률분포로 옮기는 소프트맥스 사상을 정의하고, 비음성·정규화·단조성·평행이동 불변성 같은 주요 성질을 다룬다.
수치적 안정성(로그-합-지수 기법) --- 큰 로짓을 지수화할 때 생기는 오버플로와 언더플로 문제를 다루고, 안정적인 계산을 위한 로그-합-지수 기법을 소개한다.

20.2 추정과 최적화¶

기울기 기반 방법으로 소프트맥스 모형을 학습시킨다.

교차엔트로피 손실 --- 원-핫 부호화된 이름표에 대한 범주형 교차엔트로피 목적함수를 유도하고, 로짓에 대한 기울기가 \(\hat{\mathbf{Y}} - \mathbf{Y}\)라는 우아한 형태를 가짐을 보인다.
기울기 기반 최적화 --- 단층 모형과 (로지스틱 은닉활성을 갖는) 이층 신경망 모두에 대해 출력층과 은닉층의 역전파 단계를 포함한 완전한 기울기 유도를 제시한다.
소프트맥스의 정칙화 --- 과적합을 막고 다범주 모형의 일반화 성능을 높이기 위해 교차엔트로피 손실에 더하는 L1·L2 벌점항을 논의한다.

20.3 모형 평가와 사례연구¶

다범주 분류기의 성능을 평가하고 이론을 실제 자료에 적용한다.

다범주 지표(정확도, 혼동행렬) --- 정확도와 \(C \times C\) 혼동행렬로 범주별 오분류 양상을 진단하는 방법을 소개하고, 행렬에서 정밀도와 재현율을 뽑아내는 방법을 안내한다.
거시·미시·가중 평균 --- 범주별 정밀도·재현율·F1 점수를 하나의 요약 지표로 집계하는 세 가지 주요 전략과 각각이 적절한 상황을 설명한다.
MNIST 사례연구 --- 손글씨 숫자 자료 MNIST에 소프트맥스 회귀와 더 깊은 구조(이층 신경망, 간단한 CNN)를 적용하여 모형 복잡도, 학습 절차, 검정 성능을 비교한다.

20.4 일대다와 일대일 전략¶

다범주 문제를 여러 개의 이항 문제로 환원하는 대안적 접근을 다룬다.

OvR(일대다) 접근 --- 한 범주를 나머지 전부와 구별하는 이항 분류기 \(C\)개를 학습시키고 그 출력을 결합해 예측한다.
OvO(일대일) 접근 --- 범주 쌍마다 하나씩 \(\binom{C}{2}\)개의 이항 분류기를 학습시키고 다수결로 예측을 집계한다.
소프트맥스와의 비교 --- 계산 비용, 보정, 확장성 측면에서 OvR·OvO 분해 전략과 고유 소프트맥스 회귀를 대비한다.

20.5 코드¶

완전한 파이썬 구현을 제공한다.

소프트맥스 회귀 구현 --- 경사하강으로 하는 소프트맥스 회귀의 전 과정.
다범주 평가지표 --- 혼동행렬, 범주별 정밀도·재현율, 평균화 방식을 계산하는 함수들.
MNIST 분류 --- PyTorch로 단층·이층·CNN 모형을 비교하는 전체 MNIST 파이프라인.

20.6 연습문제¶

소프트맥스 함수, 교차엔트로피 손실 유도, 다범주 평가지표, 소프트맥스 회귀와 OvR/OvO 전략의 비교를 다루는 연습문제들.

선행 지식¶

이 장은 다음 내용 위에 세워진다.

19장(로지스틱 회귀) --- 로짓 연결, 오즈비, 이항 분류의 최대가능도 추정, 그리고 ROC 곡선과 혼동행렬 같은 평가지표.
18장(정칙화 기법) --- L1·L2 벌점, 편향-분산 절충, 초모수 조율을 위한 교차검증.
13장(선형회귀) --- 최소제곱 추정, 기울기 계산, 모형 평가. 소프트맥스 회귀의 선형 점수화 층의 바탕이 된다.
6장(통계적 추정) --- 최대가능도 추정의 원리와 피셔 정보. 최적화 유도 전반에 쓰인다.

핵심 요약¶

소프트맥스 회귀는 로지스틱 회귀의 자연스러운 다범주 일반화로, \(C\)개의 로짓을 소프트맥스 함수에 통과시켜 범주에 대한 유효한 확률분포를 만든다.
교차엔트로피 손실과 소프트맥스 함수를 결합하면 기울기가 \(\hat{\mathbf{Y}} - \mathbf{Y}\)라는 깔끔한 형태가 되어 기울기 기반 최적화가 단순하고 효율적이다.
수치적 안정성을 위해서는 로그-합-지수 기법이 필요하다. 지수화 전에 최대 로짓을 빼면 결과를 바꾸지 않으면서 오버플로를 막는다.
다범주 평가는 정확도를 넘어서야 한다. 혼동행렬, 범주별 지표, 거시·미시·가중 평균이 범주 간 성능 격차를 드러낸다.
일대다와 일대일은 고유 소프트맥스 회귀의 실행 가능한 대안이지만, 소프트맥스는 자연스럽게 보정된 확률을 주고 범주 수가 많아져도 더 우아하게 확장된다.
정칙화(가중행렬에 대한 L1·L2 벌점)는 특성 차원이 훈련표본 수에 비해 클 때 필수적이며, MNIST 같은 이미지 분류 과제가 그 전형이다.