20장: 소프트맥스 회귀¶
★ 이 장에 대하여
이 장은 V 부 「더 나아가기 ★」에 속하며 입문 과정의 범위를 넘는다. 한 학기 분량의 통계학 강의는 보통 17장까지를 다루며, 여기서부터는 그 위에 얹히는 주제다. 건너뛰어도 앞 장들을 이해하는 데 지장이 없고, 필요해졌을 때 그 장만 따로 읽어도 된다.
개요¶
아침에 출근할 때 자동차로 갈지 빨간 버스로 갈지 고른다고 하자. 사람들이 반반으로 갈린다. 여기에 버스를 한 대 더 넣는데, 노선도 요금도 시간표도 빨간 버스와 똑같고 색만 파랗다.
상식으로는 답이 뻔하다. 자동차 타던 사람은 그대로 자동차를 타고, 버스 타던 사람이 빨강과 파랑으로 나뉠 것이다. 자동차 \(50\%\), 버스 두 대가 \(25\%\) 씩이다. 그런데 기계학습에서 널리 쓰는 계산법 하나는 셋을 \(33\%\) 씩으로 나눈다. 버스에 페인트를 다르게 칠했다는 이유만으로 자동차를 고르는 사람이 \(50\%\) 에서 \(33\%\) 로 줄어든 것이다.
왜 그럴까. 그 계산법은 두 선택지를 견줄 때 나머지가 무엇이든 상관하지 않도록 만들어져 있다. 자동차와 빨간 버스의 비는 파란 버스가 있든 없든 그대로여야 한다는 것이다. 얼핏 공정하고 당연해 보인다. \(1959\) 년에 루스라는 학자가 이 성질을 사람의 선택을 설명하는 기본 가정으로 내세웠고, 그 가정 하나에서 바로 이 계산법이 따라 나온다. 이듬해 드브뢰가 위의 버스 이야기로 그 가정을 꼬집었다.
그런데 이야기에는 뒷면이 있다. \(1970\) 년대 초, 맥패든이 샌프란시스코에 새 전철이 생기기도 전의 자료로 바로 이 계산법을 써서 「전철로 출근할 사람이 \(6.3\%\) 일 것」이라 내다보았다. \(1975\) 년에 실제로 세어 보니 \(6.2\%\) 였다. 같은 때 전철 당국의 공식 예측은 \(15\%\) 였다 — 두 배 반을 넘겨 빗나간 것이다. 반례로 두들겨 맞은 계산법이 현실에서는 당국보다 훨씬 잘 맞혔다. 맥패든은 \(2000\) 년에 노벨 경제학상을 받았다.
그러니 교훈은 「이 계산법을 쓰지 말라」가 아니라 「어디서 탈이 나는지 알고 쓰라」다. 탈이 나는 자리는 분명하다 — 고를 것들 가운데 서로 거의 똑같은 것이 섞여 있을 때다. 빨간 버스와 파란 버스처럼. 이 장은 그 계산법을 처음부터 세우고, 그것이 무엇을 슬그머니 가정하고 있는지까지 밝힌다.
확인한 곳 — 20.1절 다항 로지스틱 회귀의 상자와 그 출처 줄
이 장은 이항 로지스틱 회귀(logistic regression)를 다범주 상황으로 확장하여 소프트맥스 회귀(다항 로지스틱 회귀)를 전개한다. 소프트맥스 함수와 확률단체 위에서의 기하학적 해석에서 출발하여 교차엔트로피 손실과 그 기울기를 유도하고, 정칙화와 최적화 전략을 살펴보며, 혼동행렬(confusion matrix)과 평균화 방식으로 다범주 모형을 평가한다. 또한 대안적인 분해 전략인 일대다(OvR)와 일대일(OvO)을 다루고, MNIST 사례연구로 마무리한다.
1. 장의 구성¶
20.1 모형과 소프트맥스 함수¶
소프트맥스 모형을 통한 다범주 분류의 기초를 다룬다.
- 다항 로지스틱 회귀 --- 범주별 로짓을 만드는 가중행렬과 편향벡터를 학습하여 이항 로지스틱 회귀를 \(C > 2\) 범주로 일반화하고, 단층 소프트맥스 구조를 세운다.
- 소프트맥스 함수와 확률단체 --- 실숫값 로짓을 \((C{-}1)\)-단체 위의 유효한 확률분포로 옮기는 소프트맥스 사상을 정의하고, 비음성·정규화·단조성·평행이동 불변성 같은 주요 성질을 다룬다.
- 수치적 안정성(로그–합–지수 기법) --- 큰 로짓을 지수화할 때 생기는 오버플로와 언더플로 문제를 다루고, 안정적인 계산을 위한 로그–합–지수 기법을 소개한다.
20.2 추정과 최적화¶
기울기 기반 방법으로 소프트맥스 모형을 학습시킨다.
- 교차엔트로피 손실 --- 원–핫 부호화된 이름표에 대한 범주형 교차엔트로피 목적함수를 유도하고, 로짓에 대한 기울기가 \(\hat{\mathbf{Y}} - \mathbf{Y}\)라는 우아한 형태를 가짐을 보인다.
- 역전파와 경사하강 --- 단층 모형과 (로지스틱 은닉활성을 갖는) 이층 신경망 모두에 대해 출력층과 은닉층의 역전파 단계를 포함한 완전한 기울기 유도를 제시하고, 미니배치 경사하강으로 그것을 돌린다.
- 소프트맥스의 정칙화 --- 과적합(overfitting)을 막고 다범주 모형의 일반화 성능을 높이기 위해 교차엔트로피 손실에 더하는 L1·L2 벌점항을 논의한다.
- 소프트맥스 회귀 구현 --- 앞의 세 쪽이 유도한 것을 NumPy 로 처음부터 짠다. 안정한 소프트맥스, 교차엔트로피, \(\hat{\mathbf{Y}} - \mathbf{Y}\) 기울기, 원–핫 부호화를 차례로 쌓아 붓꽃 자료로 학습시키고 scikit-learn 과 맞춰 본다.
20.3 모형 평가와 사례연구¶
다범주 분류기의 성능을 평가하고 이론을 실제 자료에 적용한다.
- 다범주 지표(정확도, 혼동행렬) --- 정확도와 \(C \times C\) 혼동행렬로 범주별 오분류 양상을 진단하는 방법을 소개하고, 행렬에서 정밀도와 재현율을 뽑아내는 방법을 안내한다.
- 거시·미시·가중 평균 --- 범주별 정밀도·재현율·F1 점수를 하나의 요약 지표로 집계하는 세 가지 주요 전략과 각각이 적절한 상황을 설명한다.
- MNIST 사례연구 --- 손글씨 숫자 자료 MNIST에 소프트맥스 회귀와 더 깊은 구조(이층 신경망, 간단한 CNN)를 적용하여 모형 복잡도, 학습 절차, 시험 성능을 비교한다.
- 다범주 평가지표 구현 --- 혼동행렬과 정확도, 범주별 정밀도·재현율·F1, 그리고 거시평균과 미시평균을 NumPy 로 직접 계산해 scikit-learn 과 맞춰 보고 열지도로 그린다.
20.4 일대다와 일대일 전략¶
다범주 문제를 여러 개의 이항 문제로 환원하는 대안적 접근을 다룬다.
- OvR(일대다) 접근 --- 한 범주를 나머지 전부와 구별하는 이항 분류기 \(C\)개를 학습시키고 그 출력을 결합해 예측한다.
- OvO(일대일) 접근 --- 범주 쌍마다 하나씩 \(\binom{C}{2}\)개의 이항 분류기를 학습시키고 다수결로 예측을 집계한다.
- 소프트맥스와의 비교 --- 계산 비용, 보정, 확장성 측면에서 OvR·OvO 분해 전략과 고유 소프트맥스 회귀를 대비한다.
연습문제 — 쪽마다 끝에 있다¶
소프트맥스 함수, 교차엔트로피 손실 유도, 다범주 평가지표, 소프트맥스 회귀와 OvR/OvO 전략의 비교를 다루는 연습문제들.
2. 선행 지식¶
이 장은 다음 내용 위에 세워진다.
- 19장(로지스틱 회귀) --- 로짓 연결, 오즈비, 이항 분류의 최대가능도 추정, 그리고 ROC 곡선과 혼동행렬 같은 평가지표.
- 18장(정칙화 기법) --- L1·L2 벌점, 편향–분산 절충, 초모수 조율을 위한 교차검증(cross-validation).
- 13장(선형회귀(linear regression)) --- 최소제곱 추정, 기울기 계산, 모형 평가. 소프트맥스 회귀의 선형 점수화 층의 바탕이 된다.
- 6장·7장 --- 최대가능도 추정의 원리(6.1)와 피셔 정보(7.2). 최적화 유도 전반에 쓰인다.
3. 핵심 요약¶
- 소프트맥스 회귀는 로지스틱 회귀의 자연스러운 다범주 일반화로, \(C\)개의 로짓을 소프트맥스 함수에 통과시켜 범주에 대한 유효한 확률분포를 만든다.
- 교차엔트로피 손실과 소프트맥스 함수를 결합하면 기울기가 \(\hat{\mathbf{Y}} - \mathbf{Y}\)라는 깔끔한 형태가 되어 기울기 기반 최적화가 단순하고 효율적이다.
- 수치적 안정성을 위해서는 로그–합–지수 기법이 필요하다. 지수화 전에 최대 로짓을 빼면 결과를 바꾸지 않으면서 오버플로를 막는다.
- 다범주 평가는 정확도를 넘어서야 한다. 혼동행렬, 범주별 지표, 거시·미시·가중 평균이 범주 간 성능 격차를 드러낸다.
- 일대다와 일대일은 고유 소프트맥스 회귀의 실행 가능한 대안이지만, 소프트맥스는 자연스럽게 보정된 확률을 주고 범주 수가 많아져도 더 우아하게 확장된다.
- 정칙화(가중행렬에 대한 L1·L2 벌점)는 특성 차원이 훈련표본 수에 비해 클 때 필수적이며, MNIST 같은 이미지 분류 과제가 그 전형이다.