19장: 로지스틱 회귀¶
★ 이 장에 대하여
이 장은 V 부 「더 나아가기 ★」에 속하며 입문 과정의 범위를 넘는다. 한 학기 분량의 통계학 강의는 보통 17장까지를 다루며, 여기서부터는 그 위에 얹히는 주제다. 건너뛰어도 앞 장들을 이해하는 데 지장이 없고, 필요해졌을 때 그 장만 따로 읽어도 된다.
개요¶
코로나가 처음 퍼지던 해, 가슴 엑스레이 사진을 보고 코로나인지 가려내는 인공지능이 쏟아져 나왔다. 병상은 모자라고 검사는 밀리던 때였으니 다들 급했다. \(2021\) 년에 연구자들이 그것들을 모아 살펴보았다. 논문 \(2{,}212\) 편을 훑고 \(415\) 편을 들여다보고 \(62\) 편을 꼼꼼히 읽었다. 결론은 한 줄이었다. 실제 병원에서 쓸 수 있는 것이 하나도 없었다.
성적이 나빠서가 아니다. 논문에 적힌 성적은 대개 훌륭했다. 문제는 연습에 쓴 사진에 있었다. 인터넷에 공개된 사진을 여기저기서 긁어모아 이어 붙이다 보니 같은 환자가 여러 번 들어가기도 했고, 더 고약하게는 코로나 환자는 어른 사진인데 건강한 쪽은 어린이 사진인 그룹이 만들어졌다.
그런 사진으로 공부한 인공지능이 높은 점수를 받는 길은 폐를 들여다보는 것이 아니다. 어른인지 어린이인지만 맞히면 된다. 가슴우리의 크기와 모양만 봐도 알 수 있으니 시험에서는 거의 다 맞힌다. 그런데 병원에 가져다 놓으면 아무 쓸모가 없다. 거기 오는 사람은 어른 환자뿐이니까.
눈여겨볼 것은 인공지능이 잘못한 게 아니라는 점이다. 주어진 사진에서 둘을 가장 잘 갈라 주는 단서를 찾으라고 시켰고, 그것을 충실히 해냈을 뿐이다. 잘못된 것은 「점수가 높으니 쓸 만하다」는 읽기였다.
그 읽기를 막으려면 점수 하나 말고 무엇을 더 보아야 하는지를 알아야 한다. 아픈 사람을 놓쳤는지, 멀쩡한 사람을 아프다고 했는지. 기준을 조금 느슨하게 하면 무엇이 좋아지고 무엇이 나빠지는지. 그리고 「\(90\%\) 확실하다」고 말한 경우들 가운데 정말로 \(90\%\) 가 그랬는지다. 마지막 것이 특히 중요하다 — 누가 아픈지 줄 세우는 일은 잘하면서 「얼마나 확실한가」는 엉터리로 말하는 모형이 흔하기 때문이다.
그래서 이 장은 두 가지를 함께 한다. 확률을 내놓는 모형을 만드는 일과, 그 확률이 믿을 만한지 재는 일이다.
확인한 곳 — 19.3절 혼동행렬·ROC·분류 지표의 상자와 그 출처 줄
로지스틱 회귀(logistic regression)는 이항 결과의 확률을 설명변수(explanatory variable)의 함수로 모형화한다. 연속형 반응변수를 예측하는 선형회귀(linear regression)와 달리, 로지스틱 회귀는 선형예측자를 시그모이드 함수에 통과시켜 구간 \((0, 1)\)의 확률을 만들어 낸다. 이 장에서는 로지스틱 모형의 정식화와 해석, 최대가능도 추정과 추론 절차, 분류 평가지표에 대한 포괄적 논의, 그리고 로지스틱 상황에 맞춘 정칙화 기법을 다룬다.
1. 장의 구성¶
19.1 모형과 계수 해석¶
모형의 정식화, 연결함수, 계수 해석을 다룬다.
- 로짓 연결과 오즈 --- 선형예측자를 확률로 옮기는 사상으로서 시그모이드(로지스틱) 함수를 소개하고, 로짓을 로그오즈로 정의하며, 기울기 기반 추정 전반에서 쓰이는 시그모이드의 도함수를 유도한다. 끝의 한 절에서 같은 모의자료에 선형회귀와 로지스틱을 나란히 적합해, 선형 적합이 \([0,1]\) 을 벗어나는 자리를 수로 짚는다.
- 오즈비와 계수 해석 --- 각 계수가 해당 변수의 한 단위 증가에 따른 로그오즈의 변화량임을 보이고, 따라서 계수를 지수화하면 오즈에 대한 곱셈 효과(오즈비)가 됨을 설명한다.
- 로지스틱 회귀의 가능도 --- 이항 결과에 대한 베르누이 가능도를 유도하고, 음의 로그를 취해 교차엔트로피(로그손실) 목적함수를 얻으며, 로지스틱 회귀의 최적화 문제를 세운다.
- 로지스틱 회귀 실습 --- 한 자료(공부 시간과 합격)로 적합부터 평가까지 한 바퀴 돈다. scikit-learn 과 statsmodels 로 적합하고, 오즈비 구간과 가능도비(likelihood ratio) 검정을 읽고, 혼동행렬(confusion matrix)· ROC·정밀도–재현율로 평가한 뒤 절단값을 고른다. 끝 절이 「절단값과 무관한 수」와 「절단값을 고른 뒤에야 있는 수」를 가른다.
19.2 추정과 추론¶
계수를 어떻게 추정하고 검정하는지 다룬다.
- 최대가능도 추정 --- 교차엔트로피 손실의 기울기를 유도하여, 그것이 예측확률과 관측된 이름표의 차이를 담은 깔끔한 행렬식으로 정리됨을 보이고, 닫힌 형태의 해가 존재하지 않는 이유를 설명한다.
- 뉴턴–랩슨과 IRLS 알고리즘 --- MLE를 찾는 반복 최적화 알고리즘을 설명한다. 헤세행렬을 쓰는 뉴턴–랩슨과, 로지스틱 회귀를 가중최소제곱 문제의 연속으로 바꾸어 푸는 반복재가중최소제곱(IRLS)을 다룬다.
- 왈드 검정과 가능도비 검정 --- MLE의 점근 정규성(normality)과 피셔 정보행렬을 이용하여, 개별 계수 또는 계수 집단이 0과 유의하게 다른지 검정하는 두 고전적 접근을 제시한다.
- 이탈도와 적합도 --- 포화모형과 적합모형의 로그가능도 차이의 두 배로 이탈도를 정의하고, 전체 적합도(goodness of fit) 평가와 내포모형 비교에 어떻게 쓰이는지 논의한다.
19.3 모형 평가¶
분류 성능 평가를 포괄적으로 다룬다.
- 혼동행렬 --- 모든 분류 결과를 요약하는 2×2 분할표(TP, FP, FN, TN)를 정의한다. 다른 모든 지표가 여기에서 파생된다.
- 정밀도, 재현율, F1 점수 --- 정밀도(양성예측도), 재현율(민감도, 참양성률), 둘 사이의 절충, 그리고 이들의 조화평균인 F1 점수를 다루며, 어떤 상황에서 어느 지표가 가장 중요한지 안내한다.
- ROC 곡선과 AUC --- ROC 곡선을 절단값에 의존하지 않는 분류기 평가로 설명하고, 모든 절단값에 걸쳐 TPR 대 FPR을 그리며, 곡선 아래 면적을 판별력의 척도로 해석한다.
- 결정 절단값 조율 --- 기본값 0.5가 최적이 아닌 경우가 많은 이유, 비용을 고려한 절단값 선택 방법, ROC 곡선 위에서 최적 작동점을 찾는 방법을 논의한다.
- 보정과 브라이어 점수 --- 예측확률이 잘 보정되어 있는지(즉 70%라고 예측한 사례들의 실제 발생률이 70%인지)를 다루고, 확률예측의 질을 재는 브라이어 점수를 소개한다.
- 불균형 자료 다루기 --- 역빈도 가중, 과대표집, 과소표집, 절단값 조정 등 범주 불균형에 대한 전략을 다루고, 각 접근이 언제 적절한지 실무적으로 안내한다.
- 평가지표 개관 --- 혼동행렬, 정확도, 정밀도, 재현율, F1 점수, ROC/AUC와 그들 사이의 관계를 하나로 정리한 참고 절이며, 불균형 범주에서 정확도가 갖는 한계를 강조한다.
- ROC 곡선과 평가지표 구현 --- 위의 지표들을 NumPy 만으로 처음부터 짠다. 혼동행렬을 세는 함수에서 시작해 절단값을 훑어 ROC 를 만들고 사다리꼴 공식으로 AUC 를 구한다. 보기마다 이론값을 먼저 구해 두고 짠 코드와 맞춰 본다.
19.4 정칙화 로지스틱 회귀¶
로지스틱 모형의 과적합(overfitting)을 막기 위한 정칙화를 다룬다.
- 로지스틱 회귀의 L1·L2 정칙화 --- 능형(L2)과 라쏘(L1) 벌점을 로지스틱 회귀 목적함수로 확장하여, 과적합을 줄이고 다중공선성(multicollinearity)을 다루는 정칙화 로그가능도 최적화 문제를 만든다.
- 벌점가능도를 통한 변수선택 --- L1 벌점 로지스틱 회귀가 무관한 변수의 계수를 정확히 0으로 만들어 고차원 분류 문제에서 자동 변수선택을 가능하게 함을 보인다.
19.5 다른 분류기와의 비교¶
- 선형판별분석과 이차판별분석 --- 범주마다 \(\mathbf{x}\) 의 분포를 세우고 베이즈 규칙으로 뒤집는 생성 접근을 로지스틱 회귀와 견준다. 공분산을 공유하면 경계가 직선(LDA), 범주마다 따로 두면 이차곡선(QDA)이 되며, 대각으로 제한하면 가우스 나이브 베이즈가 된다.
2. 선행 지식¶
이 장은 다음 내용 위에 세워진다.
- 13장(선형회귀) --- 최소제곱, 계수 해석, 정규방정식(normal equations). 로지스틱 회귀는 이를 분류 상황으로 확장한 것이다.
- 6장·7장 --- 최대가능도 추정(6.1), 피셔 정보와 MLE 의 점근적 성질(7.2 ★).
- 3장(확률의 기초) --- 베르누이 분포, 조건부확률(conditional probability), 가능도함수.
- 9장(가설검정) --- 왈드 검정과 가능도비 검정에서 쓰는 가설검정의 틀, 검정통계량(test statistic), p 값 해석.
- 18장(정칙화 기법) --- 능형회귀(ridge regression)와 라쏘 벌점의 개념. 정칙화 절에서 로지스틱 회귀 목적함수로 확장된다.
3. 핵심 요약¶
- 로지스틱 회귀는 이항 결과의 로그오즈를 설명변수의 선형함수로 모형화하며, 시그모이드 함수가 이 선형예측자를 0과 1 사이의 확률로 옮긴다.
- 계수는 오즈비로 해석한다. 계수를 지수화하면 해당 설명변수가 한 단위 증가할 때 오즈에 곱해지는 배수가 된다.
- 로지스틱 회귀의 MLE에는 닫힌 형태의 해가 없어 반복 알고리즘(뉴턴–랩슨 또는 IRLS)이 필요하지만, 기울기는 잔차(예측값 빼기 관측값)를 포함하는 깔끔한 형태를 갖는다.
- 모형 평가에는 정확도를 넘어서는 지표가 필요하다. 특히 범주가 불균형할 때 정밀도, 재현율, F1 점수, AUC가 분류기 성능을 이해하는 데 필수적이다.
- 결정 절단값은 기본값 0.5를 그대로 쓸 것이 아니라 위양성과 위음성의 상대적 비용에 근거해 조율해야 한다.
- L1과 L2 정칙화는 로지스틱 회귀로 자연스럽게 확장된다. L1은 변수선택을 가능하게 하고, L2는 설명변수가 상관되어 있거나 모형이 과모수화되었을 때 추정치를 안정화한다.