보정과 브라이어 점수¶

보정이 중요한 이유¶

정확도가 높으면서도 확률 추정치는 오도하는 분류기가 있을 수 있다. 예컨대 어떤 신청자 집단에 \(\hat{p} = 0.90\)을 부여한 모형이 잘 보정되어 있다면 그중 대략 90%가 실제로 연체해야 한다. 보정은 예측확률이 관측된 빈도와 일치하는지를 잰다. 이항 결정만이 아니라 확률 자체가 후속 행동을 좌우하는 신용평가나 의학적 진단 같은 응용에서 좋은 보정은 필수적이다.

보정의 정의¶

모든 예측확률 \(q\)에 대해

가 성립하면 그 모형은 완벽히 보정되었다고 한다. 말로 하면, 예측확률로 \(q\)를 받은 관측치들 가운데 실제 양성의 비율이 \(q\)와 같다는 뜻이다.

신뢰도 그림(보정 곡선)¶

예측확률은 연속형이므로 위 조건을 모든 \(q\)에 대해 개별적으로 확인할 수는 없다. 대신 예측을 \(G\)개 집단(보통 \(G = 10\), 십분위)으로 묶어, 각 구간의 평균 예측확률과 관측된 양성 비율을 비교한다.

작성 방법¶

1. \(n\)개의 예측 \(\hat{p}_1, \ldots, \hat{p}_n\)을 정렬한다.
2. 크기가 대략 같은 \(G\)개 구간 \(B_1, \ldots, B_G\)로 나눈다.
3. 각 구간 \(g\)에 대해 계산한다.
   • 평균 예측확률: \(\bar{p}_g = \frac{1}{|B_g|}\sum_{i \in B_g}\hat{p}_i\)
   • 관측된 양성 비율: \(\bar{y}_g = \frac{1}{|B_g|}\sum_{i \in B_g}y_i\)
4. \(\bar{p}_g\)에 대해 \(\bar{y}_g\)를 그린다.

완벽히 보정된 모형은 대각선 \(\bar{y} = \bar{p}\) 위에 놓인다. 대각선 위쪽 점은 과소예측 (모형이 지나치게 조심스러움)을, 아래쪽 점은 과대예측(모형이 지나치게 확신함)을 나타낸다.

브라이어 점수¶

브라이어 점수는 보정과 예측정확도를 하나의 수로 요약한다.

브라이어 점수는 0(완벽)에서 1(최악)까지의 값을 가지며, 예측확률을 이항 결과에 대한 점예측으로 보았을 때의 평균제곱오차와 같다.

브라이어 점수의 분해¶

브라이어 점수는 세 성분으로 분해된다(머피 분해).

• 신뢰도(reliability): 보정 곡선이 대각선에서 얼마나 벗어나는지를 잰다. 작을수록 좋다.
• 분해능(resolution): 구간별 관측 비율 \(\bar{y}_g\)가 전체 평균 \(\bar{y}\)에서 얼마나 퍼져 있는지를 잰다. 클수록 좋다(빼기 때문이다).
• 불확실성(uncertainty): 기저율 \(\bar{y}\)에만 의존하므로 같은 자료에 적합한 모든 모형에서 동일하다.

판별력과 보정은 다른 것이다¶

보정이 왜 따로 필요한지는 AUC와 나란히 놓아 보면 분명해진다. 아래 왼쪽은 연체율 \(19\%\) 자료에 적합한 모형(파랑)과, 그 모형의 로그오즈에 \(1.8\)을 더하기만 한 모형(주황)의 신뢰도 그림이다. 더하기는 증가함수이므로 모든 관측치의 순위가 그대로 보존된다.

파란 점들은 대각선을 따라 붙어 있다. 예컨대 평균 예측확률이 \(0.39\)인 구간에서 실제 연체 비율이 \(0.44\), \(0.60\)인 구간에서 \(0.63\)이다. 대각선 주위를 오르내릴 뿐 체계적으로 한쪽으로 치우치지 않는다. 주황 점들은 열 구간 모두가 대각선 아래에 있다. \(0.71\)이라고 말한 집단에서 실제로 연체한 비율은 \(0.27\), \(0.90\)이라고 말한 집단에서도 \(0.63\)에 그친다. 확률을 일관되게 부풀려 말하는 모형이다.

오른쪽이 결론이다. 두 모형의 AUC는 \(0.8190\)으로 소수점 여섯 자리까지 같다. 순위를 하나도 바꾸지 않았으니 당연하다. 그런데 브라이어 점수는 \(0.1165\)에서 \(0.2192\)로 두 배 가까이 나빠졌다. AUC는 "누가 더 위험한가"만 묻고 "얼마나 위험한가"는 묻지 않기 때문에, 확률이 통째로 밀려도 전혀 알아채지 못한다. 브라이어 점수의 분해로 말하면 분해능은 그대로이고 신뢰도 항만 커진 것이다.

그래서 쓰임새가 순위에서 끝나면(누구부터 심사할지 줄을 세우는 일) AUC만 봐도 된다. 그러나 확률값이 그다음 계산에 들어가면 — 기대손실 \(p \times\) 손실액을 계산하거나, 문턱 조율의 \(t^* = C_{FP}/(C_{FP}+C_{FN})\)과 \(\hat p\)를 직접 비교하거나 — 보정이 무너진 모형은 체계적으로 틀린 결정을 낳는다. 주황 모형에 문턱 \(0.5\)를 적용하면 훨씬 많은 사람을 연체로 분류하게 되는데, 그 결정은 자료가 아니라 밀려난 눈금이 만든 것이다.

호스머-레메쇼 검정¶

호스머-레메쇼 검정은 신뢰도 그림의 시각적 판단을 형식화한 것으로, 모형이 잘 보정되어 있다는 영가설을 검정한다.

절차¶

1. 관측치를 \(\hat{p}_i\)로 정렬해 \(G\)개 집단(보통 \(G = 10\))을 만든다.
2. 각 집단 \(g\)에서 관측된 양성 수 \(O_g = \sum_{i \in B_g} y_i\)와 기대 양성 수 \(E_g = \sum_{i \in B_g} \hat{p}_i\)를 구한다.
3. 검정통계량을 계산한다.

적합이 적절하다는 영가설 아래에서 \(\hat{C}\)는 근사적으로 \(\chi^2_{G-2}\)를 따른다. \(\hat{C}\)가 크면(p-값이 작으면) 적합이 부족하다는 뜻이다.

보정 기법¶

모형의 보정이 나쁠 때는 모형 전체를 다시 학습하지 않고도 사후 재보정으로 확률 추정치를 개선할 수 있다.

플랫 척도화¶

원래 모형의 로그오즈를 유일한 설명변수로 삼아 로지스틱 회귀를 적합한다.

여기서 \(f(\mathbf{x})\)는 원래 모형의 출력이고 \(a, b\)는 따로 떼어 둔 보정용 자료에서 학습한다.

등위회귀¶

원래 예측을 보정된 확률로 옮기는 단조 비감소 함수를 적합하는 비모수적 대안이다. 플랫 척도화보다 유연하지만 더 많은 보정 자료를 필요로 한다.

연습문제¶

import numpy as np

p_bar = np.array([.05, .15, .25, .35, .45, .55, .65, .75, .85, .95])
y_bar = np.array([.04, .12, .28, .33, .47, .52, .68, .73, .88, .93])
n_g = np.full(10, 100.0)
n = n_g.sum()

# Brier 점수. 구간 g 안의 예측을 모두 그 구간의 평균확률 p_bar[g] 로 본 값이다
BS = np.sum(n_g * (y_bar * (1 - p_bar)**2 + (1 - y_bar) * p_bar**2)) / n

y_all = np.sum(n_g * y_bar) / n
REL = np.sum(n_g * (p_bar - y_bar)**2) / n
RES = np.sum(n_g * (y_bar - y_all)**2) / n
UNC = y_all * (1 - y_all)

print(f"BS  = {BS:.5f}")
print(f"REL = {REL:.5f}  RES = {RES:.5f}  UNC = {UNC:.5f}")
print(f"REL - RES + UNC = {REL - RES + UNC:.5f}")

BS  = 0.16570
REL = 0.00062  RES = 0.08492  UNC = 0.25000
REL - RES + UNC = 0.16570

정리하며¶

순위를 잘 매기는 것과 확률이 맞는 것은 다르다.

• 보정이란 \(\hat p=0.9\) 인 사례 중 실제로 \(90\%\) 가 양성인 것을 말한다. AUC 가 높아도 보정이 나쁠 수 있다.
• 보정 곡선으로 확인한다. 예측확률을 구간으로 나누고 각 구간의 실제 비율을 그리며, 대각선에 가까울수록 좋다.
• 로지스틱 회귀는 대체로 잘 보정된다. 최대가능도가 확률을 직접 모형화하기 때문이며, 랜덤 포레스트나 SVM 은 그렇지 않다.
• 정칙화가 보정을 흐트러뜨린다. 계수를 축소하면 예측확률이 \(0.5\) 쪽으로 몰린다.
• 확률을 의사결정에 쓸 때 결정적이다. 기대손실을 계산하거나 자원을 배분하려면 확률값 자체가 맞아야 하며, 순위만으로는 부족하다. 플랫 스케일링이나 등위회귀가 사후 보정 도구다.

다음 절 분류 지표 개관으로 넘어간다.