AIC와 일치도 지수¶

같은 자료에 여러 생존 모형을 적합했다면 최선의 모형을 고를 객관적 기준이 필요하다. 서로를 보완하는 두 도구가 이 목적에 쓰인다. 모수 모형의 적합도와 복잡도를 저울질하는 아카이케 정보기준(AIC)과, 사건을 일찍 겪는 대상과 늦게 겪는 대상을 모형이 얼마나 잘 구별하는지를 재는 일치도 지수(C-지수)다.

이 절에서는 두 기준을 정의하고, 적용 범위와 한계를 논의하며, 추가 평가지표로 적분 브라이어 점수를 소개한다.

아카이케 정보기준¶

로그가능도가 \(\ell(\hat{\boldsymbol{\theta}})\)이고 추정 모수가 \(p\)개인 모수적 생존 모형의 AIC는

이다. AIC가 낮을수록 적합도와 복잡도의 절충이 낫다. AIC는 모수가 하나 늘 때마다 2만큼 벌점을 주어 과적합을 억제한다.

생존 모형에서 AIC 쓰기¶

AIC는 모수적 생존 모형(지수, 와이불, 로그정규, 로그로지스틱)에 곧바로 적용된다. 이들이 같은 가능도 틀을 공유하기 때문이다.

대안으로서의 BIC¶

베이즈 정보기준은 고정 벌점 \(2p\)를 표본 크기에 의존하는 벌점으로 바꾼다.

\(n > e^2 \approx 7.4\)이면(실무에서는 거의 항상 그렇다) BIC가 AIC보다 복잡도를 무겁게 벌한다. 따라서 BIC는 AIC보다 단순한 모형을 고르는 경향이 있다.

콕스 모형에서 AIC의 한계¶

콕스 모형은 완전한 가능도가 아니라 부분 가능도를 최대화한다. 부분 로그가능도로 계산한 AIC를 실무에서 쓰기도 하지만 이론적 정당화가 모수 모형에 비해 약하다. 일부 소프트웨어가 콕스 모형에 대해 부분가능도 기반 AIC를 보고하지만, 비교는 같은 기저를 갖는 콕스 모형끼리로 제한해야 한다 (예: 같은 콕스 틀 안에서 공변량 집합만 다른 경우).

일치도 지수¶

Harrell(1982)이 제안한 일치도 지수(C-지수 또는 C-통계량)는 모형이 예측 위험으로 대상들의 순위를 얼마나 옳게 매기는지를 잰다. 이항 분류의 AUC에 대응하는 생존분석의 지표다.

C-지수 계산하기¶

선형예측자가 \(\hat{\eta}_i = \hat{\boldsymbol{\beta}}^\top \mathbf{x}_i\)인 콕스 모형에서,

1. \(t_i < t_j\)이고 \(\delta_i = 1\)인 모든 쌍 \((i, j)\)를 열거한다(대상 \(i\)가 먼저 사건을 겪었고 절단되지 않았다).
2. \(\hat{\eta}_i > \hat{\eta}_j\)이면 그 쌍은 일치한다(먼저 사건을 겪은 대상의 예측 위험이 더 높다).
3. \(\hat{\eta}_i = \hat{\eta}_j\)이면 그 쌍을 0.5로 센다.

C-지수 해석¶

19장의 AUC 등급표와 마찬가지로 이 구간들은 관례일 뿐이다. C-지수 0.72가 좋은지 나쁜지는 표가 아니라 문제와 기존 모형의 성능이 정한다.

장점과 한계¶

장점:

• 어떤 생존 모형에도 적용된다(비모수, 모수, 콕스).
• 분포 가정을 요구하지 않는다.
• 무작위로 뽑은 한 쌍의 순위를 옳게 매길 확률로 곧바로 해석된다.

한계:

• 판별력만 재고 보정(예측확률이 관측 빈도와 얼마나 맞는지)은 재지 않는다.
• 절단분포에 민감하다. 절단이 심하면 사용 가능한 쌍의 수가 줄어든다.
• 시간 지평을 반영하지 않는다. 어떤 모형이 단기 지평에서는 잘 판별하고 장기에서는 못할 수 있다.

첫 번째 한계가 특히 중요하다. C-지수는 순위통계량이므로 예측 위험에 어떤 단조 변환을 가해도 값이 변하지 않는다. 19장에서 AUC가 보정에 대해 아무것도 말해 주지 않던 것과 정확히 같다. 예측 생존확률 자체를 쓸 계획이라면 C-지수만으로는 부족하고 브라이어 점수를 함께 보아야 한다.

왼쪽은 로그정규에서 만든 자료(\(n = 500\), 절단율 \(26.4\%\), 사건 368건)에 네 모수 모형을 적합하고 최선 모형과의 \(\Delta\)AIC를 그린 것이다. 지수 모형은 \(139.9\), 와이불은 \(37.4\)로 확실히 밀려난다. 위험이 봉우리형인 자료를 단조 위험 모형으로 맞추려 했으니 당연하다. 그런데 남은 두 모형 중 AIC가 고른 것은 로그로지스틱이고, 자료를 실제로 만든 로그정규는 \(\Delta\)AIC \(= 3.3\)으로 2위다.

이것이 AIC의 정직한 모습이다. \(\Delta\)AIC \(= 3.3\)은 "2 미만이면 구별되지 않는다"는 경험칙을 살짝 넘긴 값이라 액면 그대로 읽으면 참 모형을 기각하게 된다. 21.3절에서 보았듯 로그정규와 로그로지스틱은 관측 구간에서 위험함수가 거의 포개지므로, 표본 하나의 로그가능도 차이는 표집 변동에 쉽게 흔들린다. \(\Delta\)AIC가 한 자릿수일 때 승자를 확정하지 말라는 경고는 여기서 나온다.

오른쪽은 C-지수의 더 심각한 맹점이다. 같은 콕스형 자료(\(n = 3{,}000\))에 두 모형을 놓았다. 하나는 기저를 옳게 잡은 모형이고, 다른 하나는 선형예측자는 똑같지만 기저 생존함수를 \(S_0^{0.45}\)로 잘못 잡은 모형이다. 두 모형이 매기는 위험의 순위는 완전히 동일하므로 일치도 지수도 \(C = 0.7085\)로 소수점 넷째 자리까지 같다.

그런데 \(t = 25\)에서의 예측을 십분위로 묶어 관측된 카플란-마이어 값과 맞춰 보면 이야기가 달라진다. 초록색은 대각선을 따라가지만, 붉은색은 줄곧 위쪽으로 치우쳐 있다. 가장 위험이 높은 십분위에서 옳은 모형은 \(S(25) = 0.111\)을 예측하고 실제 관측값은 \(0.090\)인 반면, 잘못 잡은 모형은 \(0.349\)를 예측한다. 생존율을 세 배 넘게 부풀리면서도 C-지수는 한 치도 손해 보지 않는다.

실무적 함의는 명확하다. "이 환자가 저 환자보다 위험한가"를 묻는 선별·우선순위 문제라면 C-지수로 충분하다. 그러나 "이 환자가 2년을 살 확률은 몇 퍼센트인가"를 묻는 예측확률 문제라면 C-지수는 아무 보증도 하지 않는다. 19장에서 AUC가 보정에 대해 침묵하던 것과 같은 구조이며, 그래서 아래의 브라이어 점수와 보정 곡선이 필요하다.

적분 브라이어 점수¶

브라이어 점수는 특정 시점 \(t\)에서 판별력과 보정을 함께 평가한다.

여기서 \(w_i(t)\)는 절단확률의 역수 가중치로, \(t_i < t\)인 절단된 대상의 참 생존 상태 \(\mathbf{1}(T_i > t)\)를 알 수 없다는 점을 보정한다.

적분 브라이어 점수(IBS)는 브라이어 점수를 여러 시점에 걸쳐 평균한다.

IBS가 낮을수록 전체 예측 성능이 좋다.

연습문제¶

정리하며¶