가진 자료를 분석하라 (인공지능 패러다임)¶

그런 제안은 성급하다. 자료가 (무작위 실험이 아니라) 관찰적이므로, 도움말 페이지 열람과 체류시간의 연관성은 교란요인 때문일 수 있다.

• 역인과: 이미 더 몰입해 있는(더 오래 머무는) 사용자가 도움말 페이지를 살펴볼 가능성이 높다.
• 사용자 유형: 도움말 페이지를 탐색하는 헤비 유저는 애초에 이용량이 많은 사람일 수 있다.
• 난이도: 제품이 헷갈린다고 느끼는 사용자가 도움말 페이지를 찾고 동시에 씨름하느라 오래 머무는 것이지, 도움말이 몰입을 높인 것이 아니다.

인과효과를 확립하려면 회사는 A/B 테스트를 수행해야 한다. 사용자를 도움말 페이지가 눈에 띄는 버전과 현행 버전에 무작위 배정하고 몰입 지표를 비교하는 것이다.

탐색적 자료분석은 패턴을 찾고 가설을 만들며 직관을 쌓는다. 사전 지정된 가설 없이 시각화, 요약통계, 유연한 모형 적합을 사용한다.

확증적 자료분석은 사전 지정된 가설을 형식적 통계 절차(p-값, 신뢰구간)로 검정하며, 그 타당성은 자료를 보기 전에 가설이 세워졌다는 데 달려 있다.

같은 자료로 둘 다 하는 것이 문제인 이유는, EDA에서 발견한 패턴이 정의상 바로 그 표본에서 우연히 나타난 패턴이기 때문이다. 같은 자료에서 그 패턴을 다시 검정하면 "유의한" 결과를 얻을 확률이 부풀어 오른다(자료 엿보기 / 이중 사용). 가설이 자료와 독립적으로 지정되었다고 가정하는 p-값은 더 이상 타당하지 않다. 해법은 자료 분할(훈련/시험) 또는 가설의 사전등록이다.

1. 선택편향(비대표 표본): 소셜미디어 사용자는 일반 인구를 대표하지 않는다. 더 젊고, 더 도시에 살며, 기술에 더 익숙한 쪽으로 치우친다.
2. 자기표현 편향: 사람들은 긍정적인 내용(운동 성취, 행복한 순간)을 골라 올리고 부정적인 경험은 뺀다. 자료는 실제 행동이나 기분이 아니라 다듬어진 자기 이미지를 반영한다.
3. 측정편향: 텍스트에서 추출한 "자기보고 행복도"(감성 분석)는 실제 안녕에 대한 잡음 섞인 대리변수다. 반어법, 문화적 규범, 언어의 중의성이 체계적 오차를 만든다.

추가로 교란(사회경제적 지위가 운동 습관과 행복도 모두에 영향)과 결측 자료(불행하거나 활동이 적은 사용자가 게시를 덜 해서 생기는 생존자 편향)도 있다.

"갈래길의 정원"(Gelman & Loken, 2013)은 자료 분석에서 연구자에게 주어진 수많은 자유도를 가리킨다. 변수 정의, 이상치 제거, 하위집단 선택, 모형 명세, 변환 등 각각이 달리 결정될 수도 있었던 선택들이다. 의도적인 p-해킹이 없더라도 연구자는 자료를 본 뒤에 이런 선택을 하며, 의식하든 아니든 흥미로운 결과가 나오는 쪽으로 이끌린다.

고전적인 p-해킹은 여러 분석을 명시적으로 시도한 뒤 유의한 것만 보고하는 행위다. 갈래길의 정원은 더 미묘하다. 연구자는 분석을 한 번만 수행하지만, 그 특정한 분석 자체가 자료에 근거해 방대한 가능성 공간에서 암묵적으로 선택된 것이다. 결과는 마찬가지로 거짓양성률의 상승이지만, 연구자는 하나만 보고했으므로 여러 분석을 시도하지 않았다고 정직하게 믿을 수 있다. 해법은 자료 수집 전에 분석 계획을 확정하는 사전등록이다.

(1) 그 자료도 여전히 표본이다 — 다만 다른 초모집단에서 뽑은 표본일 뿐이다. "2024년의 모든 거래"는 "비슷한 조건에서 일어날 수 있었던 모든 거래(미래의 해를 포함해)"라는 암묵적 모집단에서 뽑은 표본이다. 추론은 유한한 표본에서 고정된 모집단으로 일반화하는 것이 아니라, 관측된 과거에서 미래나 다른 그럴듯한 시나리오로 일반화하는 문제다. 관심 있는 변동성은 모두 자료생성 과정에서 나온다.

(2) 진짜 전수조사라 하더라도 인과적 질문과 반사실적 질문은 기술통계로 답할 수 없다. 모든 고객의 정확한 평균 매출을 안다고 해서 가격이 바뀌면 어떻게 될지는 알 수 없다. 반사실에는 명시적인 무작위 실험이나 강한 식별 가정이 필요하며, 자료의 크기는 무관하다.

흔히 언급되는 세 번째 이유: \(N\)이 아무리 커도 누가 자료에 나타나는가에 대한 선택편향은 막아주지 못한다. 행정 기록은 기록되었고 기록으로 남은 것을 반영하며, 비고객과 누락된 거래는 보이지 않는다.

공변량 이동: 사용자 특성의 결합분포가 다르다(연령 분포, 소득, 탐색 패턴). 완화책: 훈련 표본에 가중치를 다시 주어 EU 공변량 분포에 맞추는 중요도 가중, 또는 도메인 적응 방법.

개념 이동 / 다른 사상 \(P(Y \mid X)\): 같은 특성이 다른 결과를 예측한다. 미국과 동등한 프로필의 EU 사용자가 문화적·규제적 차이 때문에 다르게 구매할 수 있다. 완화책: 모니터링과 함께 배포하고, EU 표본이 충분히 쌓이면 현지 자료로 신속히 재학습한다. 미국 특유의 특성 분포를 전제한 수작업 임계값은 피한다.

규제 / 구조적 이동: GDPR이 수집 가능한 자료를 제한하고, 동의 UI가 추론 시점에 사용 가능한 특성을 바꾸며, 국경 간 자료 이동 제한 때문에 미국 인프라에서 EU 자료로 미세조정할 수 없다. 완화책: 특성이 없을 때 우아하게 성능이 저하되는 모형 설계(예: 특성 드롭아웃 훈련, 더 희소한 EU 특성도 쓸 수 있는 계층 모형)와, 지역별 차이에 대한 법무·엔지니어링 검토를 포함한 배포 계획.

밑바탕의 원칙은 이렇다. 학습된 분포 밖에 배포되는 모형은 모니터링, 보정, 그리고 흔히 재학습이 필요하다. 미국에서 학습한 모형을 EU에 대한 정답인 양 다루는 것이야말로 이 패러다임이 부추기는 종류의 오류다.

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)

def one_study():
    """참 효과가 전혀 없는 자료 하나에 대해, 그럴듯한 분석 갈래를 모두 시도한다."""
    n = 200
    y = rng.normal(0, 1, n)
    x = rng.normal(0, 1, n)              # x 와 y 는 완전히 독립이다
    male = rng.random(n) < 0.5
    young = rng.random(n) < 0.5

    pvals = []
    for subset in (np.ones(n, bool), male, ~male, young, ~young):   # 부분집단
        for transform in (lambda v: v, np.abs):                     # 변환
            for exclude in (False, True):                           # 이상치 제외
                m = subset & (np.abs(x) < 2) if exclude else subset
                if m.sum() > 20:
                    pvals.append(stats.pearsonr(transform(x[m]), y[m])[1])
    return np.array(pvals)

hits = 0
for _ in range(2000):
    pv = one_study()
    if (pv < 0.05).any():
        hits += 1
print(f"분석 갈래 {len(pv)}가지")
print(f"하나라도 p < 0.05 가 나올 확률: {hits / 2000:.4f}")
print(f"단일 분석만 했다면:             0.0500")

출력:

분석 갈래 20가지
하나라도 p < 0.05 가 나올 확률: 0.4015
단일 분석만 했다면:             0.0500

부분집단 \(5\)가지 \(\times\) 변환 \(2\)가지 \(\times\) 이상치 처리 \(2\)가지 \(=\) 갈래 \(20\)개만으로 거짓양성 확률이 \(5\%\)에서 \(40\%\) 로 뛴다.

\(p\)-해킹과 무엇이 다른가. 이것이 연습문제 4의 핵심이다.

• \(p\)-해킹은 여러 분석을 실제로 돌려 보고 유의한 것을 고른다. 연구자가 자신이 무엇을 하는지 안다.
• 갈래길의 정원은 분석을 하나만 한다. 다만 그 하나를 자료를 본 뒤에 골랐다. 연구자는 자신이 정직하다고 느끼며, 실제로 다중검정 보정을 해야 한다는 생각조차 들지 않는다.

그런데 통계적 결과는 같다. "이 자료가 달랐다면 나는 다른 분석을 했을 것"이라면, 실제로 돌린 분석이 하나뿐이어도 유효 검정 횟수는 \(20\)이다. \(p\) 값의 의미는 내가 한 일이 아니라 내가 했을 법한 일 전체에 달려 있다.

왜 가용 자료 분석에서 특히 심한가. 설계된 실험에는 사전에 정한 하나의 결과변수와 하나의 분석이 있다. 클릭스트림 자료에는 수백 개의 변수, 수십 개의 자연스러운 부분집단, 여러 가지 그럴듯한 결과 정의가 있다. 정원의 갈래가 훨씬 많다.

처방은 사전등록(연습문제 6), 자료 분할(탐색용과 확증용을 나눔), 그리고 다중성 보정이다. \(\square\)

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)

print("참 상관이 0.01 인 자료 — 실무적으로는 아무 의미 없는 크기")
print(f"{'n':>10}{'표본 상관 r':>14}{'p 값':>13}{'판정':>10}")
for n in (100, 1_000, 10_000, 100_000, 1_000_000):
    x = rng.normal(0, 1, n)
    y = 0.01 * x + rng.normal(0, 1, n)
    r, p = stats.pearsonr(x, y)
    print(f"{n:>10}{r:>+14.5f}{p:>13.3e}{'유의' if p < 0.05 else '유의 아님':>10}")

출력:

참 상관이 0.01 인 자료 — 실무적으로는 아무 의미 없는 크기
         n       표본 상관 r          p 값        판정
       100      +0.06548    5.175e-01     유의 아님
      1000      +0.05306    9.352e-02     유의 아님
     10000      +0.00834    4.045e-01     유의 아님
    100000      +0.01185    1.776e-04        유의
   1000000      +0.00951    1.933e-21        유의

\(n = 10^6\)에서 상관 \(0.010\)이 \(p = 1.9\times10^{-21}\)로 "유의"하다. 설명되는 분산은 \(r^2 = 0.0001\), 곧 만분의 일이다.

\(N\)이 커지면 해결되는 것: 표집 오차뿐이다. 그리고 그것이 전부다.

해결되지 않는 것 네 가지.

첫째, 유의성과 중요성의 분리. \(N\)이 크면 모든 것이 유의해진다. 검정은 "효과가 정확히 \(0\)인가"를 묻는데, 현실에서 정확히 \(0\)인 효과는 거의 없다. 그래서 \(p\) 값은 표본 크기의 측정치로 전락하고, 효과크기와 신뢰구간만이 정보를 갖는다.

둘째, 편향. 이 장에서 되풀이한 주제다. 행정 기록이 "모집단 전체"라 해도 그것은 기록된 모집단이지 관심 모집단이 아니다. 신용카드 거래 전체는 카드를 쓰지 않는 사람을 담지 못한다. 표집 오차가 \(0\)이어도 편향은 그대로다.

셋째, 초모집단(superpopulation). 작년 거래 전체를 가졌다 해도 우리가 알고 싶은 것은 대개 내년에도 통할 무언가다. 그렇다면 작년 자료는 "가능한 세계들"에서 뽑힌 하나의 표본이며, 불확실성은 여전히 존재한다. 관측된 것이 곧 모집단인 경우는 "작년에 정확히 무슨 일이 있었나"를 묻는 순수 기술통계뿐이다.

넷째, 측정오차와 결측. \(N\)과 무관하다.

실천적 결론. \(N\)이 큰 자료에서는 검정을 덜 하고 추정을 더 해야 한다. "유의한가"가 아니라 "얼마나 큰가, 그 크기가 의사결정을 바꾸는가"를 물어야 한다. \(\square\)

import numpy as np
from sklearn.linear_model import LinearRegression

rng = np.random.default_rng(1)
n = 20_000

def generate(shift=0.0, concept=False):
    x = rng.normal(shift, 1, n)                  # 공변량 이동: x 의 분포가 바뀐다
    beta = -0.5 if concept else 1.0              # 개념 이동: x→y 관계가 바뀐다
    y = beta * x + 0.3 * x ** 2 + rng.normal(0, 1, n)
    return x.reshape(-1, 1), y

Xtr, ytr = generate()
rmse = lambda m, X, y: np.sqrt(((m.predict(X) - y) ** 2).mean())

naive = LinearRegression().fit(Xtr, ytr)         # 2차항을 빠뜨린 모형
print("선형 모형 (모형이 틀렸다)")
print(f"  같은 분포        {rmse(naive, *generate()):.4f}")
print(f"  공변량 이동      {rmse(naive, *generate(shift=2.0)):.4f}")
print(f"  개념 이동        {rmse(naive, *generate(concept=True)):.4f}")

Xq = np.column_stack([Xtr, Xtr ** 2])
correct = LinearRegression().fit(Xq, ytr)        # 2차항을 넣은 옳은 모형
q = lambda X: np.column_stack([X, X ** 2])
print("\n2차항을 넣은 모형 (모형이 옳다)")
for label, args in [("같은 분포", {}), ("공변량 이동", {"shift": 2.0}),
                    ("개념 이동", {"concept": True})]:
    X, y = generate(**args)
    print(f"  {label:<14} {np.sqrt(((correct.predict(q(X)) - y) ** 2).mean()):.4f}")

출력:

선형 모형 (모형이 틀렸다)
  같은 분포        1.0999
  공변량 이동      2.0143
  개념 이동        1.8585

2차항을 넣은 모형 (모형이 옳다)
  같은 분포          1.0011
  공변량 이동         1.0032
  개념 이동          1.7946

표를 보면 결론이 분명하다.

공변량 이동(\(P(X)\)가 변하고 \(P(Y \mid X)\)는 그대로)은 모형이 옳다면 아무 문제가 없다. 위에서 옳은 모형은 \(x\) 평균이 \(2\)만큼 옮겨져도 성능이 그대로다. 문제가 생기는 것은 모형이 틀렸을 때인데, 원래 분포 범위에서만 근사가 잘 맞기 때문이다. 대응책은 중요도 가중이나 모형 개선, 그리고 외삽 구간을 명시하는 것이다.

개념 이동(\(P(Y \mid X)\) 자체가 변함)은 어떤 재가중으로도 고칠 수 없다. 배워야 할 규칙이 달라졌기 때문이다. 목표 지역의 자료를 새로 얻어 재학습하거나 미세조정하는 수밖에 없다.

EU 출시 사례에 대입하면.

셋째가 가장 어렵고 가장 흔하다. 모형을 그대로 옮길 수 있다는 가정 자체가 검증 대상이며, 소규모 현지 실험으로 확인하는 것이 정석이다. \(\square\)

import numpy as np
from sklearn.ensemble import RandomForestRegressor

rng = np.random.default_rng(2)
users, reps = 400, 25
uid = np.repeat(np.arange(users), reps)
user_effect = rng.normal(0, 3.0, users)[uid]        # 개인차가 크다
x = rng.normal(0, 1, len(uid))
y = user_effect + 0.5 * x + rng.normal(0, 1, len(uid))
F = np.column_stack([x, uid])                      # uid 를 특성으로 넣는다

rmse = lambda m, A, b: np.sqrt(((m.predict(A) - b) ** 2).mean())
fit = lambda tr: RandomForestRegressor(
    n_estimators=100, random_state=0, n_jobs=-1).fit(F[tr], y[tr])

idx = rng.permutation(len(uid))
cut = int(0.8 * len(uid))
r_random = rmse(fit(idx[:cut]), F[idx[cut:]], y[idx[cut:]])

test_users = rng.choice(users, users // 5, replace=False)
te = np.isin(uid, test_users)
r_group = rmse(fit(~te), F[te], y[te])

print(f"무작위 분할 RMSE  {r_random:.4f}   ← 같은 사용자가 학습·평가 양쪽에 있다")
print(f"사용자 분할 RMSE  {r_group:.4f}   ← 처음 보는 사용자")
print(f"성능 과대평가     {r_group / r_random:.2f}배")
print(f"\n아무것도 학습하지 않고 전체 평균만 써도 RMSE {y.std():.4f}")

출력:

무작위 분할 RMSE  1.7574   ← 같은 사용자가 학습·평가 양쪽에 있다
사용자 분할 RMSE  4.0698   ← 처음 보는 사용자
성능 과대평가     2.32배

아무것도 학습하지 않고 전체 평균만 써도 RMSE 3.2200

결과가 뼈아프다. 무작위 분할로는 RMSE \(1.76\)이라는 훌륭한 성능이 나온다. 그런데 처음 보는 사용자에게는 \(4.07\)이고, 이는 아무것도 학습하지 않고 전체 평균만 답하는 것(\(3.22\))보다도 나쁘다.

무슨 일이 일어났는가. 모형은 \(x\)와 \(y\)의 관계를 배운 것이 아니라 사용자 각각의 평균을 외웠다. 같은 사용자의 다른 관측이 학습 자료에 있으면 그 기억이 통하고, 없으면 통하지 않는다.

핵심 질문은 "이 모형을 실제로 어떻게 쓸 것인가"이다.

• 기존 사용자의 다음 행동을 예측한다면 무작위 분할이 오히려 현실에 가깝다.
• 신규 사용자에게 쓸 것이라면 사용자 분할이 맞는 평가다.

평가 설계는 통계 문제가 아니라 배포 상황을 그대로 흉내 내는 문제다.

같은 구조의 흔한 누출들.

마지막 것이 가장 찾기 어렵다. "퇴원 시 처방된 약"으로 입원 결과를 예측하는 모형은 정확도가 놀랍도록 높지만 아무 쓸모가 없다. 성능이 너무 좋으면 기뻐하기 전에 누출을 의심하라. \(\square\)