사례 연구: 타이타닉 생존과 성별¶

import warnings
warnings.filterwarnings("ignore")

import numpy as np
import pandas as pd

# 타이타닉 승객 명부. index_col 로 승객번호를 색인으로 삼는다.
URL = ("https://raw.githubusercontent.com/datasciencedojo/"
       "datasets/f0ccab6a7ceafdff780052166fb6fab3311398eb/titanic.csv")
df = pd.read_csv(URL, index_col="PassengerId")

print(f"승객 {df.shape[0]}명, 변수 {df.shape[1]}개\n")

# 무엇이든 하기 전에 결측부터 센다.
# 결측이 있는 변수를 모르고 분석하면 n 이 조용히 줄어든다.
na = df.isna().sum()
print("결측이 있는 변수")
for name, cnt in na[na > 0].items():
    print(f"  {name:9s} {cnt:4d}개  ({cnt / len(df):.1%})")

# 성별을 0/1 로 부호화한다. 1=남성, 0=여성 으로 정했다.
# 이 선택이 뒤에 나올 상관계수의 '부호'를 정한다는 점을 기억해 두자.
df["Sex_int"] = (df["Sex"] == "male").astype(int)

print(f"\n성별 분포")
print(df["Sex"].value_counts().to_string())
print(f"\n생존 분포 (0=사망, 1=생존)")
print(df["Survived"].value_counts().sort_index().to_string())
print(f"\n전체 생존율 {df['Survived'].mean():.4f}")

# --- 전체 생존율은 두 집단 생존율의 가중평균이다 ---
n = len(df)
n_f = int((df["Sex"] == "female").sum())
n_m = int((df["Sex"] == "male").sum())
r_f = df.loc[df["Sex"] == "female", "Survived"].mean()
r_m = df.loc[df["Sex"] == "male", "Survived"].mean()
print(f"\n여성 {n_f}명 생존율 {r_f:.6f},  남성 {n_m}명 생존율 {r_m:.6f}")
print(f"  가중치 {n_f}/{n} = {n_f / n:.6f},  {n_m}/{n} = {n_m / n:.6f}")
print(f"  가중평균 {n_f / n:.6f}*{r_f:.6f} + {n_m / n:.6f}*{r_m:.6f} = {n_f / n * r_f + n_m / n * r_m:.6f}")
print(f"  실제 전체 생존율                                    = {df['Survived'].mean():.6f}")
print(f"  두 생존율의 산술평균 (틀린 계산)                      = {(r_f + r_m) / 2:.6f}")

# --- 이 절의 주된 분석에 쓰이는 사람 수 ---
print(f"\nSurvived 결측 {int(df['Survived'].isna().sum())}개, "
      f"Sex 결측 {int(df['Sex'].isna().sum())}개"
      f"  ->  2~5절은 {int(df[['Survived', 'Sex']].dropna().shape[0])}명 전원을 쓴다")
print(f"Age 결측 {int(df['Age'].isna().sum())}개 ({df['Age'].isna().mean():.4%})"
      f"  ->  나이를 쓰는 6절은 {int(df['Age'].notna().sum())}명으로 줄어든다")

승객 891명, 변수 11개

결측이 있는 변수
  Age        177개  (19.9%)
  Cabin      687개  (77.1%)
  Embarked     2개  (0.2%)

성별 분포
Sex
male      577
female    314

생존 분포 (0=사망, 1=생존)
Survived
0    549
1    342

전체 생존율 0.3838

여성 314명 생존율 0.742038,  남성 577명 생존율 0.188908
  가중치 314/891 = 0.352413,  577/891 = 0.647587
  가중평균 0.352413*0.742038 + 0.647587*0.188908 = 0.383838
  실제 전체 생존율                                    = 0.383838
  두 생존율의 산술평균 (틀린 계산)                      = 0.465473

Survived 결측 0개, Sex 결측 0개  ->  2~5절은 891명 전원을 쓴다
Age 결측 177개 (19.8653%)  ->  나이를 쓰는 6절은 714명으로 줄어든다

# Survived 와 Sex_int 는 둘 다 0/1 이지만 피어슨 공식은 그대로 적용된다.
corr = df[["Survived", "Sex_int"]].corr()
print(corr.round(4).to_string())

r = corr.loc["Survived", "Sex_int"]
print(f"\n상관계수 {r:.4f}")

# 부호를 뒤집어 보면 -- 부호화만 바꾸었을 뿐인데 부호가 바뀐다.
df["Sex_female"] = (df["Sex"] == "female").astype(int)
print(f"\n1=남성 으로 부호화: r = {np.corrcoef(df['Survived'], df['Sex_int'])[0, 1]:+.4f}")
print(f"1=여성 으로 부호화: r = {np.corrcoef(df['Survived'], df['Sex_female'])[0, 1]:+.4f}")

# --- 도수만으로 적은 파이 계수 ---
# X = Sex_int (1=남성), Y = Survived 로 두고 네 칸의 도수를 센다.
n11 = int(((df.Sex_int == 1) & (df.Survived == 1)).sum())   # 남성·생존
n10 = int(((df.Sex_int == 1) & (df.Survived == 0)).sum())   # 남성·사망
n01 = int(((df.Sex_int == 0) & (df.Survived == 1)).sum())   # 여성·생존
n00 = int(((df.Sex_int == 0) & (df.Survived == 0)).sum())   # 여성·사망
n = n11 + n10 + n01 + n00
num = n11 * n00 - n10 * n01
den = np.sqrt((n11 + n10) * (n01 + n00) * (n11 + n01) * (n10 + n00))
print(f"\n네 칸 도수  n11={n11}, n10={n10}, n01={n01}, n00={n00}  (합 {n})")
print(f"분자 {n11}*{n00} - {n10}*{n01} = {num}")
print(f"분모 sqrt({n11 + n10}*{n01 + n00}*{n11 + n01}*{n10 + n00}) = {den:.6f}")
print(f"phi = {num / den:.6f}   (numpy 의 상관계수 {np.corrcoef(df['Survived'], df['Sex_int'])[0, 1]:.6f})")

# --- 주변도수를 고정한 채 |phi| 를 가장 크게 만드는 표 ---
# 남성 577, 여성 314, 생존 342, 사망 549 를 그대로 두고 네 칸만 바꾼다.
R1, C1 = n11 + n10, n11 + n01
best = None
for k11 in range(max(0, R1 + C1 - n), min(R1, C1) + 1):
    k10, k01, k00 = R1 - k11, C1 - k11, n - R1 - C1 + k11
    ph = (k11 * k00 - k10 * k01) / np.sqrt((k11 + k10) * (k01 + k00) * (k11 + k01) * (k10 + k00))
    if best is None or abs(ph) > abs(best[0]):
        best = (ph, k11, k10, k01, k00)
print(f"\n|phi| 가 가장 큰 표: 남성·생존 {best[1]}, 남성·사망 {best[2]}, "
      f"여성·생존 {best[3]}, 여성·사망 {best[4]}")
print(f"  그때 phi = {best[0]:.6f}")
print(f"  관측 |phi| / 최댓값 = {abs(num / den) / abs(best[0]):.6f}")

          Survived  Sex_int
Survived    1.0000  -0.5434
Sex_int    -0.5434   1.0000

상관계수 -0.5434

1=남성 으로 부호화: r = -0.5434
1=여성 으로 부호화: r = +0.5434

네 칸 도수  n11=109, n10=468, n01=233, n00=81  (합 891)
분자 109*81 - 468*233 = -100215
분모 sqrt(577*314*342*549) = 184438.658974
phi = -0.543351   (numpy 의 상관계수 -0.543351)

|phi| 가 가장 큰 표: 남성·생존 28, 남성·사망 549, 여성·생존 314, 여성·사망 0
  그때 phi = -0.934652
  관측 |phi| / 최댓값 = 0.581341

# margins=True 를 주면 행·열의 합계가 함께 나온다.
print("도수")
print(pd.crosstab(df["Sex"], df["Survived"], margins=True).to_string())

# normalize="index" 는 '각 행의 합이 1이 되도록' 나눈다.
# 즉 성별 안에서의 생존율이다. 무엇을 무엇으로 나누는지가 핵심이다.
pct = pd.crosstab(df["Sex"], df["Survived"], normalize="index") * 100
print("\n성별 안에서의 생존율 (%)")
print(pct.round(2).to_string())

f_rate = pct.loc["female", 1]
m_rate = pct.loc["male", 1]
print(f"\n여성 생존율 {f_rate:.2f}%")
print(f"남성 생존율 {m_rate:.2f}%")
print(f"차이       {f_rate - m_rate:.2f}%포인트")
print(f"비(위험비)  {f_rate / m_rate:.4f}배")

# 오즈비: (여성의 생존 오즈) / (남성의 생존 오즈)
tab = pd.crosstab(df["Sex"], df["Survived"])         # 도수만 담은 표
a = tab.loc["female", 1]; b = tab.loc["female", 0]   # 여성 생존 / 사망
c = tab.loc["male", 1];   d = tab.loc["male", 0]     # 남성 생존 / 사망
print(f"\n여성 오즈 {a}/{b} = {a / b:.4f}")
print(f"남성 오즈 {c}/{d} = {c / d:.4f}")
print(f"오즈비    {(a * d) / (b * c):.4f}")

# --- 결과를 '사망' 으로 바꾸거나 행과 열을 맞바꾸면 ---
pf, pm = a / (a + b), c / (c + d)
print(f"\n결과를 '생존' 으로 볼 때:  위험비 {pf / pm:.6f},  오즈비 {(a * d) / (b * c):.6f}")
print(f"결과를 '사망' 으로 볼 때:  위험비 {(1 - pf) / (1 - pm):.6f},  오즈비 {(b * c) / (a * d):.6f}")
print(f"  오즈비의 역수 1/{(a * d) / (b * c):.6f} = {(b * c) / (a * d):.6f}  <- 같다")
print(f"  위험비의 역수 1/{pf / pm:.6f} = {pm / pf:.6f}  <- 다르다")
qa, qb = a / (a + c), b / (b + d)         # 생존자 중 여성 / 사망자 중 여성
print(f"\n행과 열을 맞바꾸어 '여성인가' 를 결과로 보면")
print(f"  생존자 중 여성 {a}/{a + c} = {qa:.6f},  사망자 중 여성 {b}/{b + d} = {qb:.6f}")
print(f"  전치 위험비 {qa / qb:.6f}  <- 3.928037 과 다르다")
print(f"  전치 오즈비 {(a * d) / (c * b):.6f}  <- 12.350663 과 같다")

# --- 객실 등급으로 층화하면 뒤집히는가 ---
print(f"\n{'등급':>4}{'n':>6}{'여성 생존율':>12}{'남성 생존율':>12}{'비율차':>9}{'오즈비':>10}")
mh_num = mh_den = 0.0
for k, g in df.groupby("Pclass"):
    t = pd.crosstab(g["Sex"], g["Survived"])
    aa, bb = t.loc["female", 1], t.loc["female", 0]
    cc, dd = t.loc["male", 1], t.loc["male", 0]
    tot = aa + bb + cc + dd
    pfk, pmk = aa / (aa + bb), cc / (cc + dd)
    print(f"{k:>4}{tot:>6}{pfk:>12.4f}{pmk:>12.4f}{pfk - pmk:>+9.4f}{(aa * dd) / (bb * cc):>10.4f}")
    mh_num += aa * dd / tot
    mh_den += bb * cc / tot
print(f"{'전체':>4}{len(df):>6}{pf:>12.4f}{pm:>12.4f}{pf - pm:>+9.4f}{(a * d) / (b * c):>10.4f}")
print(f"\n멘텔-헨첼 요약 오즈비 = {mh_num / mh_den:.4f}")
print(pd.crosstab(df["Pclass"], df["Sex"]).to_string())

도수
Survived    0    1  All
Sex
female     81  233  314
male      468  109  577
All       549  342  891

성별 안에서의 생존율 (%)
Survived      0      1
Sex
female    25.80  74.20
male      81.11  18.89

여성 생존율 74.20%
남성 생존율 18.89%
차이       55.31%포인트
비(위험비)  3.9280배

여성 오즈 233/81 = 2.8765
남성 오즈 109/468 = 0.2329
오즈비    12.3507

결과를 '생존' 으로 볼 때:  위험비 3.928037,  오즈비 12.350663
결과를 '사망' 으로 볼 때:  위험비 0.318043,  오즈비 0.080967
  오즈비의 역수 1/12.350663 = 0.080967  <- 같다
  위험비의 역수 1/3.928037 = 0.254580  <- 다르다

행과 열을 맞바꾸어 '여성인가' 를 결과로 보면
  생존자 중 여성 233/342 = 0.681287,  사망자 중 여성 81/549 = 0.147541
  전치 위험비 4.617609  <- 3.928037 과 다르다
  전치 오즈비 12.350663  <- 12.350663 과 같다

  등급     n      여성 생존율      남성 생존율      비율차       오즈비
   1   216      0.9681      0.3689  +0.5992   51.9037
   2   184      0.9211      0.1574  +0.7636   62.4510
   3   491      0.5000      0.1354  +0.3646    6.3830
  전체   891      0.7420      0.1889  +0.5531   12.3507

멘텔-헨첼 요약 오즈비 = 13.7586
Sex     female  male
Pclass
1           94   122
2           76   108
3          144   347

import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import seaborn as sns

# 그림에 한글을 쓰므로 한글 글꼴을 지정한다. 맥이면 'Apple SD Gothic Neo',
# 윈도우면 'Malgun Gothic', 리눅스면 'NanumGothic' 정도가 무난하다.
# 글꼴을 바꾸면 마이너스 기호가 깨지므로 unicode_minus 도 함께 꺼 준다.
plt.rcParams["font.family"] = "Apple SD Gothic Neo"
plt.rcParams["axes.unicode_minus"] = False

# 네 칸에서 성별 순서를 하나로 고정한다.
# 칸마다 순서가 다르면 독자가 같은 그림 안에서 두 번 방향을 바꿔 읽어야 한다.
ORDER = ["female", "male"]
KO = ["여성", "남성"]
DIED, LIVED = "#90A4AE", "#1565C0"       # 사망 / 생존

fig, axes = plt.subplots(2, 2, figsize=(13, 9))

# (1) 도수 -- 집단 크기가 다르다는 사실이 보인다
sns.countplot(data=df, x="Sex", hue="Survived", order=ORDER,
              ax=axes[0, 0], palette=[DIED, LIVED])
axes[0, 0].set_title("(1) 성별 도수")
axes[0, 0].set_xlabel("성별"); axes[0, 0].set_ylabel("사람 수")
axes[0, 0].set_xticks([0, 1]); axes[0, 0].set_xticklabels(KO)
axes[0, 0].legend(["사망", "생존"], title="생존 여부")

# (2) 생존율 -- 집단 크기를 지우고 비율만 남긴다
rate = df.groupby("Sex")["Survived"].mean().reindex(ORDER) * 100
rate.plot(kind="bar", ax=axes[0, 1], color=["#E65100", "#1565C0"],
          edgecolor="black")
axes[0, 1].set_title("(2) 성별 생존율 (%)")
axes[0, 1].set_xlabel("성별"); axes[0, 1].set_ylabel("생존율 (%)")
axes[0, 1].set_xticks([0, 1]); axes[0, 1].set_xticklabels(KO)
axes[0, 1].tick_params(axis="x", rotation=0)
axes[0, 1].grid(True, alpha=0.3, axis="y"); axes[0, 1].set_ylim(0, 85)
for i, v in enumerate(rate):                     # 막대 위에 값을 적어 준다
    axes[0, 1].text(i, v + 2, f"{v:.1f}%", ha="center", fontweight="bold")

# (3) 누적 막대 -- 집단 크기와 구성비를 한 막대에 함께 담는다
tab_o = pd.crosstab(df["Sex"], df["Survived"]).reindex(ORDER)
tab_o.plot(kind="bar", stacked=True, ax=axes[1, 0],
           color=["#D32F2F", "#33691E"], edgecolor="black")
axes[1, 0].set_title("(3) 누적 막대 (도수)")
axes[1, 0].set_xlabel("성별"); axes[1, 0].set_ylabel("사람 수")
axes[1, 0].set_xticks([0, 1]); axes[1, 0].set_xticklabels(KO)
axes[1, 0].tick_params(axis="x", rotation=0)
axes[1, 0].legend(["사망", "생존"], title="생존 여부")

# (4) 비율 열지도 -- 네 칸의 수를 그대로 읽게 한다
# vmin/vmax 를 0과 1로 고정해야 색의 진하기가 비율과 맞는다.
prop = pd.crosstab(df["Sex"], df["Survived"],
                   normalize="index").reindex(ORDER)
sns.heatmap(prop, annot=True, fmt=".2%", cmap="Blues", ax=axes[1, 1],
            vmin=0, vmax=1, cbar_kws={"label": "비율"},
            linewidths=1, linecolor="black")
axes[1, 1].set_title("(4) 비율 열지도")
axes[1, 1].set_xlabel("생존 여부")
axes[1, 1].set_ylabel("성별")
axes[1, 1].set_xticklabels(["사망", "생존"])
axes[1, 1].set_yticklabels(KO, rotation=0)

fig.suptitle("타이타닉: 하나의 2×2 표를 네 가지로 그리기", y=1.00)
fig.tight_layout()
fig.savefig("titanic_gender_four.png", dpi=170, facecolor="white",
            bbox_inches="tight")

# --- 네 그림이 각각 무엇을 수로 보여 주는지 적어 둔다 ---
print("(1) 도수 그림이 보여 주는 것")
for s in ORDER:
    print(f"    {s:6s} 사망 {tab_o.loc[s, 0]:3d}, 생존 {tab_o.loc[s, 1]:3d}, 합 {tab_o.loc[s].sum():3d}")
print(f"    남성이 여성의 {tab_o.loc['male'].sum() / tab_o.loc['female'].sum():.4f} 배")

print("\n(2) 생존율 그림이 보여 주는 것")
print(f"    여성 {rate['female']:.2f}%, 남성 {rate['male']:.2f}%, 차 {rate['female'] - rate['male']:.2f}%포인트")
print(f"    이 그림은 n 을 지운다. 여성이 3 명이고 2 명 살아남아도 막대 높이는 "
      f"{200 / 3:.2f}% 로 거의 같아 보인다")

print("\n(3) 누적 막대의 약점: 위 조각의 시작점이 다르다")
for s in ORDER:
    print(f"    {s:6s} 생존 조각이 {tab_o.loc[s, 0]:3d} 에서 시작해 {tab_o.loc[s].sum():3d} 에서 끝난다"
          f"  (길이 {tab_o.loc[s, 1]:3d})")

print("\n(4) 열지도가 보여 주는 네 수 (행 기준 비율)")
print(prop.round(4).to_string())

(1) 도수 그림이 보여 주는 것
    female 사망  81, 생존 233, 합 314
    male   사망 468, 생존 109, 합 577
    남성이 여성의 1.8376 배

(2) 생존율 그림이 보여 주는 것
    여성 74.20%, 남성 18.89%, 차 55.31%포인트
    이 그림은 n 을 지운다. 여성이 3 명이고 2 명 살아남아도 막대 높이는 66.67% 로 거의 같아 보인다

(3) 누적 막대의 약점: 위 조각의 시작점이 다르다
    female 생존 조각이  81 에서 시작해 314 에서 끝난다  (길이 233)
    male   생존 조각이 468 에서 시작해 577 에서 끝난다  (길이 109)

(4) 열지도가 보여 주는 네 수 (행 기준 비율)
Survived       0       1
Sex
female    0.2580  0.7420
male      0.8111  0.1889

sub = df[["Survived", "Age", "Sex_int"]]

# seaborn 은 결측이 있는 행을 말없이 버린다. 몇 명이 남는지 직접 센다.
print(f"원래 {len(sub)}명")
print(f"Age 결측 {sub['Age'].isna().sum()}명")
print(f"쌍그림에 실제로 쓰이는 관측 {sub.dropna().shape[0]}명")
print(f"  -> 전체의 {sub.dropna().shape[0] / len(sub):.1%}")

# 버려진 177명이 남은 714명과 다른 사람들인지 확인한다.
# 무작위로 빠진 것이 아니라면 결과가 편향된다.
miss = sub["Age"].isna()
print(f"\n나이가 기록된 승객의 생존율   {df.loc[~miss, 'Survived'].mean():.4f}")
print(f"나이가 빠진 승객의 생존율     {df.loc[miss, 'Survived'].mean():.4f}")
print(f"나이가 기록된 승객의 남성 비율 {df.loc[~miss, 'Sex_int'].mean():.4f}")
print(f"나이가 빠진 승객의 남성 비율   {df.loc[miss, 'Sex_int'].mean():.4f}")

g = sns.pairplot(sub, diag_kind="hist",
                 plot_kws={"alpha": 0.6, "s": 18, "color": "#1565C0"},
                 diag_kws={"bins": 30, "color": "#1565C0"})

# 축 이름은 열 이름에서 오므로 그림에 쓸 한글 이름으로 바꿔 준다.
KOREAN = ["생존 여부 (0/1)", "나이 (세)", "성별 (1=남성)"]
for i, name in enumerate(KOREAN):
    g.axes[-1, i].set_xlabel(name)
    g.axes[i, 0].set_ylabel(name)
g.figure.suptitle("쌍그림: 생존 여부 · 나이 · 성별", y=1.01)
g.figure.savefig("titanic_pairplot.png", dpi=170, facecolor="white",
                 bbox_inches="tight")

# --- 이진 변수끼리의 산점도에는 점이 몇 개나 찍히는가 ---
pts = sub[["Sex_int", "Survived"]].drop_duplicates()
print(f"\nSex_int x Survived 칸에 찍히는 서로 다른 점 = {len(pts)}개")
print(f"  관측 {len(sub)}개가 점 {len(pts)}개 자리에 겹친다 (한 자리에 평균 {len(sub) / len(pts):.1f}명)")
print(pd.crosstab(df["Sex_int"], df["Survived"]).to_string())

# --- 전체 생존율은 관측군과 결측군의 가중평균이다 ---
lam = (~miss).mean()
print(f"\n관측군 비중 lambda = {int((~miss).sum())}/{len(df)} = {lam:.6f}")
print(f"  {lam:.6f}*{df.loc[~miss, 'Survived'].mean():.6f} + "
      f"{1 - lam:.6f}*{df.loc[miss, 'Survived'].mean():.6f} = "
      f"{lam * df.loc[~miss, 'Survived'].mean() + (1 - lam) * df.loc[miss, 'Survived'].mean():.6f}")
print(f"  전체 생존율                                        = {df['Survived'].mean():.6f}")

# --- 결측이 무작위가 아닌 까닭: 등급별로 결측률이 다르다 ---
print("\n객실 등급별 나이 결측률과 등급 안에서의 생존율")
print(f"{'등급':>4}{'인원':>6}{'결측':>6}{'결측률':>9}"
      f"{'관측군 생존율':>14}{'결측군 생존율':>14}")
std = 0.0
for k, g in df.groupby("Pclass"):
    gm = g["Age"].isna()
    print(f"{k:>4}{len(g):>6}{int(gm.sum()):>6}{gm.mean():>9.2%}"
          f"{g.loc[~gm, 'Survived'].mean():>14.4f}{g.loc[gm, 'Survived'].mean():>14.4f}")
    # 결측군이 관측군의 등급별 생존율을 따랐다면 얼마였을까 (직접표준화)
    std += int(gm.sum()) * g.loc[~gm, "Survived"].mean()
std /= int(miss.sum())
gap = df.loc[~miss, "Survived"].mean() - df.loc[miss, "Survived"].mean()
print(f"\n결측군이 등급별로 관측군과 같은 생존율을 가졌다면 {std:.4f} 이었을 것")
print(f"  실제 격차 {gap:.4f} 가운데 등급 구성으로 설명되는 몫 "
      f"{(df.loc[~miss, 'Survived'].mean() - std) / gap:.1%}")

원래 891명
Age 결측 177명
쌍그림에 실제로 쓰이는 관측 714명
  -> 전체의 80.1%

나이가 기록된 승객의 생존율   0.4062
나이가 빠진 승객의 생존율     0.2938
나이가 기록된 승객의 남성 비율 0.6345
나이가 빠진 승객의 남성 비율   0.7006

Sex_int x Survived 칸에 찍히는 서로 다른 점 = 4개
  관측 891개가 점 4개 자리에 겹친다 (한 자리에 평균 222.8명)
Survived    0    1
Sex_int
0          81  233
1         468  109

관측군 비중 lambda = 714/891 = 0.801347
  0.801347*0.406162 + 0.198653*0.293785 = 0.383838
  전체 생존율                                        = 0.383838

객실 등급별 나이 결측률과 등급 안에서의 생존율
  등급    인원    결측      결측률       관측군 생존율       결측군 생존율
   1   216    30   13.89%        0.6559        0.4667
   2   184    11    5.98%        0.4798        0.3636
   3   491   136   27.70%        0.2394        0.2500

결측군이 등급별로 관측군과 같은 생존율을 가졌다면 0.3250 이었을 것
  실제 격차 0.1124 가운데 등급 구성으로 설명되는 몫 72.3%

import warnings
warnings.filterwarnings("ignore")

import pandas as pd

URL = ("https://raw.githubusercontent.com/datasciencedojo/"
       "datasets/f0ccab6a7ceafdff780052166fb6fab3311398eb/titanic.csv")
df = pd.read_csv(URL, index_col="PassengerId")

for how, label in [("index", "행 기준 (성별 안에서)"),
                   ("columns", "열 기준 (생존 여부 안에서)"),
                   ("all", "전체 기준")]:
    t = pd.crosstab(df["Sex"], df["Survived"], normalize=how) * 100
    print(f"\n{label}")
    print(t.round(2).to_string())

행 기준 (성별 안에서)
Survived      0      1
Sex                   
female    25.80  74.20
male      81.11  18.89

열 기준 (생존 여부 안에서)
Survived      0      1
Sex                   
female    14.75  68.13
male      85.25  31.87

전체 기준
Survived      0      1
Sex                   
female     9.09  26.15
male      52.53  12.23

import numpy as np

# ad = bc 인 표를 일부러 만들어 본다.
# 행 비율을 똑같이 유지하면 자동으로 그렇게 된다.
tabs = {
    "독립 (비율 동일)":      np.array([[30, 70], [60, 140]]),
    "약한 연관":            np.array([[30, 70], [55, 145]]),
    "이 절의 타이타닉":      np.array([[81, 233], [468, 109]]),
}
for lab, T in tabs.items():
    a, b, c, d = T[0, 0], T[0, 1], T[1, 0], T[1, 1]
    n = T.sum()
    phi = (a * d - b * c) / np.sqrt(
        (a + b) * (c + d) * (a + c) * (b + d))
    print(f"{lab:16s} ad={a * d:6d}  bc={b * c:6d}  "
          f"OR={a * d / (b * c):7.4f}  phi={phi:+.4f}")
    print(f"{'':16s} 1행 비율 {a / (a + b):.4f}, "
          f"2행 비율 {c / (c + d):.4f}")

독립 (비율 동일)       ad=  4200  bc=  4200  OR= 1.0000  phi=+0.0000
                 1행 비율 0.3000, 2행 비율 0.3000
약한 연관            ad=  4350  bc=  3850  OR= 1.1299  phi=+0.0262
                 1행 비율 0.3000, 2행 비율 0.2750
이 절의 타이타닉        ad=  8829  bc=109044  OR= 0.0810  phi=-0.5434
                 1행 비율 0.2580, 2행 비율 0.8111

import numpy as np
import pandas as pd

miss = df["Age"].isna()
print(f"나이 결측 {miss.sum()}명 / 전체 {len(df)}명\n")

print("결측 여부에 따른 차이")
print(f"{'':14s}{'n':>6s}{'생존율':>9s}{'남성 비율':>10s}{'1등실 비율':>11s}")
for lab, m in [("나이 있음", ~miss), ("나이 없음", miss)]:
    sub = df[m]
    print(f"{lab:14s}{len(sub):>6d}{sub['Survived'].mean():>9.4f}"
          f"{(sub['Sex'] == 'male').mean():>10.4f}"
          f"{(sub['Pclass'] == 1).mean():>11.4f}")

나이 결측 177명 / 전체 891명

결측 여부에 따른 차이
                   n      생존율     남성 비율     1등실 비율
나이 있음            714   0.4062    0.6345     0.2605
나이 없음            177   0.2938    0.7006     0.1695

# (가) 버리기 (listwise deletion)
drop = df.dropna(subset=["Age"])

# (나) 평균으로 채우기 (mean imputation)
fill = df.copy()
fill["Age"] = fill["Age"].fillna(df["Age"].mean())

print(f"{'':16s}{'n':>6s}{'평균 나이':>10s}{'나이 SD':>9s}"
      f"{'나이-생존 상관':>13s}")
for lab, d in [("원자료(관측만)", df.dropna(subset=["Age"])),
               ("(가) 버리기", drop),
               ("(나) 평균 대치", fill)]:
    r = np.corrcoef(d["Age"], d["Survived"])[0, 1]
    print(f"{lab:16s}{len(d):>6d}{d['Age'].mean():>10.4f}"
          f"{d['Age'].std(ddof=1):>9.4f}{r:>13.4f}")

print(f"\n전체 생존율")
print(f"  참값(891명)        {df['Survived'].mean():.4f}")
print(f"  (가) 버린 뒤        {drop['Survived'].mean():.4f}")
print(f"  (나) 대치 후        {fill['Survived'].mean():.4f}")

                     n     평균 나이    나이 SD     나이-생존 상관
원자료(관측만)           714   29.6991  14.5265      -0.0772
(가) 버리기            714   29.6991  14.5265      -0.0772
(나) 평균 대치          891   29.6991  13.0020      -0.0698

전체 생존율
  참값(891명)        0.3838
  (가) 버린 뒤        0.4062
  (나) 대치 후        0.3838

# 대치된 177명이 한 점에 쌓였는지 확인한다.
v = fill.loc[miss, "Age"]
print(f"\n대치된 177명의 나이: 최소 {v.min():.4f}, 최대 {v.max():.4f}, "
      f"표준편차 {v.std(ddof=1):.4f}")
print(f"29.70세 근처(±0.5세) 인원: 원자료 "
      f"{((df['Age'] - 29.6991).abs() < 0.5).sum()}명 -> 대치 후 "
      f"{((fill['Age'] - 29.6991).abs() < 0.5).sum()}명")

대치된 177명의 나이: 최소 29.6991, 최대 29.6991, 표준편차 0.0000
29.70세 근처(±0.5세) 인원: 원자료 25명 -> 대치 후 202명

# 같은 생존율 74% 대 19% 를 주지만 표본 크기만 다른 세 가지 자료
# (이름, 여성 생존, 여성 전체, 남성 생존, 남성 전체)
cases = [("n=8",     3,   4,   1,   4),
         ("n=88",   30,  40,   9,  48),
         ("n=891", 233, 314, 109, 577)]

print(f"{'자료':>7s}{'여성 생존율':>20s}{'남성 생존율':>20s}{'차이':>10s}")
for lab, a, n1, c, n2 in cases:
    p1, p2 = a / n1, c / n2
    print(f"{lab:>7s}{f'{p1:.4f} ({a}/{n1})':>18s}"
          f"{f'{p2:.4f} ({c}/{n2})':>18s}{p1 - p2:>+10.4f}")

     자료              여성 생존율              남성 생존율        차이
    n=8      0.7500 (3/4)      0.2500 (1/4)   +0.5000
   n=88    0.7500 (30/40)     0.1875 (9/48)   +0.5625
  n=891  0.7420 (233/314)  0.1889 (109/577)   +0.5531

"A안 전환율 12%, B안 전환율 8% -- A안 채택"

→ A안 3/25, B안 2/25 였다면?
  사람 한 명 차이다. 아무것도 말할 수 없는 자료다.

1. 결측을 센다        ─ 변수별 결측률, 결측 여부에 따른 차이
2. 분할표를 만든다     ─ 도수 + 행 기준 비율
3. 효과크기를 구한다   ─ 비율 차이, 위험비, 오즈비
4. 그린다             ─ 비율 그림 + 도수 그림을 함께
5. 층화해 본다        ─ 교란이 의심되는 변수로 나누어

타이타닉 승객 891명 (결측 없음: Survived, Sex)

  여성 74.20% (233/314) 생존
  남성 18.89% (109/577) 생존

  차이   55.31%포인트
  위험비  3.93
  오즈비 12.35

  관찰자료이므로 인과적 해석은 하지 않는다.

import pandas as pd, numpy as np

URL = "https://raw.githubusercontent.com/datasciencedojo/datasets/f0ccab6a7ceafdff780052166fb6fab3311398eb/titanic.csv"
t = pd.read_csv(URL)

def measures(a, b, c, d):          # a=여성생존 b=여성사망 c=남성생존 d=남성사망
    r1, r0 = a / (a + b), c / (c + d)
    return r1, r0, r1 - r0, r1 / r0, (a * d) / (b * c)

print(f"{'Pclass':>7}{'여성생존율':>12}{'남성생존율':>12}"
      f"{'위험차':>10}{'상대위험도':>12}{'오즈비':>10}{'n':>7}")
for p in (1, 2, 3):
    s = t[t.Pclass == p]
    cc = pd.crosstab(s.Sex, s.Survived)
    R1, R0, RD, RR, OR = measures(cc.loc['female', 1], cc.loc['female', 0],
                                  cc.loc['male', 1],   cc.loc['male', 0])
    print(f"{p:>7}{R1:>12.4f}{R0:>12.4f}{RD:>+10.4f}{RR:>12.4f}{OR:>10.4f}{len(s):>7}")

 Pclass       여성생존율       남성생존율       위험차       상대위험도       오즈비      n
      1      0.9681      0.3689   +0.5992      2.6246   51.9037    216
      2      0.9211      0.1574   +0.7636      5.8514   62.4510    184
      3      0.5000      0.1354   +0.3646      3.6915    6.3830    491

import pandas as pd, numpy as np

URL = "https://raw.githubusercontent.com/datasciencedojo/datasets/f0ccab6a7ceafdff780052166fb6fab3311398eb/titanic.csv"
t = pd.read_csv(URL)
ct = pd.crosstab(t.Sex, t.Survived)
a, b = ct.loc['female', 1], ct.loc['female', 0]
c, d = ct.loc['male', 1],   ct.loc['male', 0]

def stats_(a, b, c, d):
    rr = (a / (a + b)) / (c / (c + d))
    orr = (a * d) / (b * c)
    phi = (a * d - b * c) / np.sqrt((a + b) * (c + d) * (a + c) * (b + d))
    return rr, orr, phi

for label, (A, B, C, D) in [
        ("원자료          ", (a, b, c, d)),
        ("생존자를 1/2 로 ", (a // 2, b, c // 2, d)),
        ("사망자를 1/3 로 ", (a, b // 3, c, d // 3))]:
    rr, orr, phi = stats_(A, B, C, D)
    print(f"{label} a,b,c,d = {A:>3},{B:>3},{C:>3},{D:>3}   "
          f"RR={rr:.4f}  OR={orr:.4f}  phi={phi:.4f}")

원자료           a,b,c,d = 233, 81,109,468   RR=3.9280  OR=12.3507  phi=0.5434
생존자를 1/2 로  a,b,c,d = 116, 81, 54,468   RR=5.6920  OR=12.4115  phi=0.5095
사망자를 1/3 로  a,b,c,d = 233, 27,109,156   RR=2.1787  OR=12.3507  phi=0.5087

import numpy as np, pandas as pd

URL = "https://raw.githubusercontent.com/datasciencedojo/datasets/f0ccab6a7ceafdff780052166fb6fab3311398eb/titanic.csv"
t = pd.read_csv(URL)
n = len(t)
p1 = (t.Sex == 'female').mean()
p2 = (t.Survived == 1).mean()

lo, hi = max(0, p1 + p2 - 1), min(p1, p2)
den = np.sqrt(p1 * (1 - p1) * p2 * (1 - p2))
phi_min, phi_max = (lo - p1 * p2) / den, (hi - p1 * p2) / den

print(f"P(여성) = {p1:.4f}   P(생존) = {p2:.4f}")
print(f"phi 가능 범위: [{phi_min:.4f}, {phi_max:.4f}]")
print(f"관측 |phi| = 0.5434  ->  가능한 최댓값의 {0.5434/phi_max*100:.1f}%")

P(여성) = 0.3524   P(생존) = 0.3838
phi 가능 범위: [-0.5822, 0.9347]
관측 |phi| = 0.5434  ->  가능한 최댓값의 58.1%

import numpy as np
import pandas as pd

URL = "https://raw.githubusercontent.com/datasciencedojo/datasets/f0ccab6a7ceafdff780052166fb6fab3311398eb/titanic.csv"
t = pd.read_csv(URL)
a = t.dropna(subset=['Age']).copy()             # 나이 결측 177명 제외
a['group'] = np.where(a.Age < 15, '어린이', '성인')

tab = a.groupby(['group', 'Sex']).Survived.agg(['mean', 'size'])
print(tab.round(4))
print(f"\n나이 기록된 인원: {len(a)}명 (전체 {len(t)}명)")

                mean  size
group Sex
성인    female  0.7793   222
      male    0.1739   414
어린이   female  0.6154    39
      male    0.5385    39

나이 기록된 인원: 714명 (전체 891명)