쌍그림¶

import seaborn as sns
import pandas as pd

url = "https://raw.githubusercontent.com/datasciencedojo/datasets/f0ccab6a7ceafdff780052166fb6fab3311398eb/titanic.csv"
df = pd.read_csv(url, index_col='PassengerId')

# 쌍그림은 수치형 변수만 받으므로 성별을 0/1로 부호화한다
df['Sex_int'] = df['Sex'].apply(lambda x: 1 if x == 'male' else 0)

# 변수 k개를 주면 k x k 격자가 만들어진다.
#   대각선   그 변수 하나의 분포 (히스토그램)
#   비대각선 두 변수의 산점도
# 결측이 있는 행(Age가 비어 있는 177명)은 자동으로 빠진다.
sns.pairplot(df[["Survived", "Age", "Sex_int"]])

import numpy as np
from math import comb

sub = df[["Survived", "Age", "Sex_int"]].dropna()

print(f"{'변수 k':>7}{'칸 k^2':>8}{'대각선':>8}{'서로 다른 쌍':>13}{'쌍이 차지하는 몫':>18}")
for k in [2, 3, 5, 8, 15]:
    print(f"{k:>7}{k*k:>8}{k:>8}{comb(k,2):>13}{comb(k,2)/k**2:>17.4f}")

print(f"\n이 보기는 k = 3 이므로 칸 9 개에 서로 다른 산점도는 {comb(3,2)} 개뿐이다.")

tab = pd.crosstab(sub['Sex_int'], sub['Survived'])
print("\nSurvived x Sex_int 분할표 (행 = Sex_int, 열 = Survived):")
print(tab)
a, b = tab.iloc[0, 0], tab.iloc[0, 1]
c, d = tab.iloc[1, 0], tab.iloc[1, 1]
phi = (a*d - b*c) / np.sqrt((a+b)*(c+d)*(a+c)*(b+d))
print(f"\n파이 계수 (ad-bc)/sqrt((a+b)(c+d)(a+c)(b+d))")
print(f"  = ({a}*{d} - {b}*{c}) / sqrt({a+b}*{c+d}*{a+c}*{b+d}) = {phi:.6f}")
print(f"피어슨 상관 r(Survived, Sex_int)        = "
      f"{np.corrcoef(sub.Survived, sub.Sex_int)[0,1]:.6f}")
print(f"\n그 산점도에 찍히는 서로 다른 자리 = {int((tab.values>0).sum())} 개")
print(f"  관측 {len(sub)} 개 중 {len(sub) - int((tab.values>0).sum())} 개"
      f"({100*(1-(tab.values>0).sum()/len(sub)):.1f}%) 가 가려진다")
print(f"\n생존율: 여성 {b/(a+b):.4f},  남성 {d/(c+d):.4f}")

   변수 k   칸 k^2     대각선      서로 다른 쌍         쌍이 차지하는 몫
      2       4       2            1           0.2500
      3       9       3            3           0.3333
      5      25       5           10           0.4000
      8      64       8           28           0.4375
     15     225      15          105           0.4667

이 보기는 k = 3 이므로 칸 9 개에 서로 다른 산점도는 3 개뿐이다.

Survived x Sex_int 분할표 (행 = Sex_int, 열 = Survived):
Survived    0    1
Sex_int
0          64  197
1         360   93

파이 계수 (ad-bc)/sqrt((a+b)(c+d)(a+c)(b+d))
  = (64*93 - 197*360) / sqrt(261*453*424*290) = -0.538826
피어슨 상관 r(Survived, Sex_int)        = -0.538826

그 산점도에 찍히는 서로 다른 자리 = 4 개
  관측 714 개 중 710 개(99.4%) 가 가려진다

생존율: 여성 0.7548,  남성 0.2053

import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt

plt.rcParams["font.family"] = "Apple SD Gothic Neo"   # 한글 글꼴
plt.rcParams["axes.unicode_minus"] = False            # 음수 기호가 네모가 되지 않게

g = sns.PairGrid(df[["Survived", "Age", "Sex_int"]].dropna())
g.map_lower(sns.scatterplot, s=10, alpha=.4)   # 아래쪽 삼각형: 산점도
g.map_diag(sns.kdeplot)                        # 대각선: 밀도곡선

# 위쪽 삼각형: 상관계수를 숫자로 적는다
def corr_text(x, y, **kwargs):
    ax = plt.gca()
    ax.annotate(f"r = {np.corrcoef(x, y)[0, 1]:.2f}",
                xy=(.5, .5), xycoords='axes fraction',
                ha='center', va='center', fontsize=13)
    ax.set_axis_off()

g.map_upper(corr_text)

rng = np.random.default_rng(5)
n = 2000
x1 = rng.normal(0, 1, n)
x2 = rng.normal(0, 1, n)      # x1 과 독립
x3 = x1 + x2                  # 둘의 합

X = np.column_stack([x1, x2, x3])
C = np.corrcoef(X.T)
print("상관행렬 (쌍그림이 보여 주는 것):")
for i, nm in enumerate(["x1", "x2", "x3"]):
    print("  " + nm + "  " + "  ".join(f"{v:+.4f}" for v in C[i]))
print(f"\n참값: r12 = 0,  r13 = r23 = 1/sqrt(2) = {1/np.sqrt(2):.6f}")

r12, r13, r23 = C[0, 1], C[0, 2], C[1, 2]
pc = (r12 - r13*r23)/np.sqrt((1-r13**2)*(1-r23**2))
print(f"\n편상관 r(12.3) = (r12 - r13 r23)/sqrt((1-r13^2)(1-r23^2))")
print(f"  = ({r12:+.4f} - {r13:+.4f}*{r23:+.4f}) / "
      f"sqrt((1-{r13:.4f}^2)(1-{r23:.4f}^2)) = {pc:.6f}")
print(f"  참값 = (0 - 1/2)/sqrt((1/2)(1/2)) = -1")

# x3 를 좁은 띠로 고정해 보면
print(f"\nx3 를 좁은 띠로 고정했을 때의 r(x1, x2)")
edges = np.quantile(x3, [0.2, 0.4, 0.6, 0.8])
bands = [(-np.inf, edges[0]), (edges[0], edges[1]), (edges[1], edges[2]),
         (edges[2], edges[3]), (edges[3], np.inf)]
for lo, hi in bands:
    m = (x3 > lo) & (x3 <= hi)
    print(f"  {lo:+7.3f} < x3 <= {hi:+7.3f}:  n={m.sum():4d},  "
          f"r = {np.corrcoef(x1[m], x2[m])[0,1]:+.4f}")

fig, (a1, a2) = plt.subplots(1, 2, figsize=(11, 4), sharey=True)
a1.scatter(x1, x2, s=6, alpha=0.3, color="#90A4AE")
a1.set_title(f"$x_1$ 대 $x_2$ — 그냥 보면 $r$ = {r12:+.4f}", fontsize=11)
a1.set_xlabel("$x_1$")
a1.set_ylabel("$x_2$")
cols = ["#1565C0", "#E65100", "#33691E", "#6A1B9A", "#D32F2F"]
for (lo, hi), col in zip(bands, cols):
    m = (x3 > lo) & (x3 <= hi)
    a2.scatter(x1[m], x2[m], s=6, alpha=0.5, color=col,
               label=f"$x_3 \\in$ ({lo:+.2f}, {hi:+.2f}],  $r$ = "
                     f"{np.corrcoef(x1[m], x2[m])[0,1]:+.3f}")
a2.set_title("$x_3$ 를 고정하면 완전한 음의 관계", fontsize=11)
a2.set_xlabel("$x_1$")
a2.legend(fontsize=7.5, loc="upper right")
for ax in (a1, a2):
    ax.spines[["top", "right"]].set_visible(False)
plt.tight_layout()
plt.show()

상관행렬 (쌍그림이 보여 주는 것):
  x1  +1.0000  +0.0123  +0.6987
  x2  +0.0123  +1.0000  +0.7240
  x3  +0.6987  +0.7240  +1.0000

참값: r12 = 0,  r13 = r23 = 1/sqrt(2) = 0.707107

편상관 r(12.3) = (r12 - r13 r23)/sqrt((1-r13^2)(1-r23^2))
  = (+0.0123 - +0.6987*+0.7240) / sqrt((1-0.6987^2)(1-0.7240^2)) = -1.000000
  참값 = (0 - 1/2)/sqrt((1/2)(1/2)) = -1

x3 를 좁은 띠로 고정했을 때의 r(x1, x2)
     -inf < x3 <=  -1.157:  n= 400,  r = -0.6407
   -1.157 < x3 <=  -0.316:  n= 400,  r = -0.9369
   -0.316 < x3 <=  +0.459:  n= 400,  r = -0.9586
   +0.459 < x3 <=  +1.291:  n= 400,  r = -0.9468
   +1.291 < x3 <=    +inf:  n= 400,  r = -0.6898

# hue 에 범주형 열을 주면 집단마다 색이 갈린다. 변수 쌍마다 두 집단이
# 겹치는지 갈리는지를 한 장에서 훑을 수 있다.
# diag_kind="kde" 는 대각선의 히스토그램을 매끄러운 밀도곡선으로 바꾼다.
sns.pairplot(df[["Survived", "Age", "Fare", "Sex"]], hue="Sex",
             diag_kind="kde", plot_kws={"s": 12, "alpha": .5})

d = df[["Age", "Fare", "Pclass"]].dropna()
r_all = np.corrcoef(d.Age, d.Fare)[0, 1]
print(f"전체 r(Age, Fare) = {r_all:+.4f}   (n = {len(d)})")
print(f"\n{'Pclass':>7}{'n':>6}{'평균 Age':>10}{'평균 Fare':>11}{'집단 안 r':>11}")
for k, g in d.groupby("Pclass"):
    print(f"{k:>7}{len(g):>6}{g.Age.mean():>10.2f}{g.Fare.mean():>11.2f}"
          f"{np.corrcoef(g.Age, g.Fare)[0,1]:>11.4f}")

# 집단 평균 세 점 사이의 (가중) 상관
m = d.groupby("Pclass").agg(n=("Age", "size"), A=("Age", "mean"),
                            F=("Fare", "mean"))
w = m.n / m.n.sum()
cov_b = (w * (m.A - (w*m.A).sum()) * (m.F - (w*m.F).sum())).sum()
sa = np.sqrt((w * (m.A - (w*m.A).sum()) ** 2).sum())
sf = np.sqrt((w * (m.F - (w*m.F).sum()) ** 2).sum())
print(f"\n집단 평균 세 점 사이의 (가중) 상관 = {cov_b/(sa*sf):+.4f}")
print(f"전체 공분산 = 집단 간 + 집단 안 으로 쪼개면")
cov_all = np.cov(d.Age, d.Fare, ddof=0)[0, 1]
cov_w = sum(w[k] * np.cov(g.Age, g.Fare, ddof=0)[0, 1]
            for k, g in d.groupby("Pclass"))
print(f"  전체 {cov_all:+.4f} = 집단 간 {cov_b:+.4f} + 집단 안 {cov_w:+.4f}"
      f"  (합 {cov_b+cov_w:+.4f})")

fig, (a1, a2) = plt.subplots(1, 2, figsize=(11, 4), sharey=True)
a1.scatter(d.Age, d.Fare, s=8, alpha=0.3, color="#90A4AE")
b, c = np.polyfit(d.Age, d.Fare, 1)
xs = np.array([d.Age.min(), d.Age.max()])
a1.plot(xs, b*xs + c, color="#37474F", lw=2)
a1.set_title(f"모두 합치면 $r$ = {r_all:+.4f} (양)", fontsize=11)
a1.set_xlabel("나이 (세)")
a1.set_ylabel("요금")
cols = {1: "#1565C0", 2: "#E65100", 3: "#33691E"}
for k, g in d.groupby("Pclass"):
    a2.scatter(g.Age, g.Fare, s=8, alpha=0.4, color=cols[k])
    bb, cc = np.polyfit(g.Age, g.Fare, 1)
    xs = np.array([g.Age.min(), g.Age.max()])
    a2.plot(xs, bb*xs + cc, color=cols[k], lw=2,
            label=f"{k}등급  $r$ = {np.corrcoef(g.Age, g.Fare)[0,1]:+.3f}")
a2.set_title("등급으로 나누면 셋 다 음", fontsize=11)
a2.set_xlabel("나이 (세)")
a2.legend(fontsize=9)
for ax in (a1, a2):
    ax.set_ylim(-10, 300)
    ax.spines[["top", "right"]].set_visible(False)
plt.tight_layout()
plt.show()

전체 r(Age, Fare) = +0.0961   (n = 714)

 Pclass     n    평균 Age    평균 Fare     집단 안 r
      1   186     38.23      87.96    -0.2186
      2   173     29.88      21.47    -0.1970
      3   355     25.14      13.23    -0.2603

집단 평균 세 점 사이의 (가중) 상관 = +0.9674
전체 공분산 = 집단 간 + 집단 안 으로 쪼개면
  전체 +73.7456 = 집단 간 +166.5030 + 집단 안 -92.7574  (합 +73.7456)

import numpy as np

print(f"{'변수 k':>7}{'쌍 수':>8}{'기대 거짓양성':>15}{'하나 이상 유의할 확률':>22}")
for k in (5, 8, 12, 15, 20):
    pairs = k * (k - 1) // 2
    print(f"{k:>7}{pairs:>8}{pairs * 0.05:>15.1f}{1 - 0.95 ** pairs:>22.4f}")

rng = np.random.default_rng(0)
print("\n서로 완전히 무관한 변수들에서 관측되는 최대 |상관|")
for k, n in [(12, 50), (12, 200), (20, 50)]:
    mx = []
    for _ in range(3000):
        X = rng.normal(0, 1, (n, k))
        C = np.corrcoef(X.T)
        mx.append(np.max(np.abs(C[np.triu_indices(k, 1)])))
    mx = np.array(mx)
    print(f"  k={k:>3}, n={n:>4}: 평균 {mx.mean():.4f}   95% 분위수 {np.quantile(mx, 0.95):.4f}")

   변수 k     쌍 수        기대 거짓양성          하나 이상 유의할 확률
      5      10            0.5                0.4013
      8      28            1.4                0.7622
     12      66            3.3                0.9661
     15     105            5.2                0.9954
     20     190            9.5                0.9999

서로 완전히 무관한 변수들에서 관측되는 최대 |상관|
  k= 12, n=  50: 평균 0.3649   95% 분위수 0.4592
  k= 12, n= 200: 평균 0.1835   95% 분위수 0.2350
  k= 20, n=  50: 평균 0.4080   95% 분위수 0.4943

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

rng = np.random.default_rng(2)
n = 300
df = pd.DataFrame({
    "정규": rng.normal(0, 1, n),
    "치우침": rng.lognormal(0, 0.7, n),
    "이봉": np.concatenate([rng.normal(-2, 0.5, n // 2), rng.normal(2, 0.5, n // 2)]),
    "이산": rng.integers(1, 6, n).astype(float),
})
print(df.describe().round(3).to_string())

for kind in ("hist", "kde"):
    g = sns.pairplot(df, diag_kind=kind, plot_kws=dict(s=8, alpha=0.4),
                     height=1.6)
    g.figure.suptitle(f'diag_kind="{kind}"', y=1.02, fontsize=11)
    plt.show()

            정규      치우침       이봉      이산
count  300.000  300.000  300.000  300.00
mean    -0.054    1.224    0.008    2.95
std      1.018    1.040    2.078    1.41
min     -2.686    0.164   -3.303    1.00
25%     -0.766    0.606   -2.004    2.00
50%     -0.082    0.930    0.133    3.00
75%      0.674    1.485    2.055    4.00
max      2.846    8.495    3.497    5.00

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score

rng = np.random.default_rng(3)

print("집단 레이블이 특징과 아무 관계 없을 때, '가장 잘 가르는 변수 쌍'의 성능")
print(f"{'k':>5}{'n':>6}{'훈련 정확도':>14}{'교차검증 정확도':>18}")
for k, n in [(10, 40), (10, 200), (30, 40)]:
    best_tr = best_cv = 0.0
    for _ in range(200):
        X = rng.normal(0, 1, (n, k))
        y = rng.integers(0, 2, n)             # 무작위 레이블
        bt = bc = 0.0
        for i in range(k):
            for j in range(i + 1, k):
                Z = X[:, [i, j]]
                m = LogisticRegression().fit(Z, y)
                bt = max(bt, m.score(Z, y))
        best_tr += bt / 200
        # 가장 좋은 쌍을 고른 뒤 교차검증하면?
        best_cv += cross_val_score(LogisticRegression(), X[:, :2], y, cv=5).mean() / 200
    print(f"{k:>5}{n:>6}{best_tr:>14.4f}{best_cv:>18.4f}")

집단 레이블이 특징과 아무 관계 없을 때, '가장 잘 가르는 변수 쌍'의 성능
    k     n        훈련 정확도          교차검증 정확도
   10    40        0.7140            0.5359
   10   200        0.5976            0.5190
   30    40        0.7706            0.5387

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

plt.rcParams["font.family"] = "Apple SD Gothic Neo"   # 한글 글꼴
plt.rcParams["axes.unicode_minus"] = False            # 음수 기호가 네모가 되지 않게

rng = np.random.default_rng(5)
n = 20_000
z = rng.normal(0, 1, n)
df = pd.DataFrame({"A": z + rng.normal(0, 0.8, n),
                   "B": 0.6 * z + rng.normal(0, 0.9, n),
                   "C": rng.normal(0, 1, n)})

print(f"n = {n:,}, 변수 {df.shape[1]}개")
print(f"상관행렬\n{df.corr().round(3).to_string()}")

g = sns.PairGrid(df, height=1.9)
g.map_diag(plt.hist, bins=40)
g.map_offdiag(plt.hexbin, gridsize=28, cmap="viridis", mincnt=1)
g.figure.suptitle("hexbin 으로 그린 쌍그림", y=1.02, fontsize=11)
plt.show()

n = 20,000, 변수 3개
상관행렬
       A      B      C
A  1.000  0.433 -0.005
B  0.433  1.000 -0.006
C -0.005 -0.006  1.000

import numpy as np
from scipy import stats

rng = np.random.default_rng(7)
n = 500
x = rng.uniform(-3, 3, n)

relations = {
    "선형":       2 * x + rng.normal(0, 1, n),
    "이차":       x ** 2 + rng.normal(0, 1, n),
    "주기":       3 * np.sin(2 * x) + rng.normal(0, 0.5, n),
    "이분산":     rng.normal(0, 0.3 + 0.8 * np.abs(x), n),
    "군집":       np.where(x > 0, 3, -3) + rng.normal(0, 0.5, n),
}

print(f"{'관계':>8}{'피어슨 r':>11}{'스피어만':>11}{'거리상관 근사':>15}")
for name, y in relations.items():
    # 거리상관 대신 |x| 와 |y-중앙값| 의 상관으로 이분산 감지
    het = np.corrcoef(np.abs(x - x.mean()), np.abs(y - np.median(y)))[0, 1]
    print(f"{name:>8}{np.corrcoef(x, y)[0, 1]:>+11.4f}"
          f"{stats.spearmanr(x, y)[0]:>+11.4f}{het:>+15.4f}")

      관계      피어슨 r       스피어만        거리상관 근사
      선형    +0.9639    +0.9667        +0.8606
      이차    +0.0193    +0.0443        +0.4353
      주기    -0.4004    -0.3866        +0.1099
     이분산    +0.0158    +0.0172        +0.4992
      군집    +0.8527    +0.7422        +0.0970

import numpy as np
import pandas as pd

rng = np.random.default_rng(9)
n = 400
df = pd.DataFrame({
    "소득": rng.lognormal(10, 0.8, n),          # 수만~수십만
    "나이": rng.uniform(20, 70, n),             # 20~70
    "만족도": rng.integers(1, 6, n).astype(float),  # 1~5
    "거리": rng.exponential(5, n),              # 0~수십
})
print(df.describe().loc[["mean", "std", "min", "max"]].round(2).to_string())

print("\n각 변수의 범위 폭")
for c in df.columns:
    print(f"  {c}: {df[c].max() - df[c].min():>12,.1f}")
print("\n→ 축 범위가 수십만 대 4 로 갈리므로 각 칸이 독립적으로 축을 잡는다")
print("   즉 칸끼리 축이 공유되지 않아 크기 비교가 불가능하다")

             소득     나이   만족도     거리
mean   30271.30  44.16  3.02   5.38
std    25563.39  13.88  1.41   5.57
min     2094.04  20.17  1.00   0.01
max   170773.60  69.55  5.00  34.15

각 변수의 범위 폭
  소득:    168,679.6
  나이:         49.4
  만족도:          4.0
  거리:         34.1

→ 축 범위가 수십만 대 4 로 갈리므로 각 칸이 독립적으로 축을 잡는다
   즉 칸끼리 축이 공유되지 않아 크기 비교가 불가능하다

import numpy as np
import pandas as pd

rng = np.random.default_rng(4)
n = 300
grade = rng.choice(["A", "B", "C"], n, p=[0.3, 0.5, 0.2])
df = pd.DataFrame({
    "점수": np.array([rng.normal({"A": 85, "B": 72, "C": 60}[g], 6) for g in grade]),
    "출석": np.clip(rng.normal(0.85, 0.12, n), 0, 1),
    "등급": grade,
})

print(df.groupby("등급")[["점수", "출석"]].agg(["mean", "std", "count"]).round(3).to_string())
print(f"\n수치형 변수 {df.select_dtypes('number').shape[1]}개, "
      f"범주형 {df.select_dtypes('object').shape[1]}개")

        점수                  출석
      mean    std count   mean    std count
등급
A   84.806  5.787    71  0.836  0.098    71
B   70.705  6.252   152  0.836  0.117   152
C   60.906  5.567    77  0.847  0.111    77

수치형 변수 2개, 범주형 1개