쌍 그림과 산점도 행렬¶
들어가는 이야기 — 자료를 처음 받으면 무엇부터 보는가
자료를 처음 받으면 무엇부터 보아야 하는가. 변수가 넷이면 둘씩 짝지은 쌍이 여섯이고(\(4 \times 3 / 2\)), 그 여섯을 하나씩 그리는 대신 한 장의 격자에 늘어놓은 것이 쌍 그림이다. 이 격자로 두 가지를 정한다 — 어느 변수가 쓸모 있는지, 그리고 자료가 한 덩어리인지 여러 집단이 섞인 것인지. 붓꽃 자료의 꽃잎 길이를 보면 한 품종의 최댓값이 \(1.9\) 인데 나머지 품종의 최솟값이 \(3.0\) 이라 그 사이가 완전히 빈다. 그 빈 띠가 칸에서는 떨어진 덩어리로, 대각선의 밀도에서는 두 봉우리로 보인다. 둘 다 자리를 눈으로 보는 것이어서 칸에서 수를 읽어 낼 필요가 없다.
읽을 필요가 없는 것이 아니라 읽을 수가 없다. 칸이 작아 좌표를 읽히게 만들 생각이 애초에 없었다. 그러니 격자에서 수를 집어내려 들면 안 되고, 수가 필요하면 상관을 따로 재야 한다. 왜 그렇게 설계되었는지는 아래 상자가 따라간다.
모양을 보는 도구로서는 뛰어나다. 붓꽃 \(150\) 송이를 \(4 \times 4\) 격자로 늘어놓으면 어느 칸이 품종을 가르는지 한눈에 보인다. 대각선의 밀도가 두 봉우리로 갈라지는지 보는 것이 이 격자가 처음 만들어진 용도 그대로다. 꽃잎 너비로 칼을 한 번 대면 두 품종을 거의 다 가르는데 꽃받침 너비로는 셋에 하나를 틀린다 — 동전을 던져도 절반이니 거의 쓸모가 없다는 뜻이다.
그런데 같은 격자의 꽃받침 길이–너비 칸에는 \(r = -0.12\) 가 적히고, 품종별로 따로 재면 \(+0.74\), \(+0.53\), \(+0.46\) 으로 셋 다 양수다. 품종을 섞어 재면 그 양수 셋이 음수 하나로 바뀐다. 품종을 모르는 자료에서도 격자의 갈라짐은 보인다. 격자 한 장이 보여 주는 것과 가리는 것이 각각 무엇인가. 이 쪽이 그 격자를 읽는 순서를 적는다.
왼쪽. 격자의 한 칸이다. 품종을 섞어 재면 \(r = -0.1176\) 이라 직선이 내려가는데, 품종마다 따로 재면 \(+0.7425\) · \(+0.5259\) · \(+0.4572\) 로 셋 다 올라간다. 같은 점들이고 바뀐 것은 색뿐이다 — 품종을 입히기 전에는 회색 직선 하나만 보인다. 오른쪽. 그래서 격자에서 찾을 것은 수가 아니라 가르는 칸이다. 네 변수에 칼을 한 번만 대어 어려운 짝(versicolor 와 virginica)을 갈라 보면 꽃잎 너비가 \(6\%\), 꽃잎 길이가 \(7\%\) 인데 꽃받침 너비는 \(37\%\) 다 — 동전 던지기가 \(50\%\) 이니 거의 쓸모가 없다. setosa 는 어느 변수로도 쉽게 갈리므로 어려운 짝만 보았다.
확인한 곳 — 이 쪽 「라인 프린터에 찍으려고 만든 격자」 상자와 그 출처 줄
여러 양적 변수를 가진 자료를 탐색할 때 변수 쌍마다 개별적으로 살펴보는 일은 관계를 이해하는 데 필수적이다. 쌍 그림(산점도(scatter plot) 행렬이라고도 한다)은 모든 쌍별 산점도를 하나의 격자에 표시하여 자료의 이변량 관계를 종합적으로 보여준다. 다변량 자료의 탐색적 분석에서 가장 중요한 도구 중 하나이다.
1. 쌍 그림이란¶
변수가 \(p\)개일 때 쌍 그림은 \(p \times p\) 격자의 패널을 만든다.
- 비대각 패널: 각 변수 쌍 \((X_i, X_j)\)의 산점도.
- 대각 패널: 각 변수의 일변량 그림(히스토그램, 커널밀도추정, 상자그림(box plot)).
변수가 \(p\)개면 서로 다른 쌍은 \(\binom{p}{2} = p(p-1)/2\)개이다. 격자는 각 쌍을 (축을 바꾸어 위쪽 삼각형과 아래쪽 삼각형에) 두 번 표시하므로, 어떤 구현은 위·아래 삼각형에 서로 다른 종류의 그림을 넣는다.
2. 쌍 그림 읽기¶
쌍 그림을 살필 때 다음을 본다.
- 연관의 방향: 점들이 오른쪽 위로 기우는가(양), 오른쪽 아래로 기우는가(음)?
- 연관의 강도: 점들이 추세 주위에 얼마나 촘촘히 모여 있는가? 촘촘할수록 상관이 강하다.
- 선형성: 추세가 대략 선형인가, 곡률이 있는가?
- 이상치(outlier): 주된 무리에서 멀리 떨어진 점이 있는가?
- 군집: 점들이 뚜렷한 무리를 이루어 하위 모집단을 시사하는가?
- 이분산성(heteroscedasticity): \(X\)의 범위에 걸쳐 \(Y\)의 산포가 달라지는가?
대각 패널은 주변분포를 드러낸다. 그 모양(대칭, 왜도(skewness), 이봉)이 상관 측도와 통계 검정의 선택에 정보를 준다.
3. 어느 변수 짝이 집단을 가장 잘 가르는가¶
seaborn 라이브러리의 pairplot 함수는 최소한의 코드로 출판 수준의 쌍 그림을 만들어 준다.
보기 1. 쌍그림에서 품종 구별력을 읽기. 붓꽃 \(150\)송이의 네 측정값을 품종으로 색을 입혀 \(4 \times 4\) 쌍그림으로 그린다.
(1) 어느 변수 짝에서 세 품종이 가장 잘 갈리고 어느 짝에서 가장 덜 갈리는가. 눈대중이 아니라 수치로 뒷받침하시오.
(2) 대각선의 네 밀도 가운데 봉우리가 둘로 갈라진 것이 있다. 어느 변수이며 그 갈라짐은 어디서 오는가.
풀이
유도할 답이 없는 보기다. 쌍그림은 보여 주는 것이 전부이므로 풀이의 몫은 무엇을 어떤 수치로 읽어야 하는가를 정하는 데 있다. 여기서는 척도를 둘 쓴다.
- 완전 분리: 한 품종의 최대가 나머지의 최소보다 작으면 그 변수 하나로 중첩 없이 갈린다.
- 겹치는 두 품종의 분리: versicolor 와 virginica 에 대해 표준화된 평균차 \(d = (\bar y_2 - \bar y_1)/s_{\text{pooled}}\) 와, 변수 하나에 칼을 한 번 대어 둘을 나눌 때의 최소 오분류 개수.
(1) 꽃잎 두 변수가 이긴다.
| 변수 | setosa 최대 | 나머지 최소 | versicolor–virginica \(d\) | 한칼 오류 |
|---|---|---|---|---|
| sepal_length | \(5.8\) | \(4.9\) | \(1.13\) | \(27/100\) |
| sepal_width | \(4.4\) | \(2.0\) | \(0.64\) | \(37/100\) |
| petal_length | \(1.9\) | \(3.0\) | \(2.52\) | \(7/100\) |
| petal_width | \(0.6\) | \(1.0\) | \(2.93\) | \(6/100\) |
꽃잎 두 변수에서는 setosa 의 최대가 나머지의 최소보다 작다(\(1.9 < 3.0\), \(0.6 < 1.0\)). 그래서 petal_length–petal_width 칸에서 setosa 가 왼쪽 아래 구석에 빈 띠를 두고 따로 떨어진 덩어리로 보인다. 꽃받침 두 변수에서는 범위가 겹치므로(\(5.8 > 4.9\), \(4.4 > 2.0\)) setosa 조차 완전히 갈리지 않는다.
가장 덜 갈리는 것은 sepal_width 다. \(d = 0.64\) 이고 한칼 오류가 \(37/100\) 이다. 동전을 던지면 \(50\) 이 나오므로 \(37\) 은 거의 쓸모가 없다는 뜻이다. sepal_length–sepal_width 칸을 보면 세 색이 뒤엉켜 있다.
(2) petal_length 와 petal_width 다. 두 변수의 품종별 범위를 보면 setosa 는 \([1.0, 1.9]\), 나머지는 \([3.0, 6.9]\) 라 \(1.9\) 와 \(3.0\) 사이가 완전히 빈다. 품종을 섞어 놓은 주변분포는 이 빈 구간에서 밀도가 0 이 되므로 봉우리가 둘로 갈라진다. 곧 이봉성은 petal_length 라는 변수의 성질이 아니라 자료가 세 품종의 섞임이라는 사실의 흔적이다. 꽃받침 두 변수는 범위가 겹치므로 봉우리가 하나다.
import seaborn as sns
import matplotlib.pyplot as plt
plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False
df = sns.load_dataset("iris")
# 쌍그림은 수치형 열을 모두 짝지어 격자로 그린다. hue 로 품종을 나누면
# 어느 변수 짝에서 품종이 갈리는지 한눈에 보인다.
sns.pairplot(df, hue="species", diag_kind="kde")
plt.suptitle("Iris Dataset: Pairwise Relationships by Species", y=1.02)
plt.show()
# 그림에서 읽은 것을 수치로 뒷받침한다.
import numpy as np
cols = ["sepal_length", "sepal_width", "petal_length", "petal_width"]
a = df[df.species == "versicolor"]
b = df[df.species == "virginica"]
sub = df[df.species != "setosa"]
print("변수별 품종 구별력")
print(f"{'변수':>14s} {'setosa 최대':>11s} {'나머지 최소':>11s} "
f"{'versi-virgi d':>14s} {'최적 한칼 오류':>14s}")
for c in cols:
smax = df[df.species == "setosa"][c].max()
omin = sub[c].min()
d = (b[c].mean() - a[c].mean()) / np.sqrt((a[c].var(ddof=1) + b[c].var(ddof=1)) / 2)
grid = np.arange(sub[c].min(), sub[c].max(), 0.05)
err = min(((sub[c] <= t) & (sub.species == "virginica")).sum()
+ ((sub[c] > t) & (sub.species == "versicolor")).sum() for t in grid)
print(f"{c:>14s} {smax:11.1f} {omin:11.1f} {d:14.3f} {err:11d}/100")
출력:
변수별 품종 구별력
변수 setosa 최대 나머지 최소 versi-virgi d 최적 한칼 오류
sepal_length 5.8 4.9 1.126 27/100
sepal_width 4.4 2.0 0.641 37/100
petal_length 1.9 3.0 2.521 7/100
petal_width 0.6 1.0 2.925 6/100

표의 네 줄이 그림에서 읽은 순서와 그대로 맞는다.
이 그림이 가리는 것. 쌍그림의 칸은 모두 두 변수만 본 주변 관계다. 세 변수가 함께 얽힌 구조는 어느 칸에도 나타나지 않는다. 더 날카로운 예가 바로 sepal_length–sepal_width 칸이다. 색을 지우고 \(150\)개를 한 덩어리로 보면 그 상관이 음수인데 색마다 따로 재면 셋 다 양수다. hue 를 켰기 때문에 겨우 눈치챌 수 있는 것이고, 끄면 그림에서 사라진다. 보기 3에서 이 뒤집힘을 수로 쪼갠다.
그림으로 보는 통계학 1. 라인 프린터에 찍으려고 만든 격자
위 보기의 한 줄 — 자료를 넘기면 \(4 \times 4\) 격자가 나오는 그 한 줄 — 이 \(1975\) 년에는 전혀 다른 일이었다. 쌍 그림이 처음 실린 논문의 제목이 그것을 말한다. 존 하티건의 「군집화를 위한 프린터 그래픽」이다(『Journal of Statistical Computation and Simulation』, \(1975\)).
제목에 두 가지가 들어 있다.
하나는 「프린터」다. 그 시절 통계 계산의 출력 장치는 화면이 아니라 라인 프린터였고, 그림은 문자를 자리에 찍어 만들었다. 점 하나가 활자 한 칸이다. 종이 한 장에 \(p \times p\) 칸을 넣으려면 각 칸이 가로 수십 열, 세로 열몇 줄밖에 되지 않는다. 쌍 그림이 수를 읽는 도구가 아니라 모양을 보는 도구인 까닭이 거기서 왔다 — 애초에 그 해상도로는 좌표를 읽을 수 없었고, 읽을 필요도 없게 설계된 그림이다. \(\S 6\) 이 상관행렬과 견주며 「쌍 그림은 수를 주지 않는다」고 적는 것은 결함이 아니라 설계다.
다른 하나는 「군집화」다. 하티건이 이 격자를 만든 목적은 상관을 훑는 것이 아니라 집단이 몇 개 있는지 보는 것이었다. 위 보기의 \((2)\) 가 「대각선 밀도 가운데 봉우리가 둘로 갈라진 것」을 찾으라고 하는 자리가 정확히 그 용도다. 붓꽃에서 꽃잎 변수의 밀도가 갈라지는 것은 품종이 둘 이상 섞여 있기 때문이고, 품종을 모르는 자료에서도 그 갈라짐은 보인다. 표지가 없는 자료에서 집단의 개수를 눈으로 세는 것 — 오늘 군집 개수를 고르는 일에 쓰는 여러 지표가 답하려는 그 물음을 \(1975\) 년에는 격자를 인쇄해서 보았다.
\(1981\) 년에 투키 형제가 이 그림에 다른 이름을 붙였다 — 일반화된 제도사의 도면이다. 기계 부품을 정면·측면·평면에서 각각 그려 한 장에 모아 두는 제도 관행에서 온 이름이고, 삼차원 물체를 이차원 투영 여럿으로 이해한다는 발상이 같다.
확인한 곳 — 쌍 그림이 하티건의 \(1975\) 년 논문 「Printer graphics for clustering」 (『Journal of Statistical Computation and Simulation』)에서 처음 나왔다는 것과, 투키와 투키가 \(1981\) 년에 이것을 「generalized draftsman's display」라 불렀다는 것을 확인했다. 권·쪽수는 확인하지 못해 적지 않았다. 라인 프린터의 해상도와 제도 관행에 대한 설명은 제목과 그 시절 출력 장치에 대한 일반적 사실에서 온 것이다
4. 쌍 그림 꾸미기¶
변수 선택¶
열이 많은 자료에서 모든 쌍을 그리면 격자가 지나치게 복잡해진다. 변수의 부분집합을 고른다.
보기 2. 변수를 추리면 무엇을 잃는가. 네 변수 가운데 petal_width 를 빼고 세 개만 남겨 다시 그린다.
(1) 칸과 서로 다른 짝의 개수는 각각 몇에서 몇으로 줄어드는가. 사라진 짝을 모두 적고 그 가운데 \(\lvert r \rvert\) 가 가장 큰 것을 말하시오.
(2) 하필 전체에서 가장 강한 짝이 사라진다. 그런데도 손실이 작다고 말할 수 있는가. 보기 1의 한칼 오류로 재어 보시오.
풀이
(1) 세기만 하면 된다. 변수 \(p\)개의 쌍그림은 칸이 \(p^2\)개이고 서로 다른 짝이 \(\binom{p}{2}\)개다. \(p = 4 \to 3\) 이므로
이다. 사라지는 짝은 petal_width 가 끼는 셋뿐이다.
| 사라진 짝 | \(r\) |
|---|---|
| sepal_length – petal_width | \(+0.8179\) |
| sepal_width – petal_width | \(-0.3661\) |
| petal_length – petal_width | \(\mathbf{+0.9629}\) |
가장 큰 것은 \(r = +0.9629\) 인 petal_length–petal_width 이고, 이것은 네 변수 전체에서도 가장 강한 짝이다. 남은 세 짝의 최대는 \(0.8718\) 이다.
(2) 그렇다. 그리고 손실이 작은 까닭이 바로 \(r = 0.963\) 이다. 두 변수의 상관이 \(0.963\) 이라는 말은 둘이 거의 같은 것을 재고 있다는 뜻이므로, 하나를 지워도 남은 하나가 그 몫을 거의 다 한다. 보기 1의 척도로 재면 versicolor–virginica 를 가르는 한칼 오류가
으로 한 송이만 늘어난다. 지운 짝의 \(r\) 가 가장 컸다는 사실과 잃은 정보가 가장 적다는 사실은 모순이 아니라 같은 말이다.
import seaborn as sns
import matplotlib.pyplot as plt
df = sns.load_dataset("iris")
# 변수가 많으면 격자가 커져 읽기 어렵다. vars 로 볼 것만 고른다.
sns.pairplot(
df,
vars=["sepal_length", "sepal_width", "petal_length"],
hue="species",
diag_kind="hist",
plot_kws={"alpha": 0.6},
)
plt.show()
# 무엇을 잃었는지 센다.
import itertools
import numpy as np
allv = ["sepal_length", "sepal_width", "petal_length", "petal_width"]
kept = ["sepal_length", "sepal_width", "petal_length"]
R = df[allv].corr()
print(f"칸 수 {len(allv)**2} -> {len(kept)**2}, "
f"서로 다른 짝 {len(allv)*(len(allv)-1)//2} -> {len(kept)*(len(kept)-1)//2}")
print("\n사라진 짝")
for u, v in itertools.combinations(allv, 2):
if u in kept and v in kept:
continue
print(f" {u:>13s} - {v:<13s} r = {R.loc[u, v]:+.4f}")
print(f"\n남은 짝의 최대 |r| = "
f"{max(abs(R.loc[u, v]) for u, v in itertools.combinations(kept, 2)):.4f}")
# petal_width 가 빠진 대가: versicolor/virginica 를 가르는 한칼의 오류
sub = df[df.species != "setosa"]
for c in ["petal_width", "petal_length"]:
grid = np.arange(sub[c].min(), sub[c].max(), 0.05)
err = min(((sub[c] <= t) & (sub.species == "virginica")).sum()
+ ((sub[c] > t) & (sub.species == "versicolor")).sum() for t in grid)
print(f"{c:>13s} 한칼 오류 = {err}/100")
출력:
칸 수 16 -> 9, 서로 다른 짝 6 -> 3
사라진 짝
sepal_length - petal_width r = +0.8179
sepal_width - petal_width r = -0.3661
petal_length - petal_width r = +0.9629
남은 짝의 최대 |r| = 0.8718
petal_width 한칼 오류 = 6/100
petal_length 한칼 오류 = 7/100

추릴 때 무엇을 보아야 하는가. 이 보기가 잘 끝난 것은 지운 변수가 남은 변수와 \(0.963\) 으로 겹쳐 있었기 때문이다. 상관이 낮은 변수를 지우면 반대가 된다. sepal_width 는 남은 짝들과 상관이 \(-0.118\) 과 \(-0.428\) 뿐이라 다른 어느 변수도 그 몫을 대신하지 못한다. 그러므로 변수를 고를 때 보아야 할 것은 "그 변수가 중요한가"가 아니라 "남는 변수들이 그것을 대신할 수 있는가" 다.
이 그림이 가리는 것. 추린 쌍그림은 빠진 변수가 남은 관계를 교란하는지 전혀 보이지 않는다. 격자만 보면 petal_width 가 애초에 없는 자료와 구별되지 않는다.
그림에 상관계수 표시하기¶
각 패널에 상관 수치를 넣으면 산점도가 시각적으로 보여주는 것을 수치로 확인할 수 있다.
보기 3. 칸에 적은 수가 말하지 않는 것. 위쪽 삼각형에 피어슨 \(r\) 를 적는다. 이때 hue 를 주지 않았으므로 적히는 수는 \(150\)송이를 한 덩어리로 잰 값이다.
(1) sepal_length–sepal_width 칸에는 \(r = -0.12\) 가 적힌다. 품종별로 따로 재면 \(+0.74\), \(+0.53\), \(+0.46\) 으로 셋 다 양수다. 3.4절의 전체 공분산 법칙을 써서 이 부호 뒤집힘이 어느 항에서 오는지 가리시오.
(2) 품종 평균 세 점만으로 상관을 재면 얼마인가. 그 값이 (1)의 어느 항에 해당하는가.
풀이
(1) 공분산이 두 조각으로 정확히 쪼개진다. 품종을 \(Z\) 라 하면
이다. 세 품종이 각각 \(50\)송이로 같으므로 \(Z\) 는 균등하고 두 항 모두 세 품종에 대한 단순평균이 된다. 칸에 적히는 \(r\) 는 이 두 항의 합을 두 표준편차로 나눈 값이므로, 품종 안의 몫이 양수여도 품종 사이의 몫이 더 크게 음수이면 부호가 뒤집힌다. 이 자료가 바로 그 경우다.
법칙 자체의 유도와 이 자료에 대한 자세한 셈은 상관계수 절에서 이미 했으므로 여기서는 쓰기만 하고, 이 보기의 몫인 "위쪽 삼각형의 수가 어느 항을 보여 주는가" 에 집중한다. 답은 합만 보여 주고 두 항은 보여 주지 않는다 이다.
(2) 품종 평균 세 점의 상관은 \(-0.7451\) 이다. 이것이 품종 사이의 몫을 그 항만의 표준편차로 정규화한 값이다. 품종 안의 몫만 남긴 상관은 \(+0.5302\) 다. 그러므로 같은 자료에서 세 수가 나온다.
| 무엇을 재는가 | 상관 |
|---|---|
| 품종을 무시하고 \(150\)송이 | \(-0.1176\) (칸에 적히는 값) |
| 품종 안만 (\(150\)송이, 평균을 맞춘 뒤) | \(+0.5302\) |
| 품종 평균 세 점만 | \(-0.7451\) |
셋 가운데 어느 것도 다른 둘을 대신하지 못한다. 그런데 그림은 맨 윗줄 하나만 적는다.
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False
df = sns.load_dataset("iris")
numeric_cols = ["sepal_length", "sepal_width", "petal_length", "petal_width"]
# PairGrid 는 칸마다 무엇을 그릴지 직접 고를 수 있다. 아래쪽 삼각형에는
# 산점도, 대각선에는 분포, 위쪽 삼각형에는 상관계수를 적는다.
g = sns.PairGrid(df[numeric_cols])
g.map_lower(sns.scatterplot)
g.map_diag(sns.histplot, kde=True)
def annotate_corr(x, y, **kwargs):
"""칸 가운데에 상관계수를 적는다. map_upper 가 칸마다 불러 준다."""
r = np.corrcoef(x, y)[0, 1]
ax = plt.gca()
ax.annotate(f"r = {r:.2f}", xy=(0.5, 0.5),
xycoords="axes fraction", ha="center",
fontsize=14, fontweight="bold")
g.map_upper(annotate_corr)
plt.show()
# 적혀 있는 r 를 전체 공분산 법칙으로 쪼갠다.
x = df.sepal_length.values
y = df.sepal_width.values
sp = df.species.values
names = ["setosa", "versicolor", "virginica"]
cov0 = lambda a, b: np.mean((a - a.mean()) * (b - b.mean()))
print(f"적혀 있는 r = {np.corrcoef(x, y)[0, 1]:+.4f} (품종을 무시한 값)")
print(f"\n{'품종':>11s} {'가중 w':>7s} {'평균 x':>7s} {'평균 y':>7s} "
f"{'군내 Cov':>9s} {'군내 r':>7s}")
within = between = 0.0
for nm in names:
m = sp == nm
w = m.sum() / len(x)
c = cov0(x[m], y[m])
within += w * c
between += w * (x[m].mean() - x.mean()) * (y[m].mean() - y.mean())
print(f"{nm:>11s} {w:7.4f} {x[m].mean():7.3f} {y[m].mean():7.3f} "
f"{c:+9.6f} {c / (x[m].std() * y[m].std()):+7.4f}")
total = cov0(x, y)
print(f"\nE[Cov(X,Y|Z)] = {within:+.6f} (군내 — 모두 양수)")
print(f"Cov(E[X|Z],E[Y|Z]) = {between:+.6f} (군간 — 음수)")
print(f"합 = {within + between:+.6f}")
print(f"Cov(X,Y) 직접 계산 = {total:+.6f}")
print(f"\nsd(X) = {x.std():.4f}, sd(Y) = {y.std():.4f} -> "
f"r = {total / (x.std() * y.std()):+.4f}")
# 군간 항을 없앤 자료, 곧 품종별 평균을 맞춘 자료의 상관
sx = np.sqrt(sum(m.sum() / len(x) * x[m].var() for m in (sp == nm for nm in names)))
sy = np.sqrt(sum(m.sum() / len(y) * y[m].var() for m in (sp == nm for nm in names)))
print(f"군내만 남긴 상관 = {within / (sx * sy):+.4f}")
print(f"품종 평균 셋의 상관 = "
f"{np.corrcoef([5.006, 5.936, 6.588], [3.428, 2.770, 2.974])[0, 1]:+.4f}")
출력:
적혀 있는 r = -0.1176 (품종을 무시한 값)
품종 가중 w 평균 x 평균 y 군내 Cov 군내 r
setosa 0.3333 5.006 3.428 +0.097232 +0.7425
versicolor 0.3333 5.936 2.770 +0.083480 +0.5259
virginica 0.3333 6.588 2.974 +0.091888 +0.4572
E[Cov(X,Y|Z)] = +0.090867 (군내 — 모두 양수)
Cov(E[X|Z],E[Y|Z]) = -0.133018 (군간 — 음수)
합 = -0.042151
Cov(X,Y) 직접 계산 = -0.042151
sd(X) = 0.8253, sd(Y) = 0.4344 -> r = -0.1176
군내만 남긴 상관 = +0.5302
품종 평균 셋의 상관 = -0.7451

쪼갠 두 항의 합이 직접 계산한 공분산과 소수 여섯째 자리까지 같다. 근사가 아니라 항등식이므로 당연히 그래야 하고, 어긋나면 코드가 틀린 것이다.
품종 사이의 몫이 음수인 까닭도 표에서 읽힌다. 세 품종의 평균이 \((5.006, 3.428) \to (5.936, 2.770) \to (6.588, 2.974)\) 로 가면서 꽃받침 길이는 줄곧 늘지만 너비는 setosa 다음에 뚝 떨어진다. 세 점을 이으면 오른쪽 아래로 기울어 \(r = -0.745\) 다.
이 꾸밈이 가리는 것. annotate 가 적는 수에는 어떤 경고도 붙지 않는다. 적어도 이 셋은 함께 보아야 한다.
- 표본크기. \(n\) 이 작으면 같은 \(r\) 가 전혀 다른 뜻이다. 여기서 \(r = -0.12\) 는 \(n = 150\) 에서 \(p = 0.152\) 로 유의하지도 않다.
- 비선형성. \(r\) 는 직선 관계만 잰다. petal 두 변수처럼 품종 덩어리가 떨어져 있으면 직선이 애초에 맞는 틀이 아니다.
- 섞임. 위에서 본 대로다.
hue를 주어 칸마다 품종별 \(r\) 를 적는 것이 이 자료에서는 더 정직하다.
5. 쌍 그림을 언제 쓰는가¶
쌍 그림은 다음일 때 가장 유용하다.
- 변수의 수가 적당할 때(\(p \le 10\)). \(p\)가 아주 크면 격자를 다루기 어려워진다.
- 분석의 탐색 단계에서 모든 쌍별 관계를 빠르게 훑고 싶을 때.
- 하위집단마다 관계가 다를 것 같을 때(
hue인자를 쓴다). - 모형을 적합하기 전에 회귀 가정(선형성, 등분산성(homoscedasticity))을 확인하고 싶을 때.
고차원 자료(\(p > 10\))에서는 다음을 고려한다.
- 분야 지식에 근거해 가장 중요한 변수를 고른다.
- 상관 열지도(열지도 참조)로 가장 강한 관계를 찾은 뒤 그 쌍들만 자세히 살핀다.
- 개관을 위해 차원 축소 기법(PCA, t-SNE)을 쓴다.
6. 쌍 그림과 상관행렬¶
| 항목 | 쌍 그림 | 상관행렬/열지도 |
|---|---|---|
| 비선형 패턴을 보여주는가 | 예 | 아니오 |
| 이상치를 보여주는가 | 예 | 아니오 |
| 군집을 보여주는가 | 예 | 아니오 |
| 변수가 많을 때의 확장성 | 나쁨(\(p > 10\)) | 좋음(\(p > 50\)) |
| 수치를 제공하는가 | 아니오(주석을 달지 않는 한) | 예(쌍마다 \(r\)) |
쌍 그림과 상관 열지도는 상호보완적인 도구이다. 열지도는 많은 관계를 간결하게 요약하고, 쌍 그림은 하나의 수치가 담을 수 없는 세부를 드러낸다.
7. 해석의 함정¶
작은 표본의 패턴을 과잉 해석하지 말 것
자료점이 적으면 순전히 우연으로 생긴 패턴이 산점도에 보일 수 있다. 쌍 그림을 해석할 때 표본크기를 항상 고려하라.
쌍 그림은 주변 관계만 보여준다
각 패널은 다른 변수들을 무시한 채 두 변수 사이의 이변량 관계만 보여준다. 강한 주변상관이 다른 변수로 조건화하면 약해지거나 뒤집힐 수 있다(심슨의 역설과 부분상관 참조).
연습문제¶
연습문제 1. seaborn으로 붓꽃 자료의 쌍 그림을 종에 따라 색을 입혀 그리는 Python 코드를 작성하라.
풀이
import seaborn as sns
import matplotlib.pyplot as plt
iris = sns.load_dataset("iris")
g = sns.pairplot(iris, hue="species", diag_kind="kde")
g.fig.suptitle("Iris Dataset Pair Plot", y=1.02)
plt.show()

대각선에는 각 변수의 분포를, 비대각선에는 쌍별 산점도를 그린다. 회귀선을 얹으면 관계의 방향을 읽기 쉽다.
hue="species" 인자가 종에 따라 점에 색을 입혀 집단마다 쌍별 관계가 다른지 드러낸다. 대각선의 KDE는 각 측정값에 대한 종별 분포를 보여준다. 산점도 패널에서 색이 잘 분리될수록 그 변수 쌍이 종을 잘 구별한다는 뜻이다.
연습문제 2. 쌍 그림(산점도 행렬)이 무엇을 보여주는지 기술하고, 변수가 4개일 때 무엇을 살펴야 하는지 설명하라.
풀이
쌍 그림은 변수의 모든 쌍별 조합을 보여주는 산점도 격자이다. 변수가 \(p = 4\)개면 \(4 \times 4\) 격자가 되고 서로 다른 산점도는 \(\binom{4}{2} = 6\)개이다(행렬이 대칭이다). 대각 패널은 보통 각 변수의 일변량 분포(히스토그램이나 KDE)를 보여준다.
변수 4개인 쌍 그림을 해석할 때 살필 것은 이렇다.
- 선형 대 비선형 관계: 산점도가 대략 선형인가, 곡률을 보이는가?
- 연관의 강도와 방향: 점구름이 촘촘하면 강한 상관, 퍼져 있으면 약한 상관이다.
- 이상치: 어떤 패널에서든 주된 구름에서 멀리 떨어진 점.
- 군집: 하위 모집단을 시사할 수 있는 점들의 무리.
- 이분산성: 부채꼴 산포(한 변수의 수준에 따라 분산이 변함).
- 주변분포: 대각 패널에서 보이는 왜도, 다봉성, 두꺼운 꼬리.
연습문제 3. 변수의 수 \(p\)가 클 때(예: \(p > 10\)) 쌍 그림이 왜 오도할 수 있는지 설명하고 대안을 제시하라.
풀이
\(p > 10\)이면 쌍 그림의 패널이 \(p^2 > 100\)개가 되어 다음 문제가 생긴다.
- 시각적으로 압도적이다: 개별적으로 살피기에 패널이 너무 많다. 중요한 패턴이 격자 속에 묻힌다.
- 계산 비용이 크다: 수천 개의 점을 가진 산점도 수백 개를 그리는 것은 느리다.
- 통계적으로 제한적이다: 쌍별 산점도는 고차원 구조를 놓친다(예: 세 변수가 결합적으로 상관되어 있어도 어떤 쌍에서도 보이지 않을 수 있다).
고차원 자료의 대안은 이렇다.
- 상관 열지도: 모든 쌍별 상관을 하나의 색 행렬로 요약한다.
- PCA나 t-SNE: 2–3차원으로 줄여 축소된 표현을 시각화한다.
- 초점을 좁힌 쌍 그림: (분야 지식이나 상관 선별에 근거해) 가장 중요한 변수 5–6개를 골라 쌍 그림을 그린다.
연습문제 4. 회귀 맥락에서 쌍 그림으로 다중공선성(multicollinearity)을 어떻게 시각적으로 탐지할 수 있는가?
풀이
다중공선성은 쌍 그림에서 설명변수들 사이의 강한 선형관계로 나타난다.
-
촘촘하게 모인 산점도: 두 설명변수(explanatory variable)가 거의 완벽한 선형 추세(점들이 직선을 따라 놓임)를 보이면 강하게 공선적이다. 둘을 모두 회귀모형에 넣으면 표준오차가 부풀려진다.
-
동일한 패턴: 설명변수 \(X_2\)가 모든 패널에서 \(X_1\)을 평행이동·축척한 것처럼 보이면(반응변수와도, 다른 설명변수와도 비슷한 산포를 보이면) 중복된 정보를 담고 있는 것이다.
-
상관값: 각 패널에 피어슨의 \(r\)을 겹쳐 표시하거나 위쪽 삼각형에 상관계수를 넣은 쌍 그림을 쓰면 \(|r| > 0.8\)이나 \(0.9\)인 쌍이 즉시 눈에 띈다.
탐지된 다중공선성에 대처하려면 상관된 설명변수 중 하나를 빼거나, 둘을 결합하거나(예: 평균이나 PCA), 정칙화(능형회귀(ridge regression)·라쏘)를 쓴다.
연습문제 5.
보기 2는 petal_width 하나를 지워 칸이 \(16 \to 9\), 서로 다른 짝이 \(6 \to 3\) 으로 줄었다고 셌다. 두 감소율이 같지 않다.
(1) 변수 \(p\)개의 쌍 그림에서 변수 하나를 지울 때 사라지는 서로 다른 짝의 개수를 \(p\)로 쓰라. 이어서 칸의 감소율과 짝의 감소율을 각각 \(p\)의 식으로 구하라.
(2) 두 감소율의 차가 정확히 \(1/p^2\) 임을 보이고, 그 \(1/p^2\) 이 격자의 무엇에 해당하는지 말하라. \(p = 4\)와 \(p = 10\)에서 수치로 확인하라.
풀이
(1) 지워진 변수가 끼는 짝만 사라지므로 사라지는 짝은 \(p - 1\)개다. 보기 2는 \(p = 4\)이므로 \(3\)개이고, 이것이 \(\binom{4}{2} = 6\)의 절반이다.
칸은 \(p^2 \to (p-1)^2\) 이므로 감소율이
이고, 서로 다른 짝은 \(\binom{p}{2} = \dfrac{p(p-1)}{2} \to \dfrac{(p-1)(p-2)}{2}\) 이므로 감소율이
이다.
(2) 차를 그대로 셈한다.
\(1/p^2\) 은 격자 \(p^2\)칸 가운데 딱 한 칸의 몫이고, 그 한 칸은 지워진 변수의 대각 패널이다. 1절에서 보았듯 대각 칸은 짝의 산점도가 아니라 변수 하나의 일변량 그림이므로, 짝을 셀 때는 애초에 세지 않는다. 그래서 칸으로 세면 늘 \(1/p^2\) 만큼 손실이 작게 나온다.
| \(p\) | 칸 감소율 \((2p-1)/p^2\) | 짝 감소율 \(2/p\) | 차 |
|---|---|---|---|
| \(4\) | \(7/16 = 0.4375\) | \(0.5\) | \(0.0625 = 1/16\) |
| \(10\) | \(19/100 = 0.19\) | \(0.2\) | \(0.01 = 1/100\) |
보기 2가 "칸 \(16 \to 9\)" 와 "짝 \(6 \to 3\)" 을 따로 적은 것은 꾸밈이 아니다. 두 수는 서로 다른 것을 세고 있고, 잃은 정보를 재는 척도는 짝 쪽이다. \(p\)가 커지면 차는 \(1/p^2\) 로 빠르게 사라지므로, 칸으로 세는 버릇이 위험한 것은 오히려 변수가 적을 때다. \(\square\)
연습문제 6. 보기 3은 같은 자료에서 상관 셋을 적었다: \(-0.1176\)(\(150\)송이), \(+0.5302\)(품종 안), \(-0.7451\)(품종 평균 세 점). 7절의 첫 경고는 표본크기를 늘 함께 보라고 한다.
(1) 맨 아래 줄의 표본크기는 몇인가. \(t = r\sqrt{n-2}/\sqrt{1-r^2}\) 로 검정하면 자유도가 \(1\)이 되고, 자유도 \(1\)의 \(t\)분포는 표준 코시분포(Cauchy distribution)이므로 양쪽꼬리 \(p\) 값이 닫힌 꼴로 나온다. 그 꼴이 \(p = 1 - \frac{2}{\pi}\arctan\lvert t \rvert\) 임을 보인 뒤 \(t\)와 \(p\)를 구하라.
(2) 표본크기가 \(3\)일 때 \(p < 0.05\) 가 되려면 \(\lvert r \rvert\) 가 얼마보다 커야 하는가. 그 값과 \(0.7451\) 을 견주어, 세 줄을 유의성으로 줄 세우시오.
풀이
(1) 점이 세 개이므로 \(n = 3\) 이고 자유도는 \(n - 2 = 1\) 이다. 자유도 \(1\)의 \(t\)분포 밀도는
이므로 누적분포가 \(F(t) = \frac{1}{2} + \frac{1}{\pi}\arctan t\) 이다. 따라서 양쪽꼬리 \(p\) 값은
이다. \(r = -0.7451\) 을 넣으면 \(r^2 = 0.555174\), \(1 - r^2 = 0.444826\) 이므로
이고 \(\arctan(1.11717) = 0.840685\) 이므로
이다. \(-0.745\) 라는 꽤 센 상관인데도 \(p\) 값이 거의 \(0.5\) 다.
(2) \(\lvert r \rvert > 0.9969\) 여야 한다. \(p < 0.05\) 는 \(\arctan\lvert t \rvert > 0.95 \times \frac{\pi}{2} = 1.49226\), 곧 \(\lvert t \rvert > \tan(1.49226) = 12.7062\) 와 같다(\(=t_{0.975,\,1}\)). \(\lvert t \rvert = \lvert r \rvert/\sqrt{1 - r^2}\) 이므로
이고 \(\lvert r \rvert > 0.996917\) 이다. 세 점으로는 거의 완벽한 직선이 아니면 아무 말도 할 수 없다.
| 무엇을 재는가 | 상관 | \(n\) | \(p\) 값 |
|---|---|---|---|
| 품종 안만 | \(+0.5302\) | \(150\) | \(3.0 \times 10^{-12}\) |
| 품종 무시, \(150\)송이 | \(-0.1176\) | \(150\) | \(0.152\) |
| 품종 평균 세 점 | \(-0.7451\) | \(3\) | \(0.465\) |
유의성 순서는 \(+0.5302 \gg -0.1176 > -0.7451\) 로, \(\lvert r \rvert\) 의 순서와 완전히 거꾸로다. 세 수를 한 표에 나란히 적어 놓으면 \(-0.7451\) 이 가장 센 증거처럼 보이지만, 그 줄의 표본은 꽃 \(150\)송이가 아니라 점 세 개다. 7절의 "작은 표본의 패턴을 과잉 해석하지 말 것" 이 겨누는 줄이 바로 이것이다. \(\square\)
연습문제 7. 보기 1은 versicolor–virginica의 구별력을 두 척도로 재었다. 표준화 평균차 \(d = (\bar y_2 - \bar y_1)/s_{\text{pooled}}\) 와 최적 한칼 오류다. 두 품종의 측정값이 분산이 같은 정규분포를 따르고 송이 수가 \(50\)대 \(50\)이라면 두 척도는 서로를 결정한다.
(1) 칼을 \(t\)에 댈 때의 오분류 기대 개수를 적고, 그것을 최소로 하는 \(t\)가 두 평균의 중점임을 보이라. 그때의 오분류 개수가 \(100\,\Phi(-d/2)\) 임을 보이라.
(2) 보기 1 표의 \(d\) 네 값에 (1)을 적용해 예측 오류를 구하고 실제 한칼 오류와 나란히 놓으라. 어느 변수에서 가장 크게 어긋나는가.
(3) 네 변수 모두에서 불일치의 방향이 같다. 그 방향을 적고 까닭을 두 가지 들라.
풀이
(1) 두 품종의 측정값을 \(Y_1 \sim N(\mu_1, \sigma^2)\), \(Y_2 \sim N(\mu_2, \sigma^2)\) 라 하고 \(\mu_1 < \mu_2\) 라 하자. "\(t\) 이하면 versicolor, 넘으면 virginica" 라 판정하면 오분류 기대 개수는
이다. 미분하면
이고, \(\varphi\) 가 \(0\)에서 대칭이며 단봉이므로 \(E'(t) = 0\) 은 \(\lvert t - \mu_1 \rvert = \lvert t - \mu_2 \rvert\), 곧 \(t^{*} = (\mu_1 + \mu_2)/2\) 에서만 일어난다. 이 점에서 \(E'\) 의 부호가 음에서 양으로 바뀌므로 최소다. 넣으면 \((t^{*} - \mu_1)/\sigma = d/2\), \((t^{*} - \mu_2)/\sigma = -d/2\) 이므로
이다. 두 척도가 서로를 결정한다는 것이 이 등식이다.
(2) 보기 1 표의 \(d\)를 그대로 넣는다.
| 변수 | \(d\) | \(\Phi(-d/2)\) | 예측 오류 | 실제 한칼 오류 | 차 |
|---|---|---|---|---|---|
| sepal_length | \(1.126\) | \(0.2867\) | \(28.7\) | \(27\) | \(+1.7\) |
| sepal_width | \(0.641\) | \(0.3743\) | \(37.4\) | \(37\) | \(+0.4\) |
| petal_length | \(2.521\) | \(0.1037\) | \(10.4\) | \(7\) | \(\mathbf{+3.4}\) |
| petal_width | \(2.925\) | \(0.0718\) | \(7.2\) | \(6\) | \(+1.2\) |
가장 크게 어긋나는 것은 petal_length 로, 예측 \(10.4\)에 실제 \(7\)이다. 꽃받침 두 변수는 \(2\)송이 안쪽으로 맞는다.
(3) 네 줄 모두 예측이 실제보다 크다. 까닭은 둘이다.
- 실제 한칼은 자료에 맞추어 고른 칼이다. 보기 1의 코드는 \(0.05\) 간격 격자에서 오류를 최소로 하는 \(t\)를 찾는다. 그 오류는 같은 자료에서 다시 재면 반드시 낙관적으로 내려간다. 반면 \((1)\)의 중점은 자료를 보지 않고 정한 칼이다.
- 등분산 정규 가정이 깨진다. virginica의 표준편차를 versicolor로 나눈 비는 sepal_length가 \(1.23\), sepal_width가 \(1.03\), petal_length가 \(1.17\), petal_width가 \(1.39\) 다. 분산이 다르면 최적 칼은 중점이 아니라 퍼진 쪽으로 밀린 자리이므로 실제 오류가 \(100\,\Phi(-d/2)\) 보다 작아질 수 있다. 게다가 실제 측정값은 범위가 유한해 정규보다 꼬리가 짧아서, 모형이 예상하는 가운데 중첩이 실제보다 많다.
다만 이 둘로 petal_length가 유독 크게 어긋나는 것까지 설명되지는 않는다. 분산비가 가장 큰 변수는 petal_width(\(1.39\))이고 sepal_length(\(1.23\))가 petal_length(\(1.17\))보다 크지만, 불일치는 petal_length가 가장 크다. 차가 절대 개수로 재어지는 데서 오는 몫도 있다. \(d\)가 클수록 \(\Phi(-d/2)\) 가 작아져 격자 탐색으로 깎아낼 여지가 송이 수로 보면 몇 송이뿐이므로, 불일치의 비율로 고쳐 읽으면 petal_length \(33\%\), petal_width \(17\%\), sepal_length \(6\%\), sepal_width \(1\%\) 로 꽃잎 두 변수가 나란히 크다.
두 척도의 순서는 네 변수에서 완전히 일치한다(\(d\)가 큰 쪽이 오류가 작다). 그래서 보기 1의 결론은 어느 척도로 읽어도 같다. 그러나 크기는 가정에 달려 있어서, "\(d = 2.5\) 면 한칼 오류가 \(10\%\)" 같은 환산을 가정을 확인하지 않고 쓰면 꽃잎 변수에서 \(50\%\) 가까이 틀린다. \(\square\)
연습문제 8. 보기 3의 분해를 지렛대로 쓴다. 품종 안의 모양은 그대로 두고 세 품종 평균만 전체 평균을 중심으로 \(t\)배 늘이거나 줄인 자료를 생각하자. 품종 \(g\)에 속한 송이 \((x, y)\) 를
로 옮긴다. \(t = 1\) 이면 원래 자료다.
(1) 분해의 두 항이 \(t\)에 따라 어떻게 바뀌는지 쓰고, 위쪽 삼각형 칸에 적히는 상관을 \(t\)의 함수 \(r(t)\) 로 나타내라.
(2) \(r(t) = 0\) 이 되는 \(t > 0\) 을 보기 3 출력의 두 수 \(+0.090867\) 과 \(-0.133018\) 로 구하라.
(3) \(t \to 0^{+}\) 와 \(t \to \infty\) 의 극한을 구하고, 그 두 값이 보기 3 표의 어느 줄인지 말하라.
풀이
(1) 옮긴 뒤에도 품종 \(g\) 안에서의 편차 \(x - \bar x_g\) 는 그대로이므로 품종 안 항은 \(t\)와 무관하다. 한편 품종 평균은 \(\bar x_g - \bar x \mapsto t(\bar x_g - \bar x)\) 로 바뀌고 전체 평균은 움직이지 않으므로, 품종 사이 항은 두 좌표 모두 \(t\)배가 되어 \(t^2\) 배가 된다. 분산도 똑같이 쪼개지므로, 품종 안 분산을 \(s_{x,w}^2,\, s_{y,w}^2\), 품종 사이 분산을 \(s_{x,b}^2,\, s_{y,b}^2\), 두 공분산 항을 \(C_w,\, C_b\) 라 하면
이다. \(t = 1\) 이면 분자가 \(0.090867 - 0.133018 = -0.042151\), 분모가 \(0.8253 \times 0.4344\) 라 \(r(1) = -0.1176\) 으로 보기 3이 적은 값이 나온다.
(2) 분모는 \(t > 0\) 에서 항상 양수이므로 분자만 보면 된다.
곧 세 품종 평균의 산포를 원래의 \(82.7\%\) 로만 줄이면 칸에 적히는 상관이 정확히 \(0\) 이 된다. 더 줄이면 양수가 되고 늘리면 더 음수가 된다.
(3) 분자와 분모를 각각 최저차 항으로 보면
이다. 두 분모의 곱은 보기 3 출력에서 거꾸로 얻는다. \(C_w / (s_{x,w}s_{y,w}) = 0.5302\) 와 \(C_b/(s_{x,b}s_{y,b}) = -0.7451\) 이 바로 그 출력의 마지막 두 줄이므로 \(s_{x,w}s_{y,w} = 0.090867/0.5302 = 0.17138\), \(s_{x,b}s_{y,b} = 0.133018/0.7451 = 0.17852\) 다.
따라서 극한 둘은 보기 3 표의 둘째 줄(품종 안만, \(+0.5302\)) 과 셋째 줄(품종 평균 세 점만, \(-0.7451\)) 이다. \(t\)를 \(0\)에서 \(\infty\) 로 보내면 \(r(t)\) 가 그 두 값 사이를 연속으로 지나가고, 중간의 \(t = 1\) 에서 첫째 줄 \(-0.1176\) 을 지난다.
| \(t\) | \(0^{+}\) | \(0.5\) | \(0.82651\) | \(1\) | \(2\) | \(\infty\) |
|---|---|---|---|---|---|---|
| \(r(t)\) | \(+0.5302\) | \(+0.2625\) | \(0\) | \(-0.1176\) | \(-0.4907\) | \(-0.7451\) |
칸에 적히는 한 수는 이 곡선의 한 점일 뿐이다. 더구나 그 수의 부호마저 \(t\)가 \(0.827\) 을 넘는지로 정해지는데, \(t\)는 두 변수의 관계가 아니라 세 품종의 평균이 얼마나 벌어져 있는가, 곧 어느 품종을 얼마나 멀리서 골라 왔는가에 달린 양이다. 품종을 가까운 것끼리 모았다면 같은 꽃에서 \(r = +0.26\) 이 적혔을 것이다. \(\square\)
연습문제 9. 보기 3의 "품종 평균 세 점만" 줄은 점이 셋이라 상관이라는 말이 겨우 성립했다. 집단을 둘만 남기면 어떻게 되는가. 가중을 \(w_1,\, w_2 = 1 - w_1\) 이라 하자.
(1) 집단이 둘일 때 품종 사이 항이 \(w_1 w_2 (\bar x_1 - \bar x_2)(\bar y_1 - \bar y_2)\) 와 같음을 보이고, \(s_{x,b} = \sqrt{w_1 w_2}\,\lvert \bar x_1 - \bar x_2 \rvert\) 임도 보이라.
(2) 집단 평균을 점으로 보아 잰 상관 \(\rho_b\) 가 집단이 둘일 때 반드시 \(+1\) 이거나 \(-1\) 임을 말하고, 그 결과 "집단 안 공분산이 모두 양수인데 전체가 음수" 가 되는 조건이 무엇으로 줄어드는지 쓰라.
(3) setosa를 빼고 versicolor와 virginica만 (\(100\)송이) 남기면 sepal_length–sepal_width의 상관이 뒤집히는가. 보기 3 출력의 품종별 평균 \((5.936,\, 2.770)\), \((6.588,\, 2.974)\) 와 군내 공분산 \(+0.083480\), \(+0.091888\) 로 분해를 직접 셈하여 답하라.
풀이
(1) 전체 평균이 \(\bar x = w_1 \bar x_1 + w_2 \bar x_2\) 이므로, \(\Delta_x = \bar x_1 - \bar x_2\) 라 두면
이다. \(y\)도 같다. 품종 사이 항에 넣으면
이고 \(w_1 + w_2 = 1\) 이므로 \(w_1 w_2 \Delta_x \Delta_y\) 다. 같은 셈을 \(x\)만으로 하면
이므로 \(s_{x,b} = \sqrt{w_1 w_2}\,\lvert \Delta_x \rvert\) 다.
(2) 평면의 점 두 개는 언제나 한 직선 위에 있으므로 상관은 \(\pm 1\) 이다. (1)로 확인해도 같다.
곧 집단이 둘이면 \(\lvert \rho_b \rvert\) 가 가질 수 있는 최대값에 자동으로 못 박힌다. 그래서 뒤집힘의 조건에서 \(\rho_b\) 가 사라지고 크기 비교만 남는다. 뒤집힘은 품종 사이 항이 음수이고 그 절댓값이 품종 안 항보다 커야 하므로
이다. 곧 두 집단의 평균차가 서로 반대 방향이어야 하고, 그 벌어짐이 집단 안의 공분산보다 커야 한다.
(3) 뒤집히지 않는다. 두 품종이 각각 \(50\)송이이므로 \(w_1 = w_2 = 1/2\) 이고
이다. 두 차가 같은 부호이므로 (2)의 첫 조건이 깨진다. 실제로
이고 합이 \(+0.120936\) 으로 두 항이 모두 양수다. 실제로 \(100\)송이의 상관을 재면 \(r = +0.5539\) 로, \(150\)송이의 \(-0.1176\) 과 부호가 다르다.
그러므로 보기 3의 부호 뒤집힘은 setosa 한 품종이 혼자 만든 것이다. setosa의 평균 \((5.006,\, 3.428)\) 만 다른 둘에 비해 꽃받침이 짧고 넓은 쪽에 홀로 놓여 있어서, 세 평균을 이은 선을 오른쪽 아래로 꺾는다. 집단이 적을수록 \(\lvert \rho_b \rvert\) 는 커지고(둘이면 \(1\)), 7절의 두 번째 경고가 말하는 뒤집힘은 집단을 몇 개로 나누어 보았는가에 민감하다. \(\square\)
연습문제 10.
보기 2는 petal_width 를 지워도 손실이 작은 까닭을 "남는 변수들이 그것을 대신할 수 있는가" 로 설명하고 \(r = 0.963\) 을 근거로 들었다. 그러나 상관이 크다는 것만으로는 지워도 된다는 보장이 되지 않는다. 다음 자료로 반례를 만들라. \(n = 300\), \(U \sim N(0, 1)\), \(\varepsilon_1, \varepsilon_2 \sim N(0, 0.1^2)\) 이 서로 독립이고
이다.
(1) 이론으로 \(\operatorname{Corr}(X_1, X_2)\) 와 \(\operatorname{Corr}(X_1, Y)\) 를 구하라.
(2) 씨앗을 고정해 자료를 만들고 쌍 그림과 상관행렬을 구하라. 이어서 \(Y\)를 \(X_1\)만으로, \(X_2\)만으로, 둘 다로 설명한 결정계수(coefficient of determination)를 구하라.
(3) 보기 2의 척도가 왜 여기서 어긋나는지 한 문장으로 쓰라.
풀이
(1) \(\operatorname{Var}(X_i) = 1 + 0.01 = 1.01\), \(\operatorname{Cov}(X_1, X_2) = \operatorname{Var}(U) = 1\) 이므로
이다. 한편 \(\operatorname{Cov}(X_1, Y) = \operatorname{Var}(X_1) - \operatorname{Cov}(X_1, X_2) = 1.01 - 1 = 0.01\) 이고 \(\operatorname{Var}(Y) = \operatorname{Var}(\varepsilon_1 - \varepsilon_2) = 0.02\) 이므로
이고 대칭으로 \(\operatorname{Corr}(X_2, Y) = -0.0704\) 다. \(Y\)는 두 변수 각각과는 거의 무상관인데 둘의 차로 정의되어 있다.
(2) 표본에서도 같은 수가 나온다.
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
plt.rcParams["font.sans-serif"] = ["NanumGothic", "Apple SD Gothic Neo", "Malgun Gothic"]
plt.rcParams["font.family"] = "sans-serif"
plt.rcParams["axes.unicode_minus"] = False
rng = np.random.default_rng(0)
n = 300
U = rng.normal(0, 1, n) # 두 변수가 함께 재는 몸통
X1 = U + rng.normal(0, 0.1, n) # 서로 거의 같은 두 측정
X2 = U + rng.normal(0, 0.1, n)
Y = X1 - X2 # 쓸모 있는 신호는 '차이' 뿐
df = pd.DataFrame({"X1": X1, "X2": X2, "Y": Y})
print("쌍별 상관")
print(df.corr().round(4).to_string())
# 보기 2 의 척도: 하나를 지우면 남은 하나가 그 몫을 대신하는가
def r2(cols):
A = np.column_stack([np.ones(n)] + [df[c].values for c in cols])
beta, *_ = np.linalg.lstsq(A, Y, rcond=None)
resid = Y - A @ beta
return 1 - resid.var() / Y.var()
print(f"\nY 를 설명하는 결정계수")
for cols in (["X1"], ["X2"], ["X1", "X2"]):
print(f" {'+'.join(cols):>7s} : R^2 = {r2(cols):.4f}")
sns.pairplot(df, diag_kind="kde", plot_kws={"alpha": 0.5, "s": 12})
plt.show()
출력:
쌍별 상관
X1 X2 Y
X1 1.0000 0.9919 0.0644
X2 0.9919 1.0000 -0.0628
Y 0.0644 -0.0628 1.0000
Y 를 설명하는 결정계수
X1 : R^2 = 0.0041
X2 : R^2 = 0.0039
X1+X2 : R^2 = 1.0000
표본 상관 \(0.9919\) 와 \(\pm 0.064\) 가 (1)의 \(0.9901\) 과 \(\pm 0.0704\) 에 맞는다. 쌍 그림에서 \(X_1\)–\(X_2\) 칸은 거의 완벽한 직선인데 \(X_1\)–\(Y\) 와 \(X_2\)–\(Y\) 칸은 추세가 없는 둥근 구름이다. 그런데 두 변수를 함께 쓰면 \(R^2 = 1\) 로 \(Y\)가 완전히 결정된다.
(3) 보기 2의 척도는 "지운 변수를 남은 변수로 되살릴 수 있는가" 인데, 되살림에서 버려지는 그 작은 오차가 바로 쓸모 있는 신호일 수 있기 때문이다. \(r = 0.9919\) 는 \(X_1\)으로 \(X_2\)의 분산 가운데 \(0.9919^2 = 0.9839\), 곧 \(98.4\%\) 를 되살린다는 말이지만, 남는 \(1.6\%\) 가 여기서는 전부다. 하나를 지우면 \(R^2\) 가 \(1\) 에서 \(0.004\) 로 떨어진다.
이것이 7절의 두 번째 경고와 연습문제 3의 세 번째 항목이 말한 상황의 가장 날카로운 꼴이다. 쌍 그림의 어느 칸에도 \(Y\)가 \(X_1 - X_2\) 라는 사실이 보이지 않는다. 보기 2가 잘 끝난 것은 거기서 지운 변수가 "거의 같은 것" 이었을 뿐 아니라 구별하려던 품종이 차이가 아니라 수준에 담겨 있었기 때문이고, 그 둘째 조건은 상관행렬에 적혀 있지 않다. \(\square\)
정리하며¶
쌍 그림은 다변량 자료의 모든 쌍별 관계를 종합적으로 시각 요약해 준다. 연관의 방향, 강도, 모양은 물론 이상치와 군집도 드러낸다. seaborn.pairplot 함수로 쉽게 만들 수 있으며 집단별 색 입히기, 대각 그림 바꾸기, 상관계수 주석 달기 같은 선택지를 제공한다. 쌍 그림은 변수 수가 적당한 자료에서 가장 효과적이며, 완결된 분석을 위해서는 상관 열지도와 형식적인 통계 검정을 함께 써야 한다.
다음 장 선형회귀로 넘어간다. 두 변수의 관계를 하나의 수로 요약하는 대신 함수로 모형화하며, 설명변수가 여럿인 경우로 확장한다.