상관 타원 그림¶

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.collections import EllipseCollection
from matplotlib.colors import Normalize


def plot_corr_ellipses(data, figsize=None, **kwargs):
    """상관행렬을 타원 격자로 그린다.

    칸마다 타원 하나를 놓는다. 타원이 납작할수록 상관이 강하고, 원에
    가까울수록 약하다. 기울기의 방향이 부호를 나타낸다. 색과 모양이
    같은 정보를 두 번 실어 주므로 흑백으로 인쇄해도 읽힌다.
    """
    M = np.array(data)
    fig, ax = plt.subplots(1, 1, figsize=figsize,
                           subplot_kw={'aspect': 'equal'})
    ax.set_xlim(-0.5, M.shape[1] - 0.5)
    ax.set_ylim(-0.5, M.shape[0] - 0.5)
    ax.invert_yaxis()

    # 칸의 중심 좌표. [::-1] 로 (행, 열)을 (x, y) 순서로 뒤집는다.
    xy = np.indices(M.shape)[::-1].reshape(2, -1).T

    # 너비는 고정하고 높이만 |r| 에 따라 줄인다. r=1 이면 선분처럼 납작해지고
    # r=0 이면 원이 된다. 기울기는 부호를 따라 ±45도로 놓는다.

    w = np.ones_like(M).ravel() + 0.01
    h = 1 - np.abs(M).ravel() - 0.01
    a = 45 * np.sign(M).ravel()

    ec = EllipseCollection(
        widths=w, heights=h, angles=a,
        units='x', offsets=xy,
        norm=Normalize(vmin=-1, vmax=1),
        offset_transform=ax.transData,
        array=M.ravel(),
        **kwargs
    )
    ax.add_collection(ec)

    if isinstance(data, pd.DataFrame):
        ax.set_xticks(np.arange(M.shape[1]))
        ax.set_xticklabels(data.columns, rotation=90)
        ax.set_yticks(np.arange(M.shape[0]))
        ax.set_yticklabels(data.index)

    return ec, ax

import numpy as np

print("  |r|     코드의 비    참 타원     h = 0.99-|r|")
for r in (0.0, 0.3, 0.5, 0.8, 0.97, 1.0):
    h = 0.99 - r
    enc = 1.01 / abs(h)
    tru = np.sqrt((1 + r) / (1 - r)) if r < 1 else np.inf
    print(f"{r:5.2f}   {enc:10.3f}  {tru:9.3f}      {h:+.3f}")

  |r|     코드의 비    참 타원     h = 0.99-|r|
 0.00        1.020      1.000      +0.990
 0.30        1.464      1.363      +0.690
 0.50        2.061      1.732      +0.490
 0.80        5.316      3.000      +0.190
 0.97       50.500      8.103      +0.020
 1.00      101.000        inf      -0.010

np.random.seed(42)
n = 200

# 업종별 수익률을 흉내 낸 자료다. 공통 요인 z1 을 섞는 비율로 상관을 만든다.
z1 = np.random.randn(n)
z2 = np.random.randn(n)

x1 = z1
x2 = 0.8 * z1 + 0.2 * z2
x3 = -0.6 * z1 + np.random.randn(n) * 0.7
x4 = 0.3 * z1 + 0.7 * z2
x5 = np.random.randn(n)

df = pd.DataFrame(
    np.column_stack([x1, x2, x3, x4, x5]),
    columns=['Tech', 'Finance', 'Utilities', 'Energy', 'Commodity']
)

corr_matrix = df.corr()

ec, ax = plot_corr_ellipses(corr_matrix, figsize=(6, 5), cmap='bwr_r')
plt.colorbar(ec, ax=ax, label='Correlation Coefficient')
ax.set_title('Correlation Matrix: Ellipse Visualization')
plt.tight_layout()
plt.show()

import numpy as np
import pandas as pd

names = ['Tech', 'Finance', 'Utilities', 'Energy', 'Commodity']

# (1) 계수행렬로부터 모상관을 닫힌 꼴로.  행 = 변수, 열 = (z1, z2, e, x5)
A = np.array([[ 1.0, 0.0, 0.0, 0.0],
              [ 0.8, 0.2, 0.0, 0.0],
              [-0.6, 0.0, 0.7, 0.0],
              [ 0.3, 0.7, 0.0, 0.0],
              [ 0.0, 0.0, 0.0, 1.0]])
S = A @ A.T
d = np.sqrt(np.diag(S))
R = S / np.outer(d, d)
print("분산", np.round(np.diag(S), 4))
print("모상관\n", pd.DataFrame(np.round(R, 4), index=names, columns=names))

# (2) 표본과 견주기
np.random.seed(42)
n = 200
z1, z2 = np.random.randn(n), np.random.randn(n)
cols = [z1, 0.8 * z1 + 0.2 * z2, -0.6 * z1 + np.random.randn(n) * 0.7,
        0.3 * z1 + 0.7 * z2, np.random.randn(n)]
C = pd.DataFrame(np.column_stack(cols), columns=names).corr().values

print("\n쌍                     표본      이론       차      SE   차/SE")
for i in range(5):
    for j in range(i + 1, 5):
        s, th = C[i, j], R[i, j]
        se = (1 - th**2) / np.sqrt(n)
        print(f"{names[i]:9s}-{names[j]:9s} {s:+.4f}  {th:+.4f}  {s - th:+.4f}"
              f"  {se:.4f}  {(s - th) / se:+.2f}")

# (3) 본문의 두 수와 견주기
print(f"\nTech-Finance   본문 0.8   이론 {R[0, 1]:.4f}   표본 {C[0, 1]:.4f}")
print(f"Tech-Utilities 본문 -0.6  이론 {R[0, 2]:.4f}   표본 {C[0, 2]:.4f}")
print(f"0.8 / sqrt(0.68) = {0.8 / np.sqrt(0.68):.4f}")
print(f"그림의 Tech-Finance 가로세로비 {1.01 / (0.99 - C[0, 1]):.1f}"
      f"   (|r|=0.8 이라면 {1.01 / (0.99 - 0.8):.1f})")

분산 [1.   0.68 0.85 0.58 1.  ]
모상관
              Tech  Finance  Utilities  Energy  Commodity
Tech       1.0000   0.9701    -0.6508  0.3939        0.0
Finance    0.9701   1.0000    -0.6314  0.6051        0.0
Utilities -0.6508  -0.6314     1.0000 -0.2564        0.0
Energy     0.3939   0.6051    -0.2564  1.0000        0.0
Commodity  0.0000   0.0000     0.0000  0.0000        1.0

쌍                     표본      이론       차      SE   차/SE
Tech     -Finance   +0.9684  +0.9701  -0.0017  0.0042  -0.41
Tech     -Utilities -0.6870  -0.6508  -0.0363  0.0408  -0.89
Tech     -Energy    +0.4484  +0.3939  +0.0545  0.0597  +0.91
Tech     -Commodity +0.0654  +0.0000  +0.0654  0.0707  +0.92
Finance  -Utilities -0.6690  -0.6314  -0.0376  0.0425  -0.89
Finance  -Energy    +0.6570  +0.6051  +0.0519  0.0448  +1.16
Finance  -Commodity +0.0364  +0.0000  +0.0364  0.0707  +0.51
Utilities-Energy    -0.3212  -0.2564  -0.0648  0.0661  -0.98
Utilities-Commodity +0.0392  +0.0000  +0.0392  0.0707  +0.55
Energy   -Commodity -0.0673  +0.0000  -0.0673  0.0707  -0.95

Tech-Finance   본문 0.8   이론 0.9701   표본 0.9684
Tech-Utilities 본문 -0.6  이론 -0.6508   표본 -0.6870
0.8 / sqrt(0.68) = 0.9701
그림의 Tech-Finance 가로세로비 46.9   (|r|=0.8 이라면 5.3)

import numpy as np
import pandas as pd

corr = np.array([
    [1.0,  0.9, -0.7,  0.0],
    [0.9,  1.0, -0.5,  0.3],
    [-0.7, -0.5,  1.0, -0.2],
    [0.0,  0.3, -0.2,  1.0]
])
df_corr = pd.DataFrame(corr, columns=['A', 'B', 'C', 'D'],
                       index=['A', 'B', 'C', 'D'])

ec, ax = plot_corr_ellipses(df_corr, figsize=(5, 5), cmap='bwr_r')
ax.set_title('Hand-crafted Correlation Matrix')
import matplotlib.pyplot as plt
plt.colorbar(ec, ax=ax)
plt.tight_layout()
plt.show()

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.collections import EllipseCollection
from matplotlib.colors import Normalize

def plot_corr_ellipses_annotated(data, figsize=None, **kwargs):
    M = np.array(data)
    fig, ax = plt.subplots(1, 1, figsize=figsize,
                           subplot_kw={'aspect': 'equal'})
    ax.set_xlim(-0.5, M.shape[1] - 0.5)
    ax.set_ylim(-0.5, M.shape[0] - 0.5)
    ax.invert_yaxis()

    xy = np.indices(M.shape)[::-1].reshape(2, -1).T
    w = np.ones_like(M).ravel() + 0.01
    h = 1 - np.abs(M).ravel() - 0.01
    a = 45 * np.sign(M).ravel()

    ec = EllipseCollection(
        widths=w, heights=h, angles=a,
        units='x', offsets=xy,
        norm=Normalize(vmin=-1, vmax=1),
        offset_transform=ax.transData,
        array=M.ravel(), **kwargs
    )
    ax.add_collection(ec)

    # 칸마다 숫자를 적는다
    for i in range(M.shape[0]):
        for j in range(M.shape[1]):
            ax.text(j, i, f'{M[i, j]:.2f}',
                    ha='center', va='center', fontsize=8)

    if isinstance(data, pd.DataFrame):
        ax.set_xticks(np.arange(M.shape[1]))
        ax.set_xticklabels(data.columns, rotation=90)
        ax.set_yticks(np.arange(M.shape[0]))
        ax.set_yticklabels(data.index)

    return ec, ax

# 확인
np.random.seed(42)
data = np.random.randn(200, 5)
df = pd.DataFrame(data, columns=[f'V{i}' for i in range(1, 6)])
ec, ax = plot_corr_ellipses_annotated(df.corr(), figsize=(6, 6),
                                      cmap='bwr_r')
plt.colorbar(ec, ax=ax)
plt.tight_layout()
plt.show()

def plot_lower_triangle_ellipses(data, figsize=None, **kwargs):
    M = np.array(data)
    k = M.shape[0]
    fig, ax = plt.subplots(figsize=figsize,
                           subplot_kw={'aspect': 'equal'})
    ax.set_xlim(-0.5, k - 0.5)
    ax.set_ylim(-0.5, k - 0.5)
    ax.invert_yaxis()

    # 아래쪽 삼각형만 — 상관행렬은 대칭이라 위쪽은 되풀이다
    for i in range(k):
        for j in range(i):
            r = M[i, j]
            from matplotlib.patches import Ellipse
            e = Ellipse(xy=(j, i),
                        width=1.01,
                        height=1 - abs(r) - 0.01,
                        angle=45 * np.sign(r))
            e.set_facecolor(plt.cm.bwr_r((r + 1) / 2))
            ax.add_patch(e)

    if isinstance(data, pd.DataFrame):
        ax.set_xticks(range(k))
        ax.set_xticklabels(data.columns, rotation=90)
        ax.set_yticks(range(k))
        ax.set_yticklabels(data.index)
    plt.tight_layout()
    return ax

import numpy as np
from scipy import stats

c = stats.chi2.ppf(0.95, 2)
print(f"95% 타원의 임계값 c = χ²(2, 0.95) = {c:.4f}\n")
print(f"{'r':>6s} {'λ1':>8s} {'λ2':>8s} {'축 비율':>9s} "
      f"{'면적':>10s} {'독립 대비':>10s}")
for r in [0.0, 0.3, 0.5, 0.7, 0.9, 0.99]:
    l1, l2 = 1 + abs(r), 1 - abs(r)
    print(f"{r:6.2f} {l1:8.3f} {l2:8.3f} {np.sqrt(l1 / l2):9.3f} "
          f"{np.pi * c * np.sqrt(l1 * l2):10.4f} {np.sqrt(l1 * l2):10.4f}")

95% 타원의 임계값 c = χ²(2, 0.95) = 5.9915

     r       λ1       λ2      축 비율         면적      독립 대비
  0.00    1.000    1.000     1.000    18.8227     1.0000
  0.30    1.300    0.700     1.363    17.9558     0.9539
  0.50    1.500    0.500     1.732    16.3010     0.8660
  0.70    1.700    0.300     2.380    13.4421     0.7141
  0.90    1.900    0.100     4.359     8.2046     0.4359
  0.99    1.990    0.010    14.107     2.6553     0.1411

r > 0 :  ╱  방향으로 납작
r < 0 :  ╲  방향으로 납작
r = 0 :  ○  원

import warnings
warnings.filterwarnings("ignore")

import numpy as np
from scipy import stats

rng = np.random.default_rng(28003)
B = 200_000
c = stats.chi2.ppf(0.95, 2)
zb = stats.norm.ppf(1 - 0.025 / 2)
print(f"{'r':>5s} {'타원':>9s} {'개별 95% 사각형':>15s} {'본페로니 사각형':>15s}")
for r in [0.0, 0.5, 0.9]:
    z = rng.standard_normal((B, 2))
    x = z[:, 0]
    y = r * z[:, 0] + np.sqrt(1 - r**2) * z[:, 1]
    d = np.column_stack([x, y])
    R = np.array([[1, r], [r, 1]])
    m2 = np.einsum('ij,jk,ik->i', d, np.linalg.inv(R), d)
    print(f"{r:5.1f} {(m2 <= c).mean():9.4f} "
          f"{((np.abs(x) < 1.96) & (np.abs(y) < 1.96)).mean():15.4f} "
          f"{((np.abs(x) < zb) & (np.abs(y) < zb)).mean():15.4f}")

    r        타원      개별 95% 사각형        본페로니 사각형
  0.0    0.9492          0.9022          0.9502
  0.5    0.9503          0.9093          0.9540
  0.9    0.9501          0.9300          0.9641

r = 0  : 두 구간이 독립 → 본페로니가 거의 정확 (0.9502)
r = 0.9: 두 구간이 거의 같은 정보 → 본페로니가 과보정 (0.9641)

r = 0.9 인 경우

  점 (1.8, -1.8) 은
    개별 구간으로는 둘 다 안에 있다  → "이상 없음"
    타원 밖에 멀리 있다              → "매우 이상함"

  두 변수가 같이 움직여야 하는데
  반대로 움직였기 때문이다

정확한 쪽 →                           → 부정확한 쪽
1. 공통 축 위의 위치
2. 공통 척도 없는 위치
3. 길이 · 방향 · 각도      ← 타원 그림
4. 면적
5. 부피 · 곡률
6. 명도 · 색의 채도        ← 열지도

흑백 인쇄에서
  열지도: 빨강과 파랑이 비슷한 회색이 된다 → 부호 소실
  타원:   기울기는 그대로 보인다           → 부호 유지

타원의 매개변수 (중심 (i,j) 의 칸에)
  폭   w = 2 · s · √(1+|r|) / √2
  높이 h = 2 · s · √(1-|r|) / √2
  각도 θ = 45° if r > 0 else -45°
  s 는 칸 크기의 절반 정도

matplotlib.patches.Ellipse((j, i), w, h, angle=θ)

import warnings
warnings.filterwarnings("ignore")

import numpy as np
from scipy import stats

rng = np.random.default_rng(28004)
print("D² 의 분포가 χ²(p) 인가")
print(f"{'p':>4s} {'평균 D²':>9s} {'이론 p':>8s} {'95 분위':>9s} {'χ²(p,0.95)':>11s}")
for p in [2, 5, 10]:
    A = rng.standard_normal((p, p))
    S = A @ A.T + p * np.eye(p)
    X = rng.multivariate_normal(np.zeros(p), S, size=200_000)
    D2 = np.einsum('ij,jk,ik->i', X, np.linalg.inv(S), X)
    print(f"{p:4d} {D2.mean():9.4f} {p:8d} {np.quantile(D2, 0.95):9.4f} "
          f"{stats.chi2.ppf(0.95, p):11.4f}")

print("\n### 변수별 점검 대 마할라노비스 점검")
r = 0.9
S = np.array([[1, r], [r, 1]])
X = rng.multivariate_normal([0, 0], S, size=200_000)
D2 = np.einsum('ij,jk,ik->i', X, np.linalg.inv(S), X)
out_m = D2 > stats.chi2.ppf(0.95, 2)
out_u = (np.abs(X[:, 0]) > 1.96) | (np.abs(X[:, 1]) > 1.96)
print(f"  정상 자료에서 (r={r})")
print(f"    마할라노비스로 이상 판정: {out_m.mean():.4f}")
print(f"    변수별 |z|>1.96 로 판정:  {out_u.mean():.4f}")
print(f"    둘 다 이상:               {(out_m & out_u).mean():.4f}")
print(f"    마할라노비스만 이상:      {(out_m & ~out_u).mean():.4f}")
print(f"    변수별만 이상:            {(~out_m & out_u).mean():.4f}")

probe = np.array([[1.8, -1.8], [2.4, 2.4], [3.0, 0.0]])
print(f"\n  특정 점의 판정 (r={r})")
for pt in probe:
    d2 = pt @ np.linalg.inv(S) @ pt
    print(f"    ({pt[0]:+.1f}, {pt[1]:+.1f}): D²={d2:8.3f} → "
          f"{'타원 밖' if d2 > stats.chi2.ppf(0.95, 2) else '타원 안':>6s},  "
          f"변수별 → {'밖' if np.any(np.abs(pt) > 1.96) else '안'}")

D² 의 분포가 χ²(p) 인가
   p     평균 D²     이론 p     95 분위  χ²(p,0.95)
   2    2.0029        2    5.9949      5.9915
   5    4.9953        5   11.0777     11.0705
  10   10.0214       10   18.3520     18.3070

### 변수별 점검 대 마할라노비스 점검
  정상 자료에서 (r=0.9)
    마할라노비스로 이상 판정: 0.0491
    변수별 |z|>1.96 로 판정:  0.0701
    둘 다 이상:               0.0316
    마할라노비스만 이상:      0.0176
    변수별만 이상:            0.0386

  특정 점의 판정 (r=0.9)
    (+1.8, -1.8): D²=  64.800 →   타원 밖,  변수별 → 안
    (+2.4, +2.4): D²=   6.063 →   타원 밖,  변수별 → 밖
    (+3.0, +0.0): D²=  47.368 →   타원 밖,  변수별 → 밖

from sklearn.covariance import MinCovDet
mcd = MinCovDet(support_fraction=0.75).fit(X)
d2 = mcd.mahalanobis(X)          # 강건한 D²

□ 대각선(r=1)은 가리거나 선분으로 표시
□ 위쪽 삼각형을 가려 중복 제거
□ 색을 함께 써서 중복 부호화
□ 변수가 15개 이하면 숫자도 병기
□ 타원의 전체 크기는 고정 (다른 정보를 담지 않는다)
□ 범례에 "기울기 = 부호, 납작함 = 크기"를 명시