상자그림으로 보는 분포의 모양¶

import numpy as np
import matplotlib.pyplot as plt

# 치우친 자료에서는 중앙값이 상자 가운데가 아니라 한쪽으로 쏠리고,
# 한쪽 수염만 길어진다. showmeans=True 로 평균을 함께 찍으면, 평균이
# 중앙값보다 긴 꼬리 쪽으로 끌려간 것도 눈에 보인다.
rng = np.random.default_rng(3)
x_skew = rng.lognormal(0.0, 0.7, size=400)

fig, ax = plt.subplots(figsize=(7, 4))
ax.boxplot(x_skew, showmeans=True)
ax.set_title("Boxplot: skewed distribution (lognormal)")
ax.set_ylabel("Values")
plt.tight_layout()
plt.show()

import numpy as np
from scipy import stats

rng = np.random.default_rng(3)
x = rng.lognormal(0.0, 0.7, size=400)

q1, med, q3 = np.percentile(x, [25, 50, 75])
iqr = q3 - q1
lo, hi = q1 - 1.5 * iqr, q3 + 1.5 * iqr
ins = x[(x >= lo) & (x <= hi)]
n_lo, n_hi = int((x < lo).sum()), int((x > hi).sum())

print(f"표본: Q1 = {q1:.4f}  중앙값 = {med:.4f}  Q3 = {q3:.4f}  IQR = {iqr:.4f}  평균 = {x.mean():.4f}")
print(f"표본: 울타리 lo = {lo:.4f}  hi = {hi:.4f}")
print(f"표본: 상자안비 = {(q3 - med) / (med - q1):.4f}   수염비 = {(ins.max() - q3) / (q1 - ins.min()):.4f}")
print(f"표본: 이상점 아래 {n_lo}개, 위 {n_hi}개, 합 {n_lo + n_hi}개 = {100 * (n_lo + n_hi) / len(x):.2f}%")
print(f"표본: G1 = {stats.skew(x, bias=False):.4f}  G2 = {stats.kurtosis(x, bias=False):.4f}")
print(f"표본: g1 = {stats.skew(x):.4f}  g2 = {stats.kurtosis(x):.4f}")

# Lognormal(0, s^2) 의 분위수는 exp(s * z_p) 이라 전부 닫힌 꼴이다.
s = 0.7
z = stats.norm.ppf(0.75)
Q1, MED, Q3 = np.exp(-s * z), 1.0, np.exp(s * z)
IQR = Q3 - Q1
LO, HI = Q1 - 1.5 * IQR, Q3 + 1.5 * IQR
p_hi = stats.norm.sf(np.log(HI) / s)
w = np.exp(s ** 2)
print(f"이론: Q1 = {Q1:.4f}  중앙값 = {MED:.4f}  Q3 = {Q3:.4f}  IQR = {IQR:.4f}")
print(f"이론: 울타리 lo = {LO:.4f}  hi = {HI:.4f}   (lo < 0 이므로 아래 이상점은 불가능)")
print(f"이론: 상자안비 = {(Q3 - MED) / (MED - Q1):.4f}")
print(f"이론: 위 이상점 비율 = {p_hi:.6f} = {100 * p_hi:.4f}%  ->  400개 중 {400 * p_hi:.2f}개")
print(f"이론: 왜도 = (w+2)sqrt(w-1) = {(w + 2) * np.sqrt(w - 1):.4f}   (w = exp(0.49) = {w:.4f})")
print(f"이론: 초과첨도 = w^4+2w^3+3w^2-6 = {w ** 4 + 2 * w ** 3 + 3 * w ** 2 - 6:.4f}")

표본: Q1 = 0.6474  중앙값 = 1.0178  Q3 = 1.6649  IQR = 1.0175  평균 = 1.3148
표본: 울타리 lo = -0.8789  hi = 3.1911
표본: 상자안비 = 1.7468   수염비 = 2.7742
표본: 이상점 아래 0개, 위 21개, 합 21개 = 5.25%
표본: G1 = 3.0588  G2 = 15.8860
표본: g1 = 3.0473  g2 = 15.6731
이론: Q1 = 0.6237  중앙값 = 1.0000  Q3 = 1.6034  IQR = 0.9798
이론: 울타리 lo = -0.8460  hi = 3.0731   (lo < 0 이므로 아래 이상점은 불가능)
이론: 상자안비 = 1.6034
이론: 위 이상점 비율 = 0.054376 = 5.4376%  ->  400개 중 21.75개
이론: 왜도 = (w+2)sqrt(w-1) = 2.8884   (w = exp(0.49) = 1.6323)
이론: 초과첨도 = w^4+2w^3+3w^2-6 = 17.7912

import numpy as np
import matplotlib.pyplot as plt

# 꼬리가 두꺼운 자료는 대칭이므로 상자는 반듯하다. 대신 수염 밖의 점이
# 유난히 많아진다. 정규자료라면 400개 중 서너 개가 보통이다.
rng = np.random.default_rng(3)
x_t = rng.standard_t(df=3, size=400)

fig, ax = plt.subplots(figsize=(7, 4))
ax.boxplot(x_t, showmeans=True)
ax.set_title("Boxplot: heavy tails (t, df=3)")
ax.set_ylabel("Values")
plt.tight_layout()
plt.show()

import numpy as np
from scipy import stats

rng = np.random.default_rng(3)
y = rng.standard_t(df=3, size=400)

q1, med, q3 = np.percentile(y, [25, 50, 75])
iqr = q3 - q1
lo, hi = q1 - 1.5 * iqr, q3 + 1.5 * iqr
ins = y[(y >= lo) & (y <= hi)]
n_lo, n_hi = int((y < lo).sum()), int((y > hi).sum())

print(f"표본: Q1 = {q1:.4f}  중앙값 = {med:.4f}  Q3 = {q3:.4f}  IQR = {iqr:.4f}")
print(f"표본: 상자안비 = {(q3 - med) / (med - q1):.4f}   수염 아래 {q1 - ins.min():.4f}  위 {ins.max() - q3:.4f}")
print(f"표본: 이상점 아래 {n_lo}개, 위 {n_hi}개, 합 {n_lo + n_hi}개 = {100 * (n_lo + n_hi) / len(y):.2f}%")
print(f"표본: 최소 {y.min():.4f}  최대 {y.max():.4f}")
print(f"표본: g1 = {stats.skew(y):.4f}  g2 = {stats.kurtosis(y):.4f}")

# t_3 는 0 에서 대칭이라 Q3 = -Q1 이고 울타리가 4*Q3 에 놓인다 (정규와 같은 꼴).
t3 = stats.t(3)
Q3 = t3.ppf(0.75)
IQR = 2 * Q3
FENCE = 4 * Q3
p_out = 2 * t3.sf(FENCE)
print(f"이론: Q3 = {Q3:.4f}  IQR = {IQR:.4f}  울타리 = ±{FENCE:.4f}")
print(f"이론: 이상점 비율 = {p_out:.6f} = {100 * p_out:.4f}%  ->  400개 중 {400 * p_out:.2f}개")
print(f"이론: 정규 기준 0.6977% -> 400개 중 {400 * 0.0069770:.2f}개   (비 {p_out / 0.0069770:.2f}배)")
print(f"이론: t3 의 표준편차 = sqrt(3) = {np.sqrt(3):.4f}")
print(f"이론: IQR 로 추정한 sigma = IQR/1.34898 = {IQR / 1.34898:.4f}  (참값의 {100 * IQR / 1.34898 / np.sqrt(3):.1f}%)")

# 대수정규(보기 1)의 이론 이상점 비율과 견준다.
s = 0.7
z = stats.norm.ppf(0.75)
QL1, QL3 = np.exp(-s * z), np.exp(s * z)
HL = QL3 + 1.5 * (QL3 - QL1)
print(f"견주기: 대수정규 이론 이상점 {100 * stats.norm.sf(np.log(HL) / s):.4f}%"
      f"  vs  t3 이론 이상점 {100 * p_out:.4f}%")

표본: Q1 = -0.7977  중앙값 = 0.0061  Q3 = 0.7969  IQR = 1.5946
표본: 상자안비 = 0.9838   수염 아래 1.9700  위 2.2926
표본: 이상점 아래 11개, 위 7개, 합 18개 = 4.50%
표본: 최소 -8.2714  최대 9.0930
표본: g1 = -0.2972  g2 = 7.3025
이론: Q3 = 0.7649  IQR = 1.5298  울타리 = ±3.0596
이론: 이상점 비율 = 0.055012 = 5.5012%  ->  400개 중 22.00개
이론: 정규 기준 0.6977% -> 400개 중 2.79개   (비 7.88배)
이론: t3 의 표준편차 = sqrt(3) = 1.7321
이론: IQR 로 추정한 sigma = IQR/1.34898 = 1.1340  (참값의 65.5%)
견주기: 대수정규 이론 이상점 5.4376%  vs  t3 이론 이상점 5.5012%

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
x = rng.normal(0, 1, size=500)

q1, q3 = np.percentile(x, [25, 75])
iqr = q3 - q1
outliers = np.sum((x < q1 - 1.5 * iqr) | (x > q3 + 1.5 * iqr))
print(f"Outliers: {outliers} (expected ~3.5)")

fig, ax = plt.subplots(figsize=(5, 4))
ax.boxplot(x, showmeans=True)
ax.set_title("Boxplot: N(0,1), n=500")
plt.tight_layout()
plt.show()

Outliers: 6 (expected ~3.5)

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(1)
normal = rng.normal(0, 1, size=400)
lognorm = rng.lognormal(0, 0.5, size=400)
t5 = rng.standard_t(df=5, size=400)

fig, ax = plt.subplots(figsize=(8, 4))
# 상자 이름을 boxplot에 직접 주는 인자는 matplotlib 버전에 따라 다르다
# (3.9 미만은 labels=, 3.9 이상은 tick_labels=). 축에 직접 주면 버전과 무관하다.
ax.boxplot([normal, lognorm, t5], showmeans=True)
ax.set_xticklabels(["N(0,1)", "Lognormal", "t(5)"])
ax.set_title("Side-by-Side Boxplots")
ax.set_ylabel("Values")
plt.tight_layout()
plt.show()

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

def annotated_boxplot(data, title="Boxplot"):
    g1 = stats.skew(data, bias=False)
    g2 = stats.kurtosis(data, fisher=True, bias=False)

    fig, ax = plt.subplots(figsize=(6, 4))
    ax.boxplot(data, showmeans=True)
    ax.set_title(title)
    ax.set_ylabel("Values")
    ax.text(0.02, 0.95,
            f"Skewness: {g1:.3f}\nExcess kurtosis: {g2:.3f}",
            transform=ax.transAxes, verticalalignment='top',
            fontsize=10, bbox=dict(boxstyle='round', alpha=0.1))
    plt.tight_layout()
    plt.show()
    return g1, g2

rng = np.random.default_rng(42)
x = rng.lognormal(0, 0.7, size=400)
g1, g2 = annotated_boxplot(x, title="Lognormal(0, 0.7)")
print(f"Skewness = {g1:.3f}, Excess kurtosis = {g2:.3f}")

Skewness = 2.660, Excess kurtosis = 11.104