Q-Q 그림과 정규성 검정¶

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 정규 150개에 자유도 3 인 t 를 50개 섞었다. 가운데는 정규 같지만
# 꼬리만 두꺼운 자료다.
rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, size=150),
                    rng.standard_t(df=3, size=50)])

# fit=False 로 두면 probplot 이 그림을 그리지 않고 좌표만 돌려준다.
# 그 좌표로 직접 그려야 점과 직선의 모양을 마음대로 손볼 수 있다.
osm, osr = stats.probplot(x, dist="norm", sparams=(), fit=False)
b, a = np.polyfit(osm, osr, 1)

fig, ax = plt.subplots(figsize=(7, 4))
ax.scatter(osm, osr, s=15)
xx = np.linspace(osm.min(), osm.max(), 200)
ax.plot(xx, a + b * xx, linestyle="--")
ax.set_title("Q-Q Plot vs Normal with Fitted Line")
ax.set_xlabel("Theoretical quantiles (Normal)")
ax.set_ylabel("Ordered data")
plt.tight_layout()
plt.show()

# 그림에서 본 것을 검정으로 확인한다. 그림과 검정은 서로를 보완한다 —
# 검정은 "정규가 아니다"까지만 말하고, 어디가 어긋났는지는 그림이 말한다.
W, p_sw = stats.shapiro(x)
K2, p_k2 = stats.normaltest(x)
ad = stats.anderson(x, dist="norm")

print(f"Shapiro-Wilk:     W = {W:.4f}, p = {p_sw:.4g}")
print(f"D'Agostino K^2:   K2 = {K2:.4f}, p = {p_k2:.4g}")
print(f"Anderson-Darling: A^2 = {ad.statistic:.4f}")
for crit, sig in zip(ad.critical_values, ad.significance_level):
    print(f"  Critical {sig:.0f}%: {crit:.4f} -> reject if A^2 > crit")

Shapiro-Wilk:     W = 0.9716, p = 0.0004476
D'Agostino K^2:   K2 = 17.1070, p = 0.0001929
Anderson-Darling: A^2 = 0.6894
  Critical 15%: 0.5650 -> reject if A^2 > crit
  Critical 10%: 0.6440 -> reject if A^2 > crit
  Critical 5%: 0.7720 -> reject if A^2 > crit
  Critical 2%: 0.9010 -> reject if A^2 > crit
  Critical 1%: 1.0710 -> reject if A^2 > crit

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

rng = np.random.default_rng(10)
x = rng.normal(0, 1, size=200)

fig, ax = plt.subplots(figsize=(7, 4))
stats.probplot(x, dist="norm", plot=ax)
ax.set_title("Q-Q Plot: Standard Normal Sample")
plt.tight_layout()
plt.show()

W, p_sw = stats.shapiro(x)
K2, p_k2 = stats.normaltest(x)
ad = stats.anderson(x, dist="norm")

print(f"Shapiro-Wilk:     p = {p_sw:.4f}")
print(f"D'Agostino:       p = {p_k2:.4f}")
print(f"Anderson-Darling: A^2 = {ad.statistic:.4f}")

Shapiro-Wilk:     p = 0.9898
D'Agostino:       p = 0.8231
Anderson-Darling: A^2 = 0.1342

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

rng = np.random.default_rng(20)
x = rng.exponential(1.0, size=200)

fig, ax = plt.subplots(figsize=(7, 4))
stats.probplot(x, dist="norm", plot=ax)
ax.set_title("Q-Q Plot: Exponential(1) Data")
plt.tight_layout()
plt.show()

W, p_sw = stats.shapiro(x)
K2, p_k2 = stats.normaltest(x)
print(f"Shapiro-Wilk: p = {p_sw:.4g}")
print(f"D'Agostino:   p = {p_k2:.4g}")

Shapiro-Wilk: p = 4.113e-14
D'Agostino:   p = 5.462e-14

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, 150), rng.standard_t(3, 50)])

ad = stats.anderson(x, dist="norm")
rejected_levels = [sl for cv, sl in
                   zip(ad.critical_values, ad.significance_level)
                   if ad.statistic > cv]

if rejected_levels:
    print(f"A^2 = {ad.statistic:.4f}")
    print(f"Reject at significance levels: {rejected_levels}")
    print(f"Smallest rejection level: {min(rejected_levels)}%")
else:
    print("Fail to reject at all tabulated significance levels.")

A^2 = 0.6894
Reject at significance levels: [15.0, 10.0]
Smallest rejection level: 10.0%