Shapiro-Wilk 검정¶

import numpy as np
from scipy import stats

# 정규 240개에 로그정규 60개를 섞은 자료다.
rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, size=240),
                    rng.lognormal(0, 0.6, size=60)])

W, p = stats.shapiro(x)

# 검정은 "정규가 아니다"까지만 말한다. 무엇이 문제인지는 왜도와 첨도가
# 알려 준다. 그래서 검정 결과와 늘 함께 본다.
g1 = stats.skew(x, bias=False)
g2 = stats.kurtosis(x, fisher=True, bias=False)

print(f"Sample size n = {x.size}")
print(f"Shapiro-Wilk: W = {W:.4f}, p-value = {p:.4g}")
print(f"Skewness g1 = {g1:.4f}, Excess kurtosis g2 = {g2:.4f}")
if p < 0.05:
    print("=> Reject normality at alpha = 0.05.")
else:
    print("=> Fail to reject normality at alpha = 0.05.")

Sample size n = 300
Shapiro-Wilk: W = 0.9750, p-value = 4.27e-05
Skewness g1 = 0.3707, Excess kurtosis g2 = 1.8565
=> Reject normality at alpha = 0.05.

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
x = np.concatenate([rng.normal(0, 1, size=240),
                    rng.lognormal(0, 0.6, size=60)])
n = x.size
W, p = stats.shapiro(x)
print(f"W = {W:.6f},  p = {p:.4g}")

# 기각의 범인은 치우침인가 꼬리인가 — 두 성분을 따로 본다.
z1, p1 = stats.skewtest(x)
z2, p2 = stats.kurtosistest(x)
print(f"\n왜도 검정   Z1 = {z1:.4f}, p = {p1:.4g}")
print(f"첨도 검정   Z2 = {z2:.4f}, p = {p2:.4g}")
print(f"비보정 g1 = {stats.skew(x):.4f}, g2 = {stats.kurtosis(x):.4f}")
print(f"보정   G1 = {stats.skew(x, bias=False):.4f}, G2 = {stats.kurtosis(x, bias=False):.4f}")

# n = 300 에서 W 의 귀무분포
rng2 = np.random.default_rng(9)
R = 20_000
Wn = np.array([stats.shapiro(rng2.standard_normal(n))[0] for _ in range(R)])
q = np.percentile(Wn, [0.1, 1, 5, 50])
print(f"\nn = {n} 에서 W 의 귀무분포 (R = {R})")
print(f"  0.1 백분위 {q[0]:.5f},  1 백분위 {q[1]:.5f},  5 백분위 {q[2]:.5f},  중앙값 {q[3]:.5f}")
print(f"  관측 W = {W:.5f} 보다 작은 모의값의 비율 = {np.mean(Wn < W):.5f}  ({np.sum(Wn < W)}/{R})")
print(f"  귀무분포의 최솟값 = {Wn.min():.5f}")
print(f"  5 백분위와 1 의 거리 = {1 - q[2]:.5f},  관측 W 와 1 의 거리 = {1 - W:.5f}"
      f"  (비 {(1 - W) / (1 - q[2]):.2f})")

W = 0.974974,  p = 4.27e-05

왜도 검정   Z1 = 2.5915, p = 0.009556
첨도 검정   Z2 = 3.9365, p = 8.266e-05
비보정 g1 = 0.3688, g2 = 1.8058
보정   G1 = 0.3707, G2 = 1.8565

n = 300 에서 W 의 귀무분포 (R = 20000)
  0.1 백분위 0.98279,  1 백분위 0.98713,  5 백분위 0.99052,  중앙값 0.99528
  관측 W = 0.97497 보다 작은 모의값의 비율 = 0.00000  (0/20000)
  귀무분포의 최솟값 = 0.97602
  5 백분위와 1 의 거리 = 0.00948,  관측 W 와 1 의 거리 = 0.02503  (비 2.64)

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
W_values, p_values = [], []
for trial in range(20):
    x = rng.normal(0, 1, size=100)
    W, p = stats.shapiro(x)
    W_values.append(W)
    p_values.append(p)

print(f"W range: [{min(W_values):.4f}, {max(W_values):.4f}]")
print(f"Mean W: {np.mean(W_values):.4f}")
print(f"Rejections at 0.05: {sum(p < 0.05 for p in p_values)} / 20")

W range: [0.9714, 0.9950]
Mean W: 0.9847
Rejections at 0.05: 3 / 20

import numpy as np
from scipy import stats

rng = np.random.default_rng(42)
distributions = {
    "N(0,1)": rng.normal(0, 1, 50),
    "t(5)": rng.standard_t(5, 50),
    "Lognormal(0,0.5)": rng.lognormal(0, 0.5, 50),
    "Uniform(0,1)": rng.uniform(0, 1, 50),
}

for name, x in distributions.items():
    W, p = stats.shapiro(x)
    print(f"{name:>20}: W = {W:.4f}, p = {p:.4g}")

              N(0,1): W = 0.9841, p = 0.7301
                t(5): W = 0.9769, p = 0.4281
    Lognormal(0,0.5): W = 0.7623, p = 1.316e-07
        Uniform(0,1): W = 0.9180, p = 0.001999

import numpy as np
from scipy import stats

rng = np.random.default_rng(0)
n, reps, alpha = 50, 5000, 0.05
rej_sw, rej_ks = 0, 0

for _ in range(reps):
    x = rng.standard_t(df=5, size=n)
    _, p_sw = stats.shapiro(x)
    _, p_ks = stats.kstest(x, 'norm', args=(0, 1))
    if p_sw < alpha:
        rej_sw += 1
    if p_ks < alpha:
        rej_ks += 1

print(f"Shapiro-Wilk power: {rej_sw / reps:.4f}")
print(f"KS power:           {rej_ks / reps:.4f}")

Shapiro-Wilk power: 0.3616
KS power:           0.0622