성능 척도¶

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn import metrics

# 앞 절과 같은 광고 자료를 쓴다.
url = 'https://raw.githubusercontent.com/justmarkham/scikit-learn-videos/8545c74961398def7724501648fd504dbf061b41/data/Advertising.csv'
df = pd.read_csv(url, usecols=[1, 2, 3, 4])

df['TV:Radio'] = df['TV'] * df['Radio']

X = df[['TV', 'Radio', 'TV:Radio']]
y = df['Sales']

test_size_ratio = 0.3
x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=test_size_ratio, random_state=42)

model = LinearRegression()
model.fit(x_train, y_train)

y_train_pred = model.predict(x_train)
y_test_pred = model.predict(x_test)

print(f"Intercept: {model.intercept_}")
print(f"Coefficients: {model.coef_}\n")

# 아래 네 측도를 훈련과 시험에서 각각 잰다. 시험 쪽 값이 훈련 쪽보다
# 크게 나쁘면 과적합을 의심한다.
# R^2 — 반응의 분산 중 모형이 설명하는 몫. 단위가 없어 견주기 좋다.
print(f"Training R^2: {model.score(x_train, y_train)}")
print(f"Testing R^2: {model.score(x_test, y_test)}\n")

# MAE — 오차의 절댓값 평균. 단위가 반응과 같고 이상치에 덜 휘둘린다.
print(f"Training MAE: {metrics.mean_absolute_error(y_train, y_train_pred)}")
print(f"Testing MAE: {metrics.mean_absolute_error(y_test, y_test_pred)}\n")

# MSE — 오차의 제곱 평균. 큰 오차에 더 무거운 벌을 준다. 단위가 제곱이라
# 그대로 읽기는 어렵다.
print(f"Training MSE: {metrics.mean_squared_error(y_train, y_train_pred)}")
print(f"Testing MSE: {metrics.mean_squared_error(y_test, y_test_pred)}\n")

# RMSE — MSE 의 제곱근. 단위가 반응과 같아져 해석이 쉬워진다.
# 큰 오차를 무겁게 보되 읽기도 편해, 회귀에서 가장 널리 쓰인다.
print(f"Training RMSE: {np.sqrt(metrics.mean_squared_error(y_train, y_train_pred))}")
print(f"Testing RMSE: {np.sqrt(metrics.mean_squared_error(y_test, y_test_pred))}\n")

Intercept: 6.37486462995429
Coefficients: [0.02060952 0.04735462 0.00100684]

Training R^2: 0.9659030787012204
Testing R^2: 0.9673268969053402

Training MAE: 0.6344840392254547
Testing MAE: 0.730384235550869

Training MSE: 0.8947370334590617
Testing MSE: 0.8921262830343071

Training RMSE: 0.9459054040754085
Testing RMSE: 0.9445243686820934

from scipy import stats

for name, xx, yy, pp in [("훈련", x_train, y_train, y_train_pred),
                         ("시험", x_test, y_test, y_test_pred)]:
    mae = metrics.mean_absolute_error(yy, pp)
    mse = metrics.mean_squared_error(yy, pp)
    rmse = np.sqrt(mse)
    r2 = model.score(xx, yy)
    var0 = np.var(yy, ddof=0)
    e = np.asarray(yy) - pp
    big = np.abs(e) > 3 * rmse
    print(f"{name}: MAE={mae:.6f}  MSE={mse:.6f}  RMSE={rmse:.6f}  R2={r2:.6f}")
    print(f"   RMSE^2 - MSE          = {rmse ** 2 - mse:.3e}")
    print(f"   1 - MSE/Var(y, ddof=0) = {1 - mse / var0:.6f}   (R2 와의 차이 {abs(1 - mse / var0 - r2):.3e})")
    print(f"   RMSE/MAE = {rmse / mae:.4f}    정규라면 sqrt(pi/2) = {np.sqrt(np.pi / 2):.4f}")
    print(f"   잔차 왜도 {stats.skew(e):+.3f}  첨도 {stats.kurtosis(e, fisher=False):.3f}  "
          f"최대 |e| = {np.abs(e).max():.3f} (RMSE 의 {np.abs(e).max() / rmse:.1f}배)")
    print(f"   |e| > 3*RMSE 인 관측값 {big.sum()}개 / {len(e)}개,  "
          f"그 몫이 MSE 에서 차지하는 비율 {(e[big] ** 2).sum() / (e ** 2).sum() * 100:.1f}%")

훈련: MAE=0.634484  MSE=0.894737  RMSE=0.945905  R2=0.965903
   RMSE^2 - MSE          = 0.000e+00
   1 - MSE/Var(y, ddof=0) = 0.965903   (R2 와의 차이 0.000e+00)
   RMSE/MAE = 1.4908    정규라면 sqrt(pi/2) = 1.2533
   잔차 왜도 -3.073  첨도 20.638  최대 |e| = 6.692 (RMSE 의 7.1배)
   |e| > 3*RMSE 인 관측값 2개 / 140개,  그 몫이 MSE 에서 차지하는 비율 47.6%
시험: MAE=0.730384  MSE=0.892126  RMSE=0.944524  R2=0.967327
   RMSE^2 - MSE          = 1.110e-16
   1 - MSE/Var(y, ddof=0) = 0.967327   (R2 와의 차이 0.000e+00)
   RMSE/MAE = 1.2932    정규라면 sqrt(pi/2) = 1.2533
   잔차 왜도 -1.215  첨도 4.148  최대 |e| = 2.765 (RMSE 의 2.9배)
   |e| > 3*RMSE 인 관측값 0개 / 60개,  그 몫이 MSE 에서 차지하는 비율 0.0%