멱등행렬¶

두 번 적용해도 같은 결과를 내는 연산을 멱등(idempotent) 이라 한다. 행렬대수에서 멱등행렬은 \(\mathbf{A}^2 = \mathbf{A}\)를 만족한다. 변환을 한 번 더 적용해도 아무것도 바뀌지 않는다는 뜻이다. 이 성질이 사영을 특징짓고, 사영행렬은 회귀 곳곳에 등장한다. 적합값을 만들어내는 모자 행렬 \(\mathbf{H}\)와 잔차를 만들어내는 잔차생성행렬 \(\mathbf{M} = \mathbf{I} - \mathbf{H}\)가 모두 멱등이다. 이들의 고윳값은 \(\{0, 1\}\)로 제한되며, 이는 분산분석과 회귀 이론에서 자유도를 세는 일로 곧바로 이어진다.

단위행렬 \(\mathbf{I}\)와 영행렬 \(\mathbf{0}\)은 자명하게 멱등이다. 흥미로운 경우는 \(\mathbf{I}\)도 \(\mathbf{0}\)도 아닌 멱등행렬이며, 이들이 바로 사영이다. 다만 여기서 곧바로 갈라지는 길이 하나 있다. 멱등성만으로는 사영이 직교사영임을 보장하지 못하고, 그러려면 대칭성이 따로 필요하다. 정리 3 에서 이 점을 정확히 짚는다.

멱등행렬의 고윳값¶

대각합은 계수와 같다¶

왼쪽 그림의 \(\mathbf{P} = \mathbf{u}\mathbf{u}^\top\)는 \(\mathbf{u} = (2,1)^\top/\sqrt{5}\)가 펼치는 직선 위로의 사영이다. \(\mathbf{x} = (1,3)^\top\)를 누르면 \(\mathbf{P}\mathbf{x} = (2,1)^\top\)가 되고, 여기서 한 번 더 눌러도 여전히 \((2,1)^\top\)다. 첫 번째 적용이 이미 \(\mathbf{x}\)를 \(\operatorname{Col}(\mathbf{P})\) 안으로 옮겨 놓았고, 사영은 자기 치역 위에서 항등변환이기 때문이다. 연습문제 1의 "\(\mathbf{x} \in \operatorname{Col}(\mathbf{A}) \iff \mathbf{A}\mathbf{x} = \mathbf{x}\)"가 그림에서는 "두 번 눌러도 더 움직이지 않는다"로 보인다. 버려진 몫 \((\mathbf{I}-\mathbf{P})\mathbf{x} = (-1,2)^\top\)는 \(\ker(\mathbf{P})\) 위에 놓이며, 이쪽을 누르면 \(\mathbf{0}\)이 된다.

오른쪽 그림은 같은 \(\mathbf{P}\)를 단위원 전체에 적용한 결과다. 원 위의 모든 점이 한 직선으로 내려앉는다. 그 가운데 두 방향만이 방향을 바꾸지 않는데, \(\mathbf{u}\)는 제자리에 남고(\(\mathbf{P}\mathbf{u} = \mathbf{u}\)) \(\mathbf{k}\)는 원점으로 간다(\(\mathbf{P}\mathbf{k} = \mathbf{0}\)). 길이가 반으로 줄거나 \(1.5\)배로 늘어나는 방향은 하나도 없다. \(\lambda^2 = \lambda\)가 허용하는 값이 \(0\)과 \(1\)뿐이라는 정리 1이 그림에서는 이렇게 나타난다.

고윳값이 이렇게 갈리므로 세는 일이 간단해진다. 여기서는 고윳값 \(1\)이 하나뿐이라 \(\operatorname{tr}(\mathbf{P}) = \operatorname{rank}(\mathbf{P}) = 1\)이다. 정리 2의 대각합–계수 항등식은 결국 "살아남는 방향이 몇 개인가"를 세는 것이고, 회귀에서 이 개수가 그대로 자유도가 된다. \(\operatorname{tr}(\mathbf{H}) = p\)는 모형이 붙잡아 두는 방향의 수, \(\operatorname{tr}(\mathbf{I}-\mathbf{H}) = n-p\)는 눌러 없애는 방향의 수다.

핵심 성질¶

여집합도 멱등이다¶

\(\mathbf{A}\)가 멱등이면 \(\mathbf{I} - \mathbf{A}\)도 멱등이다.

모자 행렬 \(\mathbf{H}\)와 잔차생성행렬 \(\mathbf{I} - \mathbf{H}\)가 둘 다 사영인 이유가 이것이다.

계수의 분해¶

대각합–계수 항등식과 대각합의 선형성을 결합하면

이다.

열공간은 고정점의 집합이다¶

벡터 \(\mathbf{x}\)가 멱등행렬 \(\mathbf{A}\)의 열공간에 속할 필요충분조건은 \(\mathbf{A}\mathbf{x} = \mathbf{x}\)인 것이다. 열공간은 정확히 고윳값 1의 고유공간이고, 영공간은 고윳값 0의 고유공간이다. 이 둘이 \(\mathbb{R}^n\)을 직합으로 분해한다.

여기서 "직합"은 두 부분공간이 \(\{\mathbf{0}\}\)에서만 만나고 합쳐서 \(\mathbb{R}^n\)이 된다는 뜻일 뿐이다. 두 부분공간이 서로 직교한다는 뜻은 아니다. 직교성은 대칭성을 더해야 나오며, 그것이 정리 3 이다.

대각화 가능성¶

모든 멱등행렬은 대각화 가능하다. 이유: 그 최소다항식이 서로 다른 근을 갖는 \(\lambda^2 - \lambda = \lambda(\lambda - 1)\)을 나누기 때문이다. 어떤 행렬이 대각화 가능할 필요충분조건은 그 최소다항식이 서로 다른 근을 갖는 것이다.

교환되는 멱등행렬의 곱¶

\(\mathbf{A}\)와 \(\mathbf{B}\)가 멱등이고 \(\mathbf{A}\mathbf{B} = \mathbf{B}\mathbf{A}\)이면 \(\mathbf{A}\mathbf{B}\)도 멱등이다. (교환성이 없으면 성립하지 않을 수 있다.)

멱등과 직교사영은 같은 말이 아니다¶

멱등행렬을 통틀어 "사영행렬"이라 부르는 것은 맞지만, 회귀에서 실제로 쓰는 것은 그보다 좁은 직교사영이다. 둘을 가르는 것이 대칭성이다.

대칭이 아닌 멱등행렬은 실제로 존재한다. 연습문제 3 의

은 멱등이지만 \(\operatorname{Col}(\mathbf{A}) = \operatorname{span}\{(1,0)^\top\}\)이고 \(\ker(\mathbf{A}) = \operatorname{span}\{(-1,1)^\top\}\)이라 두 공간이 직교하지 않는다. 이런 것을 빗사영이라 하며, 0.3절의 「사영행렬」과 「직교사영행렬」에서 자세히 다룬다. 이 구분이 통계에서 갖는 무게는 다음과 같다.

마지막 두 줄이 핵심이다. 이 쪽에서 앞서 적은 분산분석 분해 \(\|\mathbf{y}\|^2 = \|\mathbf{H}\mathbf{y}\|^2 + \|\mathbf{M}\mathbf{y}\|^2\)과 카이제곱 자유도 계산은 \(\mathbf{H}\)가 멱등인 것만으로는 성립하지 않고 대칭이기도 해야 성립한다. 모자 행렬 \(\mathbf{H} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\)가 대칭이라는 사실(연습문제 4)이 그래서 형식적인 확인이 아니다.

예¶

다음을 생각하자.

멱등성: \(\mathbf{A}^2 = \frac{1}{9}\mathbf{1}\mathbf{1}^\top\mathbf{1}\mathbf{1}^\top = \frac{1}{9}\mathbf{1}(3)\mathbf{1}^\top = \frac{1}{3}\mathbf{1}\mathbf{1}^\top = \mathbf{A}\).

대각합과 계수: \(\operatorname{tr}(\mathbf{A}) = 1 = \operatorname{rank}(\mathbf{A})\).

고윳값: 고유벡터 \((1,1,1)^\top\)에 대응하는 \(\lambda_1 = 1\), 그리고 \((1,1,1)^\top\)에 직교하는 고유공간에 대응하는 \(\lambda_2 = \lambda_3 = 0\).

기하적 해석: \(\mathbf{A}\)는 모든 벡터를 \(\mathbf{1}\)이 생성하는 공간 위로 사영한다. 즉 \(\mathbf{x}\)의 각 성분을 표본평균으로 바꾼다. 이는 절편만 있는 회귀모형의 모자 행렬이다.

회귀에서의 멱등행렬¶

모자 행렬¶

완전 열계수를 갖는 \(\mathbf{X} \in \mathbb{R}^{n \times p}\)에 대한 선형모형 \(\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\)에서

는 대칭이고 멱등이다. 그 대각합이 모수의 개수를 준다: \(\operatorname{tr}(\mathbf{H}) = p\)(연습문제 4).

잔차생성행렬¶

\(\mathbf{M} = \mathbf{I} - \mathbf{H}\)는 대칭이고 멱등이며 \(\operatorname{tr}(\mathbf{M}) = n - p\), 즉 잔차 자유도다. 잔차는 \(\mathbf{e} = \mathbf{M}\mathbf{y}\)이다.

분산분석 분해¶

\(\mathbf{H}\mathbf{M} = \mathbf{0}\)인 피타고라스 분해 \(\mathbf{y} = \mathbf{H}\mathbf{y} + \mathbf{M}\mathbf{y}\)로부터

를 얻는다. 이 제곱합 항등식의 자유도는 \(\operatorname{tr}(\mathbf{H}) = p\)와 \(\operatorname{tr}(\mathbf{M}) = n - p\)이고, 합하면 \(n\)이다.

연습문제¶

import numpy as np

H = np.array([[0.5, 0.5], [0.5, 0.5]])       # 멱등, 계수 1
print("H 가 멱등인가:", np.allclose(H @ H, H))
print("det(H) =", round(np.linalg.det(H), 12), " rank =", np.linalg.matrix_rank(H))
print("고윳값:", np.linalg.eigvalsh(H).round(6))
print("det(I) =", round(np.linalg.det(np.eye(2)), 6))

H 가 멱등인가: True
det(H) = 0.0  rank = 1
고윳값: [0. 1.]
det(I) = 1.0

import numpy as np

groups = [0, 0, 0, 1, 1, 1, 1, 2, 2]
n, k = len(groups), 3
G = np.zeros((n, k))
for i, g in enumerate(groups):
    G[i, g] = 1

P_grp = G @ np.linalg.inv(G.T @ G) @ G.T
P1 = np.ones((n, n)) / n
P2 = P_grp - P1
P3 = np.eye(n) - P_grp

for name, P in (("P1(전체평균)", P1), ("P2(집단 간)", P2), ("P3(집단 내)", P3)):
    print(f"{name}: 멱등 {np.allclose(P@P, P)}, 대칭 {np.allclose(P, P.T)}, "
          f"계수 {np.linalg.matrix_rank(P)}, tr {np.trace(P):.1f}")

print("\n합이 I 인가:", np.allclose(P1 + P2 + P3, np.eye(n)))
print("서로 직교인가:", np.allclose(P1 @ P2, 0),
      np.allclose(P1 @ P3, 0), np.allclose(P2 @ P3, 0))

P1(전체평균): 멱등 True, 대칭 True, 계수 1, tr 1.0
P2(집단 간): 멱등 True, 대칭 True, 계수 2, tr 2.0
P3(집단 내): 멱등 True, 대칭 True, 계수 6, tr 6.0

합이 I 인가: True
서로 직교인가: True True True

import numpy as np

groups = [0, 0, 0, 1, 1, 1, 1, 2, 2]
n, k = len(groups), 3
G = np.zeros((n, k))
for i, g in enumerate(groups):
    G[i, g] = 1
P3 = np.eye(n) - G @ np.linalg.inv(G.T @ G) @ G.T
r = np.linalg.matrix_rank(P3)

rng = np.random.default_rng(0)
Y = rng.normal(size=(200_000, n))                  # sigma = 1
q = np.einsum('bi,ij,bj->b', Y, P3, Y)             # y' P3 y

print(f"계수 r = {r}")
print(f"평균  모의 {q.mean():.4f}   chi2_{r} 이론 {r}")
print(f"분산  모의 {q.var():.4f}   chi2_{r} 이론 {2*r}")
for p in (0.25, 0.5, 0.75, 0.95):
    from scipy import stats
    print(f"  q={p:<5} 모의 {np.quantile(q, p):7.4f}   이론 {stats.chi2.ppf(p, r):7.4f}")

계수 r = 6
평균  모의 5.9999   chi2_6 이론 6
분산  모의 12.0741   chi2_6 이론 12
  q=0.25  모의  3.4559   이론  3.4546
  q=0.5   모의  5.3474   이론  5.3481
  q=0.75  모의  7.8321   이론  7.8408
  q=0.95  모의 12.5891   이론 12.5916

정리하며¶

멱등행렬은 \(\mathbf{A}^2 = \mathbf{A}\)를 만족하고, 고윳값이 \(\{0, 1\}\)로 제한되며(정리 1), 대각화 가능하고, \(\operatorname{tr}(\mathbf{A}) = \operatorname{rank}(\mathbf{A})\)를 따른다(정리 2). 여집합 \(\mathbf{I} - \mathbf{A}\)도 멱등이며 \(\mathbb{R}^n = \operatorname{Col}(\mathbf{A}) \oplus \ker(\mathbf{A})\)이다. 그러나 이 직합이 직교분해가 되는 것은 \(\mathbf{A}\)가 대칭일 때뿐이다(정리 3). 회귀에서 모자 행렬과 잔차생성행렬은 멱등이면서 대칭이므로 직교사영이고, 그래서 제곱합이 피타고라스식으로 쪼개지며 대각합이 F-검정, t-검정, 신뢰구간에 쓰이는 자유도를 곧바로 준다.