사영행렬¶

멱등성 확인:

\(\mathbf{P}\)의 열공간은 \(\text{span}\{(1, 0)^\top\}\)이므로 \(\mathbf{P}\)는 \(x_1\)축 위로 사영한다. 여집합 사영은

이며 \(x_2\)축 위로 사영한다. \(\mathbf{P}\)는 대칭이기도 하므로 이것은 직교사영이다.

\(\mathbf{P}\)가 멱등이므로 고윳값은 0 아니면 1이다(\(\mathbf{P}\mathbf{v} = \lambda\mathbf{v}\)이면 \(\mathbf{P}^2\mathbf{v} = \lambda^2\mathbf{v} = \lambda\mathbf{v}\)이므로 \(\lambda^2 = \lambda\)이고 \(\lambda \in \{0, 1\}\)이다).

계수는 0이 아닌 고윳값의 개수와 같고, 이는 1인 고윳값의 개수다. 대각합은 모든 고윳값의 합인데, 나머지가 0이므로 이 또한 1인 고윳값의 개수다.

따라서 \(\operatorname{rank}(\mathbf{P}) = \operatorname{tr}(\mathbf{P})\)이다. \(\square\)

\(\mathbf{P} = \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix}\)을 생각하자.

멱등성:

그러나 \(\mathbf{P}^\top = \begin{pmatrix} 1 & 0 \\ 1 & 0 \end{pmatrix} \neq \mathbf{P}\)이므로 \(\mathbf{P}\)는 대칭이 아니다.

이 행렬은 \(\ker(\mathbf{P}) = \text{span}\{(-1, 1)^\top\}\) 방향을 따라 \(\text{span}\{(1, 0)^\top\}\) 위로 사영한다. 사영 방향이 목표 부분공간에 대해 빗각이다(수직이 아니다).

\(\hat{\mathbf{y}} = \mathbf{H}\mathbf{y}\)와 \(\mathbf{e} = (\mathbf{I} - \mathbf{H})\mathbf{y}\)의 직교성에는 \(\mathbf{H}\)가 (멱등일 뿐 아니라) 대칭이어야 한다. 대칭성이 있으면

이다. \(\mathbf{H}\)가 멱등이지만 대칭이 아니라면(빗각 사영이라면) 분해 \(\mathbf{y} = \mathbf{H}\mathbf{y} + (\mathbf{I} - \mathbf{H})\mathbf{y}\)는 여전히 성립하지만 두 성분이 직교하지는 않는다. 최소제곱의 모자 행렬은 멱등이면서 대칭이며, 그 덕분에 제곱합 분해와 피타고라스 정리가 작동한다.

멱등성. 가운데에서 \(\mathbf{U}^\top\mathbf{V}\)와 그 역행렬이 상쇄된다.

치역과 영공간. \(\mathbf{P}\mathbf{x}\)는 언제나 \(\mathbf{V}\)의 열들의 일차결합이므로 \(\operatorname{col}(\mathbf{P}) \subseteq \mathcal{V}\)이다. 또 \(\mathbf{P}\mathbf{x} = \mathbf{0}\)일 필요충분조건은 \(\mathbf{U}^\top\mathbf{x} = \mathbf{0}\)이므로 \(\ker(\mathbf{P}) = \operatorname{col}(\mathbf{U})^\perp = \mathcal{W}\)이다.

본문의 예는 \(\mathcal{V} = \operatorname{span}\{(1,0)^\top\}\), \(\mathcal{W} = \operatorname{span}\{(1,1)^\top\}\)이었다. \(\mathcal{W}^\perp = \operatorname{span}\{(1,-1)^\top\}\)이므로 \(\mathbf{U} = (1,-1)^\top\)로 둔다.

import numpy as np

V = np.array([[1.], [0.]])      # 사영해서 놓일 부분공간
U = np.array([[1.], [-1.]])     # 눌러 없앨 방향 span{(1,1)} 의 직교여공간

P = V @ np.linalg.inv(U.T @ V) @ U.T
print("P =\n", P)
print("멱등인가:", np.allclose(P @ P, P))
print("대칭인가:", np.allclose(P, P.T))
print("(1,1) 을 보내면:", (P @ np.array([1., 1.])).round(10))

출력:

P =
 [[ 1. -1.]
 [ 0.  0.]]
멱등인가: True
대칭인가: False
(1,1) 을 보내면: [0. 0.]

본문의 \(\mathbf{P} = \begin{pmatrix} 1 & -1 \\ 0 & 0 \end{pmatrix}\)이 그대로 나오고, 눌러 없애기로 한 방향 \((1,1)^\top\)이 실제로 \(\mathbf{0}\)으로 간다.

직교사영은 특수한 경우다. \(\mathcal{W} = \mathcal{V}^\perp\)로 두면 \(\mathbf{U} = \mathbf{V}\)가 되어 \(\mathbf{P} = \mathbf{V}(\mathbf{V}^\top\mathbf{V})^{-1}\mathbf{V}^\top\), 곧 모자 행렬의 꼴이 된다. \(\square\)

본문의 직합 분해에서 \(\mathbb{R}^n = \operatorname{col}(\mathbf{P}) \oplus \ker(\mathbf{P})\)이다.

• \(\mathbf{v} \in \operatorname{col}(\mathbf{P})\)이면 \(\mathbf{v} = \mathbf{P}\mathbf{u}\)이므로 \(\mathbf{P}\mathbf{v} = \mathbf{P}^2\mathbf{u} = \mathbf{P}\mathbf{u} = \mathbf{v}\), 곧 고윳값 1의 고유벡터다.
• \(\mathbf{w} \in \ker(\mathbf{P})\)이면 \(\mathbf{P}\mathbf{w} = \mathbf{0}\), 곧 고윳값 0의 고유벡터다.

\(\operatorname{col}(\mathbf{P})\)의 기저 \(r\)개와 \(\ker(\mathbf{P})\)의 기저 \(n - r\)개를 합치면 \(\mathbb{R}^n\) 전체의 기저를 이루고, 그 전부가 고유벡터다. 고유벡터로 이루어진 기저가 존재하므로 \(\mathbf{P}\)는 대각화 가능하고, 이 기저를 열로 갖는 \(\mathbf{S}\)에 대해

이다.

따름정리. 대각합이 닮음 불변량이므로 \(\operatorname{tr}(\mathbf{P}) = r = \operatorname{rank}(\mathbf{P})\)가 곧바로 나온다(연습문제 2의 다른 증명이다).

주의. 사영은 언제나 대각화 가능하다. 빗각 사영도 그렇다. 빗각 사영에서 부족한 것은 대각화 가능성이 아니라 고유벡터들의 직교성이다. \(\square\)

\(\operatorname{col}(\mathbf{I} - \mathbf{P}) \subseteq \ker(\mathbf{P})\): \(\mathbf{P}(\mathbf{I} - \mathbf{P})\mathbf{x} = (\mathbf{P} - \mathbf{P}^2)\mathbf{x} = \mathbf{0}\)이다.

\(\ker(\mathbf{P}) \subseteq \operatorname{col}(\mathbf{I} - \mathbf{P})\): \(\mathbf{P}\mathbf{x} = \mathbf{0}\)이면 \(\mathbf{x} = \mathbf{x} - \mathbf{P}\mathbf{x} = (\mathbf{I} - \mathbf{P})\mathbf{x}\)이므로 \(\mathbf{x} \in \operatorname{col}(\mathbf{I} - \mathbf{P})\)이다.

두 포함이 함께 등호를 준다. \(\mathbf{I} - \mathbf{P}\) 역시 사영이므로 \(\mathbf{P}\)와 \(\mathbf{I} - \mathbf{P}\)의 역할을 바꾸면 두 번째 등식도 같은 논법으로 나온다.

계수-퇴화차수 정리에서

이므로 두 계수의 합이 \(n\)이다.

import numpy as np

P = np.array([[1., -1.], [0., 0.]])          # 본문의 빗각 사영
I = np.eye(2)
print("rank(P) =", np.linalg.matrix_rank(P),
      " rank(I-P) =", np.linalg.matrix_rank(I - P),
      " 합 =", np.linalg.matrix_rank(P) + np.linalg.matrix_rank(I - P))
print("tr(P) =", np.trace(P), " tr(I-P) =", np.trace(I - P))

출력:

rank(P) = 1  rank(I-P) = 1  합 = 2
tr(P) = 1.0  tr(I-P) = 1.0

회귀에서의 의미. \(\operatorname{rank}(\mathbf{H}) = p\)이고 \(\operatorname{rank}(\mathbf{I} - \mathbf{H}) = n - p\)인데, 이 \(n - p\)가 바로 잔차의 자유도다. \(s^2 = \lVert\mathbf{e}\rVert^2/(n-p)\)에서 \(n-p\)로 나누는 이유가 여기에 있다. \(\square\)

전개하면

이므로 멱등일 필요충분조건은 \(\mathbf{P}_1\mathbf{P}_2 + \mathbf{P}_2\mathbf{P}_1 = \mathbf{O}\)이다.

이 조건에서 각각이 \(\mathbf{O}\)임을 끌어낼 수 있다. 위 식의 왼쪽에 \(\mathbf{P}_1\)을 곱하면 \(\mathbf{P}_1\mathbf{P}_2 + \mathbf{P}_1\mathbf{P}_2\mathbf{P}_1 = \mathbf{O}\)이고, 오른쪽에 곱하면 \(\mathbf{P}_1\mathbf{P}_2\mathbf{P}_1 + \mathbf{P}_2\mathbf{P}_1 = \mathbf{O}\)이다. 두 식을 빼면 \(\mathbf{P}_1\mathbf{P}_2 = \mathbf{P}_2\mathbf{P}_1\)이고, 합이 \(\mathbf{O}\)이므로 \(2\mathbf{P}_1\mathbf{P}_2 = \mathbf{O}\), 곧 둘 다 \(\mathbf{O}\)다.

기하적 의미. \(\mathbf{P}_1\mathbf{P}_2 = \mathbf{O}\)은 한 사영의 치역이 다른 사영의 영공간에 들어간다는 뜻이다. 직교사영이라면 두 목표 부분공간이 서로 직교한다는 말과 같다.

import numpy as np

P1 = np.diag([1., 0., 0.])
P2 = np.diag([0., 1., 0.])       # 서로 직교하는 축 위로의 사영
S = P1 + P2
print("P1 P2 = 0 인가:", np.allclose(P1 @ P2, 0))
print("합이 멱등인가 :", np.allclose(S @ S, S), " rank:", np.linalg.matrix_rank(S))

P3 = np.array([[.5, .5, 0], [.5, .5, 0], [0, 0, 0]])   # 직교하지 않는 사영
print("\nP1 P3 = 0 인가:", np.allclose(P1 @ P3, 0))
print("합이 멱등인가 :", np.allclose((P1 + P3) @ (P1 + P3), P1 + P3))

출력:

P1 P2 = 0 인가: True
합이 멱등인가 : True  rank: 2

P1 P3 = 0 인가: False
합이 멱등인가 : False

이 성질이 분산분석의 제곱합 분해를 떠받친다. 총제곱합이 여러 성분으로 깔끔하게 쪼개지려면 대응하는 사영들이 서로 직교해야 한다. \(\square\)

\(\mathbf{J} = \mathbf{1}\mathbf{1}^\top\)이고 \(\mathbf{1}^\top\mathbf{1} = n\)이므로 \(\mathbf{J}^2 = \mathbf{1}(\mathbf{1}^\top\mathbf{1})\mathbf{1}^\top = n\mathbf{J}\)이다. 따라서

이고, \(\mathbf{J}^\top = \mathbf{J}\)이므로 \(\mathbf{C}^\top = \mathbf{C}\)다. 멱등이면서 대칭이므로 직교사영이다.

\(\mathbf{C}\mathbf{x} = \mathbf{x} - \bar{x}\mathbf{1}\)이므로 \(\mathbf{C}\)는 \(\mathbf{1}\)과 직교인 부분공간, 곧 성분의 합이 0인 벡터들의 공간 위로 사영한다. 눌러 없애는 방향은 \(\operatorname{span}\{\mathbf{1}\}\)이다.

대각합은 \(\operatorname{tr}(\mathbf{I}) - \frac{1}{n}\operatorname{tr}(\mathbf{J}) = n - \frac{n}{n} = n - 1\)이다.

import numpy as np

n = 5
C = np.eye(n) - np.ones((n, n)) / n
x = np.array([2., 4., 4., 4., 6.])

print("멱등:", np.allclose(C @ C, C), " 대칭:", np.allclose(C, C.T))
print("tr(C) =", round(np.trace(C), 6), " (= n - 1)")
print("Cx      =", (C @ x).round(10))
print("x - 평균 =", x - x.mean())
print("C1 =", (C @ np.ones(n)).round(10), " (1 은 영공간에 있다)")

출력:

멱등: True  대칭: True
tr(C) = 4.0  (= n - 1)
Cx      = [-2.  0.  0.  0.  2.]
x - 평균 = [-2.  0.  0.  0.  2.]
C1 = [0. 0. 0. 0. 0.]  (1 은 영공간에 있다)

자유도의 기원. \(\operatorname{tr}(\mathbf{C}) = n - 1\)이 표본분산에서 \(n-1\)로 나누는 이유의 기하적 설명이다. 중심화된 잔차 벡터는 \(n\)차원이 아니라 \(n-1\)차원 부분공간에 놓인다. 5.1절에서 \(E[S^2] = \sigma^2\)을 기댓값 계산으로 확인하는데, 이 쪽의 \(\operatorname{tr}(\mathbf{C}) = n-1\)이 같은 사실의 기하적 판본이다. 회귀로 넘어가면 \(\mathbf{C}\) 자리에 \(\mathbf{I} - \mathbf{H}\)가 들어가고 \(n-1\)이 \(n-p\)로 바뀐다. \(\square\)

두 사영 모두 치역이 \(\operatorname{span}\{(1,0)^\top\}\)로 같지만 눌러 없애는 방향이 다르다.

• 직교사영 \(\mathbf{P}_\perp = \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}\): \(\mathbf{P}_\perp\mathbf{x} = (0,0)^\top\), 거리 \(\lVert(0,1)^\top\rVert = 1\).
• 빗각 사영 \(\mathbf{P}\): \(\mathbf{P}\mathbf{x} = (-1, 0)^\top\), 거리 \(\lVert(1,1)^\top\rVert = \sqrt{2} \approx 1.414\).

import numpy as np

x = np.array([0., 1.])
P_orth = np.array([[1., 0.], [0., 0.]])
P_obl = np.array([[1., -1.], [0., 0.]])

for name, P in [("직교", P_orth), ("빗각", P_obl)]:
    proj = P @ x
    print(f"{name}: Px = {proj},  거리 = {np.linalg.norm(x - proj):.4f}")

출력:

직교: Px = [0. 0.],  거리 = 1.0000
빗각: Px = [-1.  0.],  거리 = 1.4142

빗각 사영의 거리가 더 크다. 치역이 같아도 어느 방향으로 누르느냐가 거리를 바꾼다.

직교사영만이 \(\lVert\mathbf{x} - \mathbf{v}\rVert\)를 \(\mathbf{v} \in \mathcal{V}\) 위에서 최소화한다. 최소제곱이 잔차 제곱합을 최소화하는 추정량을 주는 것도, 모자 행렬이 직교사영이기 때문이다. 빗각 사영을 쓰면 여전히 \(\mathcal{V}\) 안의 어떤 점을 얻지만 그 점은 가장 가까운 점이 아니다. \(\square\)