닮은 행렬¶

하나의 선형변환은 기저를 어떻게 잡느냐에 따라 여러 다른 행렬로 기술될 수 있다. 같은 변환을 나타내는 두 행렬을 닮았다(similar) 고 한다. 닮음을 알아보면 변환의 본질적 성질을 바꾸지 않고도 복잡한 행렬을 대각형 같은 더 간단한 행렬로 바꿔 놓을 수 있다. 회귀와 다변량 통계에서 닮음은 공분산행렬의 대각화, 주성분 좌표로의 회전, 이차형식의 단순화 등 모든 기저변환 논증의 바탕에 깔려 있다.

기하적 직관은 간단하다. \(\mathbf{A}\)가 표준기저에 대해 선형사상 \(T: \mathbb{R}^n \to \mathbb{R}^n\)을 나타내고 \(\mathbf{P}\)의 열들이 새 기저의 벡터들이라면, \(\mathbf{B} = \mathbf{P}^{-1}\mathbf{A}\mathbf{P}\)는 같은 사상 \(T\)를 새 기저로 표현한 행렬이다.

닮음은 동치관계다¶

닮음은 \(n \times n\) 행렬 전체를 동치류로 분할한다.

반사적. 모든 행렬은 \(\mathbf{P} = \mathbf{I}\)를 통해 자기 자신과 닮았다.

대칭적. \(\mathbf{B} = \mathbf{P}^{-1}\mathbf{A}\mathbf{P}\)이면 \(\mathbf{Q} = \mathbf{P}^{-1}\)에 대해 \(\mathbf{A} = \mathbf{Q}^{-1}\mathbf{B}\mathbf{Q}\)이다.

추이적. \(\mathbf{B} = \mathbf{P}^{-1}\mathbf{A}\mathbf{P}\)이고 \(\mathbf{C} = \mathbf{Q}^{-1}\mathbf{B}\mathbf{Q}\)이면

이므로 \(\mathbf{C}\)는 \(\mathbf{R} = \mathbf{P}\mathbf{Q}\)를 통해 \(\mathbf{A}\)와 닮았다.

닮음에 대한 불변량¶

닮음이 중요한 핵심 이유는 많은 중요한 행렬 관련 양이 불변량이라는 데 있다. 즉 한 닮음류에 속한 모든 행렬에 대해 같은 값을 갖는다.

닮음의 완전 불변량¶

정리 1 의 목록은 길지만 어느 것도 닮음류를 완전히 결정하지는 못한다. 완전 불변량은 하나 더 위에 있다.

불변량이 아닌 성질¶

모든 행렬 성질이 닮음에서 보존되는 것은 아니다. 특히 다음과 같다.

• 고유벡터는 불변이 아니다. 고윳값은 공유하지만 고유벡터는 공유하지 않는다. \(\mathbf{A}\mathbf{v} = \lambda\mathbf{v}\)이면 \(\mathbf{B}(\mathbf{P}^{-1}\mathbf{v}) = \mathbf{P}^{-1}\mathbf{A}\mathbf{v} = \lambda(\mathbf{P}^{-1}\mathbf{v})\)이므로, \(\mathbf{B}\)의 고유벡터는 \(\mathbf{A}\)의 고유벡터를 \(\mathbf{P}^{-1}\)로 옮긴 것이다. 고유공간은 대응되지만 같지는 않다. 고윳값은 변환의 성질이고 고유벡터는 좌표의 성질이기 때문이다.
• 대칭성은 불변이 아니다. 대칭행렬이 대칭이 아닌 행렬과 닮을 수 있다(연습문제 7). 기저변환행렬 \(\mathbf{P}\)가 직교행렬일 필요는 없다.
• 양정치성은 불변이 아니다. 여기서 양정치성은 모든 \(\mathbf{x} \neq \mathbf{0}\)에 대해 \(\mathbf{x}^\top\mathbf{A}\mathbf{x} > 0\)인 것을 말한다. \(\mathbf{A} = \operatorname{diag}(1, 100)\)과 \(\mathbf{P} = \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}\)을 잡으면 \(\mathbf{B} = \mathbf{P}^{-1}\mathbf{A}\mathbf{P} = \begin{pmatrix} 1 & -99 \\ 0 & 100 \end{pmatrix}\)인데, \(\mathbf{x} = (1, t)^\top\)에서 \(\mathbf{x}^\top\mathbf{B}\mathbf{x} = 1 - 99t + 100t^2\)이고 이 이차식의 판별식 \(99^2 - 400 > 0\)이라 어떤 \(t\)에서 음수가 된다. 고윳값이 모두 양수라는 성질은 불변이지만, 이차형식의 부호는 불변이 아니다. 둘이 동등해지는 것은 행렬이 대칭일 때뿐이다(이 절의 "양정치행렬" 쪽).
• 개별 성분은 당연히 바뀐다.

기저변환행렬 \(\mathbf{P}\)를 직교행렬(\(\mathbf{P}^\top = \mathbf{P}^{-1}\))로 제한하면, 그 결과인 직교닮음 \(\mathbf{B} = \mathbf{P}^\top\mathbf{A}\mathbf{P}\)는 대칭성을 보존한다(연습문제 8). 스펙트럼 정리가 직교대각화를 내놓는 이유가 여기에 있다.

예¶

다음 행렬을 생각하자.

\(\det(\mathbf{A} - \lambda\mathbf{I}) = (4 - \lambda)(3 - \lambda) - 2 = \lambda^2 - 7\lambda + 10 = (\lambda - 5)(\lambda - 2) = 0\)에서 고윳값 \(\lambda_1 = 5\), \(\lambda_2 = 2\)를 얻는다.

고유벡터: \(\lambda_1 = 5\)에 대해 \((\mathbf{A} - 5\mathbf{I})\mathbf{v} = \mathbf{0}\)을 풀면 \(\mathbf{v}_1 = (1, 1)^\top\)이고, \(\lambda_2 = 2\)에 대해 \((\mathbf{A} - 2\mathbf{I})\mathbf{v} = \mathbf{0}\)을 풀면 \(\mathbf{v}_2 = (1, -2)^\top\)이다.

\(\mathbf{P} = \begin{pmatrix} 1 & 1 \\ 1 & -2 \end{pmatrix}\)로 두면

이다. 대각행렬 \(\boldsymbol{\Lambda}\)는 \(\mathbf{A}\)와 닮았고, 두 행렬이 \(\operatorname{tr} = 7\), \(\det = 10\), 고윳값 \(\{5, 2\}\)를 공유함을 확인할 수 있다.

그림으로 보기¶

닮음은 대각화만을 위한 장치가 아니다. 기저를 아무렇게나 바꿔도 닮은 행렬이 나온다. 같은 \(\mathbf{A} = \begin{pmatrix} 4 & 1 \\ 2 & 3 \end{pmatrix}\)를 이번에는 대각이 아닌 다른 좌표에서 적어 보자.

두 판에 그려진 화살표는 완전히 같은 화살표다. 파란 화살표가 벡터 \(\mathbf{x}\)이고 주황 화살표가 그것을 변환한 \(T\mathbf{x}\)이며, 위치도 길이도 방향도 두 판에서 똑같다. 바뀐 것은 그것을 읽는 자, 곧 배경의 격자뿐이다.

표준기저로 읽으면 \(\mathbf{x} = (3,4)^\top\)이고 \(T\mathbf{x} = (16,18)^\top\)이며, 이 대응을 적은 행렬이 \(\mathbf{A}\)다. 기저를 \(\mathbf{b}_1 = (1,3)^\top\), \(\mathbf{b}_2 = (2,1)^\top\)로 바꾸면 같은 \(\mathbf{x}\)의 성분은 \((1,1)\)이 되고 같은 \(T\mathbf{x}\)의 성분은 \((4,6)\)이 된다. 이 대응을 적은 행렬은 \(\mathbf{P} = \begin{pmatrix} 1 & 2 \\ 3 & 1 \end{pmatrix}\)에 대해

이다. \(\mathbf{B}\)는 \(\mathbf{A}\)와 다른 행렬이지만 \(\operatorname{tr}(\mathbf{B}) = 7\), \(\det(\mathbf{B}) = 10\), 고윳값 \(\{5, 2\}\)는 그대로다.

닮은 행렬이란 같은 일을 다른 말로 받아 적은 것이다. 성분은 번역의 산물이라 기저를 고르는 사람 마음대로 바뀌지만, 대각합·행렬식·고윳값은 화살표 자체의 성질이므로 번역에 흔들리지 않는다. 다음 절의 대각화는 이 자유를 가장 유리하게 쓴 특수한 경우, 곧 \(\mathbf{B}\)가 대각이 되도록 기저를 고르는 경우일 뿐이다.

통계와의 연결¶

닮은 행렬은 다변량 통계 전반에 등장한다.

• 공분산행렬의 스펙트럼 분해. \(\boldsymbol{\Sigma} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top\)이면 \(\boldsymbol{\Sigma}\)는 (직교행렬 \(\mathbf{Q}\)를 통해) \(\boldsymbol{\Lambda}\)와 닮았다. 고유기저에서 작업하면 계산이 간단해진다. \(\operatorname{tr}(\boldsymbol{\Sigma}) = \sum_i \lambda_i\)가 총분산을 주고, \(\det(\boldsymbol{\Sigma}) = \prod_i \lambda_i\)가 일반화 분산을 측정한다.

• 이차형식의 단순화. 마할라노비스 거리 \((\mathbf{x} - \boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x} - \boldsymbol{\mu})\)는 \(\boldsymbol{\Sigma}^{-1}\)이 대각이 되는 고유기저로 옮겨서 분석할 수 있다. 이것이 정규확률벡터의 이차형식이 카이제곱분포를 따름을 유도하는 근거다.

• 모자 행렬 대각합의 불변성. 회귀에서 예측변수를 어떻게 코딩하거나 척도를 바꾸든 \(\operatorname{tr}(\mathbf{H}) = p\)다. 다만 그 이유는 닮음이 아니다. 재매개변수화 \(\mathbf{X} \mapsto \mathbf{X}\mathbf{C}\)는 그람 행렬을 \(\mathbf{C}^\top\mathbf{X}^\top\mathbf{X}\mathbf{C}\)로 보내는 합동변환이며, \(\mathbf{C}\)가 직교행렬이 아니면 닮음변환이 아니라서 고윳값도 보존하지 않는다. \(\operatorname{tr}(\mathbf{H})\)가 보존되는 것은 열공간이 그대로여서 \(\mathbf{H}\) 자체가 아예 바뀌지 않기 때문이다(연습문제 4).

연습문제¶

import numpy as np

rng = np.random.default_rng(0)
n = 50
x = rng.normal(5, 2, n)

X = np.column_stack([np.ones(n), x])              # 원래 설계행렬
Xc = np.column_stack([np.ones(n), x - x.mean()])  # 중심화한 설계행렬
C = np.array([[1., -x.mean()], [0., 1.]])         # Xc = X C

print("Xc = X C 인가:", np.allclose(X @ C, Xc))
print("그람 고윳값  원래:", np.linalg.eigvalsh(X.T @ X).round(4))
print("그람 고윳값 중심화:", np.linalg.eigvalsh(Xc.T @ Xc).round(4))

H = X @ np.linalg.inv(X.T @ X) @ X.T
Hc = Xc @ np.linalg.inv(Xc.T @ Xc) @ Xc.T
print("H = H' 인가:", np.allclose(H, Hc))
print("tr(H), tr(H'):", round(np.trace(H), 6), round(np.trace(Hc), 6))

Xc = X C 인가: True
그람 고윳값  원래: [   5.2108 1593.1458]
그람 고윳값 중심화: [ 50.     166.0321]
H = H' 인가: True
tr(H), tr(H'): 2.0 2.0

import numpy as np

A = np.array([[4., 1.], [2., 3.]])
P = np.array([[1., 1.], [1., -2.]])          # 고유벡터를 열로
Lam = np.diag([5., 2.])

A10_direct = np.linalg.matrix_power(A, 10)
A10_via_diag = P @ np.diag([5.**10, 2.**10]) @ np.linalg.inv(P)

print("A^10 =\n", A10_direct)
print("일치하는가:", np.allclose(A10_direct, A10_via_diag))

A^10 =
 [[6510758. 3254867.]
 [6509734. 3255891.]]
일치하는가: True

import numpy as np

A = np.diag([1., 2.])
P = np.array([[1., 1.], [0., 1.]])
B = np.linalg.inv(P) @ A @ P

print("B =\n", B)
print("B가 대칭인가:", np.allclose(B, B.T))
print("A의 고윳값:", np.sort(np.linalg.eigvals(A)))
print("B의 고윳값:", np.sort(np.linalg.eigvals(B)))

B =
 [[ 1. -1.]
 [ 0.  2.]]
B가 대칭인가: False
A의 고윳값: [1. 2.]
B의 고윳값: [1. 2.]

import numpy as np

rng = np.random.default_rng(0)
A = np.array([[4., 1., 0.],
              [2., 3., 1.],
              [0., 1., 5.]])

P = rng.normal(size=(3, 3))
print("P가 가역인가 (det):", round(np.linalg.det(P), 4))

B = np.linalg.inv(P) @ A @ P

print("\nA =\n", np.round(A, 3))
print("B =\n", np.round(B, 3))

print("\n고윳값 A:", np.sort(np.linalg.eigvals(A).real).round(6))
print("고윳값 B:", np.sort(np.linalg.eigvals(B).real).round(6))
print("대각합 :", round(np.trace(A), 6), round(np.trace(B), 6))
print("행렬식 :", round(np.linalg.det(A), 6), round(np.linalg.det(B), 6))
print("계수   :", np.linalg.matrix_rank(A), np.linalg.matrix_rank(B))

P가 가역인가 (det): 0.4433

A =
 [[4. 1. 0.]
 [2. 3. 1.]
 [0. 1. 5.]]
B =
 [[ 6.627  1.644  0.05 ]
 [-2.824  0.822 -0.021]
 [-0.935 -1.815  4.55 ]]

고윳값 A: [1.78568  4.539189 5.675131]
고윳값 B: [1.78568  4.539189 5.675131]
대각합 : 12.0 12.0
행렬식 : 46.0 46.0
계수   : 3 3

import numpy as np

rng = np.random.default_rng(1)
X = rng.normal(size=(500, 3)) @ np.array([[2., 1., 0.],
                                          [0., 1., 1.],
                                          [0., 0., 3.]])
Sigma = np.cov(X, rowvar=False)

lam, Q = np.linalg.eigh(Sigma)          # 대칭행렬이므로 eigh
lam = lam[::-1]                          # 큰 것부터

print("각 변수의 분산:", np.diag(Sigma).round(4))
print("총분산 tr(Sigma):", round(np.trace(Sigma), 6))
print("고윳값의 합    :", round(lam.sum(), 6))
print("설명 비율(%)   :", (lam / lam.sum() * 100).round(1))
print("첫 두 성분 누적(%):", round(lam[:2].sum() / lam.sum() * 100, 1))

각 변수의 분산: [ 4.0421  2.0308 10.0525]
총분산 tr(Sigma): 16.125337
고윳값의 합    : 16.125337
설명 비율(%)   : [62.9 32.7  4.3]
첫 두 성분 누적(%): 95.7

정리하며¶

두 행렬이 서로 다른 기저에서 같은 선형변환을 나타낼 때 이 둘은 닮았다. 닮은 행렬은 좌표계의 선택에서만 다를 뿐, 특성다항식·고윳값·대각합·행렬식·계수·최소다항식·기하적 중복도 등 변환의 본질적 성질을 모두 공유한다. 반면 고유벡터·대칭성·양정치성은 공유하지 않는다. 고유벡터는 \(\mathbf{P}^{-1}\)로 옮겨지고, 대칭성과 이차형식의 부호는 기저를 직교가 아닌 방향으로 비틀면 깨진다.

역은 성립하지 않는다는 점도 기억해 둘 만하다. 정리 1 의 불변량이 모두 일치해도 닮았다고 결론지을 수 없고, 닮음류를 완전히 결정하는 것은 조르당 형이다(정리 2).

다음 주제인 대각화가 가장 중요한 특수한 경우다. 행렬이 대각이 되는 기저를 찾아 계산과 해석을 단순하게 만드는 것이다.