대각화 가능 행렬의 대각형¶

특성다항식은 \(\det(\mathbf{A} - \lambda\mathbf{I}) = (4-\lambda)(3-\lambda) = 0\)이므로 고윳값은 \(\lambda_1 = 4\)와 \(\lambda_2 = 3\)이다.

\(\lambda_1 = 4\)에 대해: \((\mathbf{A} - 4\mathbf{I})\mathbf{v} = \begin{pmatrix} 0 & 1 \\ 0 & -1 \end{pmatrix}\mathbf{v} = \mathbf{0}\)이므로 \(\mathbf{v}_1 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}\).

\(\lambda_2 = 3\)에 대해: \((\mathbf{A} - 3\mathbf{I})\mathbf{v} = \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix}\mathbf{v} = \mathbf{0}\)이므로 \(\mathbf{v}_2 = \begin{pmatrix} -1 \\ 1 \end{pmatrix}\).

따라서

귀납법으로 진행한다. 기저 단계 \(k = 1\)은 정의에 의해 성립한다.

\(\mathbf{A}^k = \mathbf{P}\boldsymbol{\Lambda}^k\mathbf{P}^{-1}\)이라고 가정하자. 그러면

이다. 핵심은 \(\mathbf{P}^{-1}\mathbf{P} = \mathbf{I}\)로 상쇄되는 것이다. \(\boldsymbol{\Lambda}^k = \operatorname{diag}(\lambda_1^k, \dots, \lambda_n^k)\)이므로 행렬의 거듭제곱 계산이 고윳값의 스칼라 거듭제곱 계산으로 환원된다. \(\square\)

대각합은 고윳값의 합이므로

행렬식은 고윳값의 곱이므로

\(\boldsymbol{\Sigma}^{-1}\)의 고윳값은 \(\boldsymbol{\Sigma}\) 고윳값의 역수다.

\(\mathbf{A} = \begin{pmatrix} 2 & 1 \\ 0 & 2 \end{pmatrix}\)를 생각하자. 특성다항식은 \((2 - \lambda)^2 = 0\)이므로 \(\lambda = 2\)가 유일한 고윳값이다(대수적 중복도 2).

\(\lambda = 2\)의 고유공간은 다음 행렬의 영공간이다.

이 행렬의 계수는 1이므로 영공간의 차원은 1이다(기하적 중복도 1). 상수배를 무시하면 고유벡터는 \(\mathbf{v} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}\) 하나뿐이다.

\(\mathbf{P}\)를 만들려면 일차독립인 고유벡터가 2개 필요한데 1개뿐이므로 이 행렬은 대각화 가능하지 않다. \(\square\)

스펙트럼 정리는 모든 실대칭행렬이 (중복도를 세어) \(n\)개의 실수 고윳값과 \(n\)개의 정규직교 고유벡터를 온전히 가짐을 보장한다. 구체적으로, 서로 다른 고윳값에 대응하는 고유벡터는 직교하고, 중복 고윳값의 경우 그 고유공간을 그람–슈미트로 정규직교화할 수 있다. 이 고유벡터들을 \(\mathbf{Q}\)의 열로 배열하면 직교행렬(\(\mathbf{Q}^\top\mathbf{Q} = \mathbf{I}\))이 되므로 \(\mathbf{A} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top\)이다.

공분산행렬 \(\boldsymbol{\Sigma}\)에 대해 이 스펙트럼 분해가 주성분분석(PCA)의 토대다. 고유벡터가 주성분 방향을 주고, 고윳값이 각 성분이 설명하는 분산을 주며, \(\mathbf{Q}\)의 직교성은 주성분들이 서로 무상관임을 뜻한다. 이 분해는 계산도 단순하게 만든다: \(\boldsymbol{\Sigma}^{-1} = \mathbf{Q}\boldsymbol{\Lambda}^{-1}\mathbf{Q}^\top\)이고 \(\boldsymbol{\Sigma}^{1/2} = \mathbf{Q}\boldsymbol{\Lambda}^{1/2}\mathbf{Q}^\top\)이다.

보조정리 2 에 의해 언제나 \(m_g \le m_a\)이며, 정리 2 에 따라 (고윳값이 모두 실수일 때) 모든 고윳값에서 등호가 성립할 때에 한해 대각화 가능하다. 고유벡터를 충분히 모아야 기저를 만들 수 있기 때문이다.

두 중복도가 같은 예: \(\mathbf{I}_2\)는 \(\lambda = 1\)의 대수적 중복도가 2이고, \(\ker(\mathbf{I}-\mathbf{I}) = \mathbb{R}^2\)이므로 기하적 중복도도 2다. 이미 대각행렬이다.

다른 예: \(\mathbf{B} = \begin{pmatrix} 2 & 1 \\ 0 & 2 \end{pmatrix}\)는 \(\lambda = 2\)의 대수적 중복도가 2이지만

의 영공간이 \(\operatorname{span}\{(1,0)^\top\}\)로 1차원이다. 기하적 중복도가 1이라 대각화할 수 없다.

import numpy as np

for name, M in [("I", np.eye(2)),
                ("Jordan", np.array([[2., 1.], [0., 2.]]))]:
    w = np.linalg.eigvals(M)
    geo = M.shape[0] - np.linalg.matrix_rank(M - w[0] * np.eye(2))
    print(f"{name:>7}: 고윳값 {w.round(4)}, 기하적 중복도 = {geo}")

출력:

      I: 고윳값 [1. 1.], 기하적 중복도 = 2
 Jordan: 고윳값 [2. 2.], 기하적 중복도 = 1

고윳값이 서로 다르면 각 고윳값의 대수적 중복도가 1 이고 보조정리 2 의 \(1 \le m_g \le m_a\)에서 \(m_g = m_a = 1\)이 되어 대각화가 보장된다. 이것이 본문의 충분조건이다. 다만 필요조건은 아니다. 위의 \(\mathbf{I}_2\)가 바로 반례다. 고윳값이 하나로 겹쳐 있는데도 대각화 가능하다.

반대 방향의 함정도 하나 더 있다. 고윳값이 서로 다르기만 해서는 실수 대각화가 보장되지 않는다. 회전행렬의 두 고윳값 \(\pm i\)는 서로 다르지만 실수가 아니어서 정리 2 의 1번이 깨진다. \(\square\)

import numpy as np

A = np.array([[4., 1.], [0., 3.]])          # 대칭이 아니지만 고윳값이 서로 다름
w, V = np.linalg.eig(A)
print("A 의 고윳값:", w.round(4))
print("고유벡터(열):\n", V.round(4))
print("두 고유벡터의 내적:", round(float(V[:, 0] @ V[:, 1]), 4))

S = np.array([[4., 1.], [1., 3.]])          # 대칭
w2, V2 = np.linalg.eigh(S)
print("\nS 의 고윳값:", w2.round(4))
print("두 고유벡터의 내적:", round(float(V2[:, 0] @ V2[:, 1]), 12))

출력:

A 의 고윳값: [4. 3.]
고유벡터(열):
 [[ 1.     -0.7071]
 [ 0.      0.7071]]
두 고유벡터의 내적: -0.7071

S 의 고윳값: [2.382 4.618]
두 고유벡터의 내적: -0.0

비대칭 행렬의 두 고유벡터는 내적이 \(-0.707\)로 직교하지 않는다. 대각화는 되지만 \(\mathbf{P}\)가 직교행렬이 아니어서 \(\mathbf{P}^{-1} \neq \mathbf{P}^\top\)다. 대칭행렬에서는 내적이 정확히 0이다.

통계에서 왜 중요한가. 공분산행렬이 대칭이므로 주성분들이 서로 직교한다. 직교성 덕분에 (1) 총분산이 성분별로 깔끔하게 쪼개지고, (2) 좌표변환이 회전이어서 거리가 보존되며, (3) \(\mathbf{P}^{-1}\)을 계산할 필요 없이 전치만 쓰면 되어 수치적으로 안정하다. 비대칭 행렬을 대각화할 때는 이 세 가지를 모두 잃는다. \(\square\)

\(\mathbf{P} = \mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^{-1}\)이면 \(\mathbf{P}^n = \mathbf{V}\boldsymbol{\Lambda}^n\mathbf{V}^{-1}\)이므로 고윳값의 거듭제곱만 보면 된다.

특성다항식은 \(\lambda^2 - 1.7\lambda + 0.7 = (\lambda - 1)(\lambda - 0.7)\)이므로 고윳값은 \(1\)과 \(0.7\)이다. 확률행렬은 행의 합이 1이므로 \(\mathbf{P}\mathbf{1} = \mathbf{1}\), 곧 언제나 \(\lambda = 1\)을 갖는다.

\(n \to \infty\)이면 \(1^n = 1\)은 남고 \(0.7^n \to 0\)이다. 따라서 \(\boldsymbol{\Lambda}^n \to \operatorname{diag}(1, 0)\)이고 \(\mathbf{P}^n\)은 \(\lambda = 1\)의 고유벡터가 만드는 계수 1 행렬로 수렴한다.

import numpy as np

P = np.array([[0.9, 0.1], [0.2, 0.8]])
print("고윳값:", np.linalg.eigvals(P).round(6))

for n in (1, 5, 20, 50):
    print(f"P^{n:<3} =\n", np.linalg.matrix_power(P, n).round(6))

출력:

고윳값: [1.  0.7]
P^1   =
 [[0.9 0.1]
 [0.2 0.8]]
P^5   =
 [[0.72269 0.27731]
 [0.55462 0.44538]]
P^20  =
 [[0.666933 0.333067]
 [0.666135 0.333865]]
P^50  =
 [[0.666667 0.333333]
 [0.666667 0.333333]]

\(\mathbf{P}^{50}\)의 두 행이 모두 \((2/3, 1/3)\)로 같아진다. 출발 상태와 무관하게 같은 분포로 수렴한다는 뜻이며, 이 \(\boldsymbol{\pi} = (2/3, 1/3)\)이 정상분포다.

수렴 속도는 두 번째로 큰 고윳값이 정한다. 여기서는 \(0.7\)이므로 오차가 매 단계 \(0.7\)배로 줄어든다. 이 값을 스펙트럼 간격이라 하며, MCMC의 수렴 속도를 지배하는 양이기도 하다. \(\square\)

\(\operatorname{Var}(\mathbf{X}) = \boldsymbol{\Sigma}\)이면

이다(\(\mathbf{Q}^\top\mathbf{Q} = \mathbf{I}\)를 두 번 썼다).

import numpy as np

Sigma = np.array([[4., 2.], [2., 3.]])
lam, Q = np.linalg.eigh(Sigma)
W = np.diag(lam ** -0.5) @ Q.T

rng = np.random.default_rng(0)
X = rng.normal(size=(200_000, 2)) @ np.linalg.cholesky(Sigma).T
Xw = X @ W.T

print("변환 전 공분산:\n", np.cov(X, rowvar=False).round(3))
print("백색화 후 공분산:\n", np.cov(Xw, rowvar=False).round(3))

출력:

변환 전 공분산:
 [[4.013 1.996]
 [1.996 2.997]]
백색화 후 공분산:
 [[ 1.005 -0.003]
 [-0.003  1.001]]

백색화 후 공분산이 단위행렬에 가깝다.

변환은 두 단계로 읽힌다. \(\mathbf{Q}^\top\)가 주축에 맞추어 회전하고, \(\boldsymbol{\Lambda}^{-1/2}\)이 각 축을 표준편차로 나누어 척도를 맞춘다.

백색화가 쓰이는 곳은 많다. 마할라노비스 거리는 백색화 후의 유클리드 거리이고, 일반화최소제곱은 오차를 백색화한 뒤 보통최소제곱을 적용하는 것이며, 여러 기계학습 방법이 전처리로 이 변환을 쓴다.

주의. 백색화 행렬은 유일하지 않다. 임의의 직교행렬 \(\mathbf{U}\)에 대해 \(\mathbf{U}\mathbf{W}\)도 백색화한다. 위의 것은 PCA 백색화이고, 대칭인 \(\boldsymbol{\Sigma}^{-1/2}\)을 쓰는 ZCA 백색화도 흔하다. \(\square\)

\(\mathbf{A}^n = \mathbf{P}\boldsymbol{\Lambda}^n\mathbf{P}^{-1}\)이고 \(\boldsymbol{\Lambda}^n = \operatorname{diag}(\lambda_1^n, \dots, \lambda_m^n)\)이다(여기서 \(m\)은 \(\mathbf{A}\)의 크기이고 \(n\)은 거듭제곱의 지수다). 모든 \(|\lambda_i| < 1\)이면 \(\lambda_i^n \to 0\)이므로 \(\boldsymbol{\Lambda}^n \to \mathbf{O}\)이고, 따라서

이다. 반대로 어떤 \(|\lambda_j| > 1\)이면 그 방향의 성분이 \(|\lambda_j|^n\)으로 발산한다. 초기벡터가 그 고유벡터 성분을 조금이라도 가지고 있으면 폭발한다.

import numpy as np

A = np.array([[0.6, 0.3], [0.1, 0.5]])
print("고윳값:", np.linalg.eigvals(A).round(4), " 최대 절댓값:",
      round(np.abs(np.linalg.eigvals(A)).max(), 4))
for n in (5, 20, 60):
    print(f"  ||A^{n}|| = {np.linalg.norm(np.linalg.matrix_power(A, n)):.3e}")

B = np.array([[1.2, 0.0], [0.0, 0.5]])
print("\nB 의 최대 |고윳값|:", round(np.abs(np.linalg.eigvals(B)).max(), 4))
for n in (5, 20, 60):
    print(f"  ||B^{n}|| = {np.linalg.norm(np.linalg.matrix_power(B, n)):.3e}")

출력:

고윳값: [0.7303 0.3697]  최대 절댓값: 0.7303
  ||A^5|| = 2.358e-01
  ||A^20|| = 2.128e-03
  ||A^60|| = 7.371e-09

B 의 최대 |고윳값|: 1.2
  ||B^5|| = 2.489e+00
  ||B^20|| = 3.834e+01
  ||B^60|| = 5.635e+04

스펙트럼 반지름 \(\rho(\mathbf{A}) = \max_i|\lambda_i|\)이 \(1\)보다 작은지가 안정성을 가른다.

통계에서 이 조건이 등장하는 대표적인 곳이 시계열의 정상성이다. AR(\(p\)) 과정을 벡터 형태로 쓰면 계수행렬의 스펙트럼 반지름이 1보다 작을 때에 한해 정상 과정이 된다. AR(1) \(X_t = \phi X_{t-1} + \varepsilon_t\)에서 \(|\phi| < 1\)이라는 익숙한 조건이 그 특수한 경우다. \(\square\)