대칭행렬¶

특성방정식: \((2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = (\lambda - 1)(\lambda - 3) = 0\). 고윳값은 \(\lambda_1 = 1, \lambda_2 = 3\)이다.

\(\lambda_1 = 1\)에 대해: \((\mathbf{A} - \mathbf{I})\mathbf{v} = \mathbf{0}\)에서 \(\mathbf{v}_1 = (1, -1)^\top / \sqrt{2}\). \(\lambda_2 = 3\)에 대해: \((\mathbf{A} - 3\mathbf{I})\mathbf{v} = \mathbf{0}\)에서 \(\mathbf{v}_2 = (1, 1)^\top / \sqrt{2}\).

\(\alpha \ne \beta\)에 대해 \(\mathbf{A}\mathbf{u} = \alpha\mathbf{u}\), \(\mathbf{A}\mathbf{v} = \beta\mathbf{v}\)라 하자. \(\mathbf{u}^\top\mathbf{A}\mathbf{v}\)를 두 가지 방식으로 계산한다.

• \(\mathbf{u}^\top(\beta\mathbf{v}) = \beta\, \mathbf{u}^\top\mathbf{v}\)로 계산.
• \(\mathbf{A} = \mathbf{A}^\top\)를 써서 \((\mathbf{A}\mathbf{u})^\top \mathbf{v} = (\alpha\mathbf{u})^\top\mathbf{v} = \alpha\, \mathbf{u}^\top\mathbf{v}\)로 계산.

따라서 \(\alpha\, \mathbf{u}^\top\mathbf{v} = \beta\, \mathbf{u}^\top\mathbf{v}\), 즉 \((\alpha - \beta)\mathbf{u}^\top\mathbf{v} = 0\)이다. \(\alpha \ne \beta\)이므로 \(\mathbf{u}^\top\mathbf{v} = 0\)이다. \(\square\)

정규직교성 \(\mathbf{q}_i^\top \mathbf{q}_j = \delta_{ij}\)를 쓰면

이다. \(\mathbf{A}\)가 멱등일 필요충분조건은 \(\mathbf{A}^2 = \mathbf{A}\), 즉 모든 \(i\)에 대해 \(\lambda_i^2 = \lambda_i\)인 것이다. 동등하게 \(\lambda_i \in \{0, 1\}\)이다. \(\square\)

\(\mathbf{x}\)를 고유기저로 전개한다: \(c_i = \mathbf{q}_i^\top \mathbf{x}\)에 대해 \(\mathbf{x} = \sum_i c_i \mathbf{q}_i\). 정규직교성을 쓰면

이다. 따라서 레일리 몫은 가중치 \(c_i^2 / \sum_j c_j^2\)를 갖는 고윳값들의 볼록결합이다. 수들의 볼록결합은 언제나 그 최솟값과 최댓값 사이에 있다.

\(\lambda_\min\)에서 등호는 \(\mathbf{x}\)가 \(\lambda_\min\)의 고유벡터일 때 성립하고 \(\lambda_\max\)도 마찬가지다. \(\square\)

존재성: \(\lambda_i \ge 0\)인 스펙트럼 분해 \(\mathbf{A} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top\)로부터

로 정의한다. 이것은 대칭이고(대칭 조각들의 곱 \(\mathbf{Q}\mathbf{D}\mathbf{Q}^\top\)) 양반정치다(\(\sqrt{\lambda_i} \ge 0\)). 직접 확인하면 \(\mathbf{A}^{1/2}\mathbf{A}^{1/2} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top = \mathbf{A}\)이다.

유일성: \(\mathbf{B}\)가 \(\mathbf{B}^2 = \mathbf{A}\)인 대칭 양반정치행렬이라 하자. \(\mu_i \ge 0\)인 \(\mathbf{M} = \operatorname{diag}(\mu_i)\)로 \(\mathbf{B} = \mathbf{Q}'\mathbf{M}\mathbf{Q}'^\top\)와 같이 대각화한다. 그러면 \(\mathbf{B}^2 = \mathbf{Q}'\mathbf{M}^2 \mathbf{Q}'^\top = \mathbf{A}\)이므로 \(\mathbf{B}\)는 \(\mu_i^2 = \lambda_i\)인 고윳값과 \(\mathbf{A}\)의 고유벡터를 공유한다. \(\mu_i \ge 0\)이므로 \(\mu_i = \sqrt{\lambda_i}\)가 강제되어 위 공식이 복원된다. \(\square\)

통계적 쓰임: 마할라노비스 백색화 변환 \(\mathbf{Z} = \boldsymbol{\Sigma}^{-1/2}(\mathbf{X} - \boldsymbol{\mu})\)는 \(\boldsymbol{\Sigma}^{-1/2}\)이 존재할 때 공분산이 단위행렬인 벡터를 만들어낸다.

대칭이 아니지만 대각화 가능:

고윳값 \(1, 2\)가 서로 다르므로 고유벡터가 일차독립이고 \(\mathbf{A}\)는 대각화 가능하다. 그러나 \(\mathbf{A} \ne \mathbf{A}^\top\)이므로 대칭은 아니다.

중복 고윳값을 갖는 대칭행렬:

고윳값: \(\lambda_1 = 2\)(고유벡터 \((1,0,0)^\top\)), \(\lambda_2 = 2\)(고유벡터 \((0,1,1)^\top/\sqrt{2}\)), \(\lambda_3 = 0\)(고유벡터 \((0,1,-1)^\top/\sqrt{2}\)).

고윳값 \(2\)는 중복도가 2이고 고유공간은 \(\operatorname{span}\{(1,0,0)^\top, (0,1,1)^\top\}\)이다. 이 두 벡터는 이미 직교하므로(그람–슈미트가 필요 없다) 정규화하면 정규직교기저를 얻는다. 세 번째 고유벡터와 함께 쌓으면 스펙트럼 정리가 약속한 직교행렬 \(\mathbf{Q}\)가 만들어진다.

분해는

이다(\(\mathbf{S}^\top = \mathbf{S}\), \(\mathbf{K}^\top = -\mathbf{K}\)는 직접 확인된다).

반대칭부분의 이차형식은 언제나 0이다. \(\mathbf{x}^\top\mathbf{K}\mathbf{x}\)는 스칼라이므로 전치해도 같은데,

이므로 자기 자신의 음수와 같아 \(0\)이다. 따라서 \(\mathbf{x}^\top\mathbf{A}\mathbf{x} = \mathbf{x}^\top\mathbf{S}\mathbf{x}\)다.

import numpy as np

A = np.array([[2., 3.], [1., 4.]])          # 대칭이 아님
S = (A + A.T) / 2
K = (A - A.T) / 2
x = np.array([1., 2.])

print("A = S + K 인가:", np.allclose(A, S + K))
print("S 대칭:", np.allclose(S, S.T), "  K 반대칭:", np.allclose(K, -K.T))
print(f"x'Ax = {x @ A @ x},  x'Sx = {x @ S @ x},  x'Kx = {x @ K @ x:.12f}")

출력:

A = S + K 인가: True
S 대칭: True   K 반대칭: True
x'Ax = 26.0,  x'Sx = 26.0,  x'Kx = 0.000000000000

왜 중요한가. 이차형식으로 나타나는 양(분산, 마할라노비스 거리, 제곱합)을 다룰 때 행렬을 대칭으로 가정해도 일반성을 잃지 않는다. 비대칭 부분은 어차피 보이지 않기 때문이다. 통계 문헌이 이차형식의 행렬을 늘 대칭으로 두는 이유다. \(\square\)

\(\operatorname{Var}(\mathbf{v}^\top\mathbf{X}) = \mathbf{v}^\top\boldsymbol{\Sigma}\mathbf{v}\)이므로 이는 레일리 몫(연습문제 4)의 최대화 문제이고, 최댓값은 \(\lambda_{\max}\), 최대점은 그 고유벡터다.

import numpy as np

Sigma = np.array([[4., 2., 0.],
                  [2., 3., 1.],
                  [0., 1., 2.]])
lam, Q = np.linalg.eigh(Sigma)

rng = np.random.default_rng(0)
best, arg = -np.inf, None
for _ in range(200_000):                      # 단위구에서 무작위 탐색
    v = rng.normal(size=3)
    v /= np.linalg.norm(v)
    val = v @ Sigma @ v
    if val > best:
        best, arg = val, v

print(f"무작위 탐색 최댓값: {best:.6f}")
print(f"lambda_max        : {lam.max():.6f}")
print("최대 고유벡터와의 |내적|:",
      round(abs(arg @ Q[:, np.argmax(lam)]), 4), "(1 에 가까울수록 같은 방향)")

출력:

무작위 탐색 최댓값: 5.668956
lambda_max        : 5.669079
최대 고유벡터와의 |내적|: 1.0 (1 에 가까울수록 같은 방향)

무작위 탐색으로 얻은 최댓값이 \(\lambda_{\max}\)에 거의 닿고, 그 방향이 최대 고유벡터와 거의 평행하다.

PCA와의 연결. 제1주성분은 정확히 "분산을 최대로 하는 단위 방향"으로 정의된다. 스펙트럼 정리가 그 답이 \(\lambda_{\max}\)의 고유벡터임을 알려 준다. 제2주성분은 첫 방향과 직교하는 것들 중 분산을 최대로 하는 방향이고, 그 답은 두 번째 고유벡터다. 주성분 전체가 스펙트럼 분해에서 한꺼번에 나온다. \(\square\)

프로베니우스 노름. 스펙트럼 분해 \(\mathbf{A} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^\top\)에서 \(\mathbf{A}^\top\mathbf{A} = \mathbf{A}^2 = \mathbf{Q}\boldsymbol{\Lambda}^2\mathbf{Q}^\top\)이므로

이다(대각합이 닮음 불변량임을 썼다).

스펙트럼 노름. \(\lVert\mathbf{A}\rVert_2 = \max_{\lVert\mathbf{x}\rVert=1}\lVert\mathbf{A}\mathbf{x}\rVert\)인데, \(\mathbf{y} = \mathbf{Q}^\top\mathbf{x}\)로 두면 \(\lVert\mathbf{A}\mathbf{x}\rVert^2 = \sum_i\lambda_i^2 y_i^2\)이고 \(\sum y_i^2 = 1\)이므로 최댓값은 \(\max_i \lambda_i^2\)이다. 제곱근을 취하면 \(\max_i|\lambda_i|\)다.

import numpy as np

A = np.array([[4., 2., 0.], [2., 3., 1.], [0., 1., 2.]])
lam = np.linalg.eigvalsh(A)

print("||A||_F^2      =", round((A ** 2).sum(), 6))
print("sum lambda_i^2 =", round((lam ** 2).sum(), 6))
print("스펙트럼 노름  =", round(np.linalg.norm(A, 2), 6))
print("max |lambda_i| =", round(np.abs(lam).max(), 6))

출력:

||A||_F^2      = 39.0
sum lambda_i^2 = 39.0
스펙트럼 노름  = 5.669079
max |lambda_i| = 5.669079

두 노름은 서로 다른 것을 잰다. 프로베니우스 노름은 모든 고윳값을 합치고, 스펙트럼 노름은 가장 큰 하나만 본다. 공분산행렬이라면 전자는 총분산에 대응하고 후자는 제1주성분의 분산에 대응한다. \(\square\)

(\(\Leftarrow\)) 같은 \(\mathbf{Q}\)로 \(\mathbf{A} = \mathbf{Q}\boldsymbol{\Lambda}_1\mathbf{Q}^\top\), \(\mathbf{B} = \mathbf{Q}\boldsymbol{\Lambda}_2\mathbf{Q}^\top\)이면 대각행렬끼리 교환하므로

이다. 역방향은 \(\mathbf{A}\)의 각 고유공간이 \(\mathbf{B}\)에 의해 불변임을 보인 뒤 그 안에서 \(\mathbf{B}\)를 대각화하면 된다.

import numpy as np

A = np.array([[4., 2., 0.], [2., 3., 1.], [0., 1., 2.]])
lam, Q = np.linalg.eigh(A)

B = Q @ np.diag([1., 5., 9.]) @ Q.T          # 일부러 같은 고유기저로 만든다
C = np.array([[1., 1., 0.], [1., 2., 0.], [0., 0., 3.]])   # 관계 없는 대칭행렬

print("A 와 B 가 교환하는가:", np.allclose(A @ B, B @ A))
print("A 와 C 가 교환하는가:", np.allclose(A @ C, C @ A))

출력:

A 와 B 가 교환하는가: True
A 와 C 가 교환하는가: False

통계적 의미. \(\mathbf{y} \sim N(\mathbf{0}, \sigma^2\mathbf{I})\)일 때 두 이차형식 \(\mathbf{y}^\top\mathbf{A}\mathbf{y}\)와 \(\mathbf{y}^\top\mathbf{B}\mathbf{y}\)가 독립일 필요충분조건은 \(\mathbf{A}\mathbf{B} = \mathbf{O}\)이다(크레이그 정리). 특히 \(\mathbf{A}\), \(\mathbf{B}\)가 사영이면 \(\mathbf{A}\mathbf{B} = \mathbf{O}\)은 두 부분공간이 직교한다는 뜻이다.

분산분석에서 집단 간 제곱합과 집단 내 제곱합이 독립인 것이 바로 이 조건 덕분이고, 그래서 두 카이제곱의 비가 \(F\) 분포를 따른다. 교환성과 직교성이 분포 이론의 독립성으로 번역되는 자리다. \(\square\)