정사각행렬과 통계¶
0.3절과 0.4절은 이 책의 뒷부분, 특히 회귀분석과 다변량 정규분포를 다루는 장들에서 필요한 선형대수의 토대를 세운다. 0.3절은 정사각행렬의 구조 이론(닮음, 대각화, 대각합과 고윳값, 그리고 멱등·대칭·양정치·그람·사영 행렬)을 다루고, 0.4절은 그 도구를 이차형식과 표본분포에 적용해 행렬 이론을 통계적 결과와 연결한다.
학습 목표¶
이 두 절을 마치면 다음을 할 수 있어야 한다.
- 닮음이 보존하는 양(고윳값, 특성다항식, 대각합, 행렬식, 계수)과 보존하지 않는 양(고유벡터)을 구분한다
- 대각화 가능성의 필요충분조건을 진술하고, 충분조건인 "고윳값이 서로 다르다"와 구별한다
- \(\operatorname{tr}(\mathbf{A}) = \sum_i \lambda_i\), \(\det(\mathbf{A}) = \prod_i \lambda_i\) 를 중복도를 세는 규약과 함께 사용한다
- 회귀에서 등장하는 특수한 행렬 유형(멱등, 대칭, 양정치, 그람, 사영)을 알아보고 다룰 수 있다
- 직교사영행렬을 계산하고 해석하며, 최소제곱에서의 역할을 이해한다
- 이차형식을 카이제곱분포 및 \(F\) 분포와 연결한다
- 이 도구들을 적용해 최소제곱추정량의 표본분포를 유도한다
절 구성¶
0.3 정사각행렬¶
| 쪽 | 주제 | 핵심 개념 |
|---|---|---|
| 1 | 닮은 행렬 | \(\mathbf{B} = \mathbf{P}^{-1}\mathbf{A}\mathbf{P}\), 닮음 불변량, 역이 성립하지 않는 이유 |
| 2 | 대각화 가능 행렬의 대각형 | 고유분해 \(\mathbf{A} = \mathbf{P}\mathbf{D}\mathbf{P}^{-1}\), 기하적 중복도 = 대수적 중복도 |
| 3 | 대각합과 고윳값 | \(\operatorname{tr}(\mathbf{A}) = \sum \lambda_i\), \(\det(\mathbf{A}) = \prod \lambda_i\), \(\operatorname{tr}(\mathbf{A}\mathbf{B}) = \operatorname{tr}(\mathbf{B}\mathbf{A})\) |
| 4 | 멱등행렬 | \(\mathbf{A}^2 = \mathbf{A}\), 고윳값은 0 또는 1, \(\operatorname{tr} = \operatorname{rank}\) |
| 5 | 대칭행렬 | 스펙트럼 정리, 실수 고윳값, 직교 고유벡터 |
| 6 | 양정치행렬 | 이차형식에 의한 특성화와 고윳값에 의한 특성화, 촐레스키 분해 |
| 7 | 그람 행렬 | \(\mathbf{X}^\top\mathbf{X}\) 의 성질, \(\operatorname{rank}(\mathbf{X}^\top\mathbf{X}) = \operatorname{rank}(\mathbf{X})\) |
| 8 | 사영행렬 | 치역과 영공간이 함께 사영을 정한다, 비직교 사영 |
| 9 | 직교사영행렬 | 모자 행렬 \(\mathbf{H} = \mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\), 회귀의 기하학 |
0.4 선형대수와 통계¶
| 쪽 | 주제 | 핵심 개념 |
|---|---|---|
| 1 | 카이제곱분포와 이차형식 | 정규벡터의 이차형식, 멱등행렬과 자유도, 코크런 정리 |
| 2 | 표본분포 (단순 최소제곱) | 기울기·절편 추정량의 정확한 분포 |
| 3 | 표본분포 (일반 최소제곱) | 행렬 표기로 쓴 \(\hat{\boldsymbol\beta}\) 의 분포, \(\operatorname{Var}(\hat{\boldsymbol\beta}) = \sigma^2(\mathbf{X}^\top\mathbf{X})^{-1}\) |
읽는 순서¶
0.3절의 앞 세 쪽(닮은 행렬 → 대각화 → 대각합과 고윳값)은 순서대로 읽는 것이 좋다. 뒤의 여섯 쪽은 대칭행렬의 스펙트럼 정리를 공통 토대로 쓰므로, 대칭행렬 쪽을 먼저 본 뒤 멱등·양정치·그람·사영을 필요한 순서로 읽어도 된다. 0.4절은 0.3절의 멱등행렬과 직교사영행렬을 그대로 가져다 쓴다.
이 책에서의 역할
이 두 절은 회귀와 다변량 정규분포를 다루는 뒷 장에서 계속 참조된다. 예컨대 4.3절의 이변량 정규분포는 공분산행렬의 고유분해를 쓰는데, 그 분해가 언제나 가능하다는 보장이 바로 0.3절의 스펙트럼 정리다. 행렬대수에 익숙한 독자는 이 내용을 훑어보고 필요할 때 해당 쪽으로 돌아오면 된다.
표기 약속
이 책 전체에서 벡터는 굵은 소문자 \(\mathbf{x}\), 행렬은 굵은 대문자 \(\mathbf{A}\), 전치는 \(\mathbf{A}^\top\) 로 쓴다. 자유도는 \(d\) 로 쓴다. 자세한 표기 규약은 0.1절 "선형대수 표기와 관례"에 있다.