[MML] Chap.4 Matrix Decompositions

개인적으로 선대의 꽃이라고 생각하는 eigenvalue부터 SVD까지 다루는 챕터입니다. 정말 중요한 내용인데 제가 빼먹고 적지 않았을 수 있습니다.

 

4.1 Determinant and Trace

  - Determinant의 정의, 특징, 용도

  - Trace의 정의, 특징

  - Determinant, Trace를 이용해서 Characteristic polynominal 정의 가능

 

4.2 Eigenvalues and Eigenvectors

  - Eigenvalue, Eigenvector 정의, 다음과 연관지어 의미

    - Linear mapping

    - Characteric polynominal

    - Non-uniqueness(eigenvector) - Colinear, Codirection

    - Algebraic multiplicity / Geometric multiplicity(ex 4.6)

    - Eigenspace, Eigenspectrum

    - 기하학적으로는, non-zero eigenvalue인 eigenvector 방향으로 그만큼 stretch

    - Similar metrix, Symmetric, positive definite matrix

    - Defective matrix

    - Spectral theorem -> Eigendecomposition

  - 직접 구해보기(ex 4.5, 4.8)

  

4.3 Cholesky Decomposition

  - 4.2에서 본 symmetric, positive definite matrix $A = LL^{T}$ 가능

 

4.4 Eigendecomposition and Diagonalization

  - 이전의 mapping처럼 그림으로 보려면 Fig 4.7

    - Basis rotation, Stretch, Basis rotation -> Linear mapping into another basis

  - AP = PD에서 $A = PDP^{-1}$로 어떤 조건에서, 어떻게 넘어갈 수 있는가

  - 직접 해 보기(ex 4.11)

    - Eigenvalue 구하기

    - P 구하기

    - Check for existance

    - 마무리

  - 몇 가지 특징

 

4.5 Singular Value Decomposition

  - Eigendecomposition(Square, Non-defective)과 다르게, 모든 matrix에 대해 적용 가능

  - 기하학적으로 보면, Basis change, Augmentation, Basis change

    - Eigendecomposition : same vector space 내 operation

    - SVD : 다른 basis로 옮겨가면서 scaling

    - 시각화 예시(ex 4.12)

  - 직접 해보기(ex 4.13)

 

4.6 Matrix Approximation

  - 4.5에서 본 건 full-SVD, 몇 가지가 있는데 여기서는 truncated SVD 다룸

    - A -> Sum of low-rank matrices $A_{i}$(Rank 1 matrix)

    - 이런 $A_{i}$를 가지고 $i = 1 \~ k$에 대해서만 sum -> rank-k approximation 얻을 수 있음

       - k에 따른 이미지 보존 시각화(Fig 4.12)

  - 원본 - approximation 간 error -> norm 사용

    - Spectral norm of matrix - Largest singular value의 관계

    - Eckart-Young Theorem

      - rank-k approximation 사용 시, 얼마나 error가 나는지 계산 가능

      - Idea : Full rank A를 lower dimension(rank k)에 projection한 결과라고 생각

 

4.7 Matrix Phylogeny

  - Fig 4.13 - Matrix의 계통도