[MML] Chap.2 Linear Algebra

오랜만에 수학을 Mathematics for Machine Learning이라는 책으로 복습 겸 공부하고 있는데, 공부하고 나서 챕터별로 주관적인 키워드를 정리해보려 합니다. 정말 중요한 개념인데 제가 빼먹고 적지 않았을 수 있습니다..

 

2.1 Systems of Linear Equations

$a_{m1}x_{1} + ... + a_{mn}x_{n} = b_{m}$ : General form of "System of linear equations" => $Ax = b$와 같은 form으로 나타낼 수 있음

 

2.2 Matrices

- Determinant

- Inverse & Transpose

 

2.3 Solving Systems of Linear Equations

- $Ax = b$를 푸는 방법 ~ special solution / general solution

- General solution 구하기 위해서는

1. $Ax=b$ 만족하는 special solution 구하고,
2. $Ax=0$ 되게 나머지 column들을 나타내면 됨.

- Augmented matrix

• 조금 더 쉽게 풀어보려면 Augmented matrix [A|b], row-echelon form 이용해서 pivot이 존재하는 basic variable 구하고, 그것들을 이용해서 나머지 free variable들을 나타낼 수 있음(Ex. 2.6)
• Augmented matrix 이용해서 역행렬도 구할 수 있음

- Reduced row-echelon form 조건 3가지

• 모든 pivot = 1
• column 내 pivot이 유일한 non-zero
• row-echelon form

- Minus-1 trick(Ex. 2.8)

 

- $Ax = b$에서 $A^{-1}$ 존재하면?

• $A^{T}Ax = A^{T}b  <=> x = (A^{T}A)^{-1}A^{T}b$

- Gaussian elimination

 

2.4 Vector spaces

- Vector space의 정의

- Vector subspace의 정의(잘 기억해뒀다가, Affine subspace와 추후 비교)

 

2.5 Linear Independence

- Linear combination

- Linear independent

• Either linearly dep. or linearly indep.
• 영벡터가 있거나, 같은 벡터가 2개 이상이면 그 vector set은 linearly dep.
• 하나가 다른 벡터들의 linear combination이거나 multiple이면 그 vector set은 linearly dep.
• Gaussian elimination으로 linear indep. 확인 가능(pivot 개수와 col 개수 비교)

2.6 Basis and Rank

- Generating set & Span

- Basis 정의

• Basis == Minimal generating set == Maximal linearly independent set

- Rank 정의 및 특징

 

2.7 Linear Mappings

- Injective, Surjective, Bijective / Isomorphism, Endomorphism, Automorphism, identity mapping

- Transformation matrix as a linear mapping

- Mapping with different basis change(B->C & B'->C', Ex. 2.24)

- Image, Kernel(Column space, Null space, Fig. 2.12)

  - General solution과 연결

  -Rank-Nullity Theorem

 

2.8 Affine Spaces

- Affine space의 정의

- Affine subspace의 특징

- Affine mapping(Linear mapping과 비교)