[MML] Chap 5. Vector Calculus

이제 선형대수학에서 벗어나 벡터 미적분학을 다루는 챕터로 들어왔습니다. 정말 중요한 내용인데 제가 빼먹고 적지 않았을 수 있습니다.

 

5.1 Differentiation of Univariate Functions

  - Taylor polynomial -> Taylor series at $x_{0}$ -> Maclaurin series($x_{0}=0$)

    - Ex 5.3: "Analytic", Ex 5.4: $f(x) = sin(x) + cos(x)$

  - 각종 미분 규칙

    - Product, Quotient, Sum, Chain

 

5.2 Partial Differentiation and Gradients

  - 이제 다변수 미분 -> 편미분

    - Product, Sum, Chain

 

5.3 Gradients of Vector-Valued Functions

  - 좀 더 확장해서, 벡터함수의 미분

    - Jacobian

      - Collection of 1st-order partial derivatives of vector-valued function

      - Chap.6 확률 파트에서 change of variable - transformation에서 사용

      - Mapping을 identify하는 2가지 접근법

        - 선형대수적으로, basis change를 하는 transform matrix를 찾기(Chap. 2)

        - Non-linear mapping일 수도 있으니, 편미분을 이용한 더 일반적인 방법

          - Jacobian represents coordinate transform

          - Jacobian determinant : scale of volume or area

 

5.4 Gradients of Matrices

  - 이제는 matrix A(m*n)의 gradient를 다른 matrix B(p*q)로 계산

    - 이 때 Jacobian J의 dimenstion : (m*n)*(p*q), 4차원

    - 복잡하면 A, B를 각각 m*n, p*q vector로 reshape, J 계산(dim = (mn)*(pq))

    - Ex 5.12 : matrix-vector, Ex 5.13 : matrix-matrix

 

5.5 Useful Identities for Computing Gradients

  - 10가지 성질 소개

 

5.6 Backpropagation and Automatic Differentiation

  - Optimize는 chap.7에서 다룰 예정

  - 식 5.109같은 걸 쌩으로 미분하기에는 너무 힘드니까, 지금까지 배운 것들을 이용해서 조각내기

  - 한꺼번에 모든 연산을 할 필요 없이, Chain rule 이용해서 이전 단계로 gradient를 던져주면 효율적임

  - Backpropagation : Automatic differentiation의 특수 케이스

    - Ex 5.14) 식 5.109를 잘게 분해해서 표현(밑바닥1 appendix처럼)

 

5.7 Higher-Order Derivatives

  - Jacobian : Collection of 1-st order

  - Hessian : Collection of 2-st order

 

5.8 Linearization and Multivariate Talyor Series

  - Multivariate Talyor series

  - Talyor polymonial

  - 이를 이용해서 locally approximation of f around $x_{0}$ 구할 수 있음