미분을 표현하는 방법은 벡터/행렬을 만나면서 확장된다.
기계학습에서 사용하는 벡터의 미분을 기술하고자 정리한다.
처음 배우는 미분적분에서의 미분은 다음과 같았다.
미분(Derivative)
변수 $x\in\mathcal{R}$와, 변수 $x$를 매개변수로 하는 미분 가능한 함수 $f : \mathcal{R} \rightarrow \mathcal{R} $의 미분은 다음과 같이 표현된다.
$f'(x) = \frac{d f}{d x} \in \mathcal{R}$
편미분(Partial derivative)
미분 가능한 다변수 함수 $f:\mathcal{R}\rightarrow\mathcal{R}$를 변수 $x$에 대해 미분하는 것을 편미분이라고 부르며, 다음과 같다.
이때 재미있는 것은 미분과 달리 (d), $\partial$을 사용한다는 점이다.
$f'_x = \frac{\partial f } {\partial x} \in \mathcal{R}$
이 다음부터는 백터/행렬의 개념이 들어간다.
그래디언트(Gradient)
열 벡터 $x\in\mathcal{R}^n$를 매개변수로 하는 미분 가능한 함수 $f:\mathcal{R}^n \rightarrow \mathcal{R}$를 벡터로 미분한 것을 Gradient라고 한다. 어찌보면 벡터의 성분에 대해 함수의 편미분을 벡터로 묶었다고도 볼 수 있다.
열 벡터 $x$로 미분하면 Gradient 는 행 벡터가 된다.
$\nabla f_{\textbf{x}} = \frac{\partial f} {\partial \textbf{x}} \in \mathcal{R}^n$
야코비안/자코비안(Jacobian)
미분가능한 벡터 함수 $\textbf{f} : \mathcal{R}^n \rightarrow \mathcal{R}^m$를 벡터 $\textbf{x} \in\mathcal{R}^n$로 미분하면 자코비안이라고 한다.
$J = \left[\begin{matrix} {\frac{\partial f_1}{\partial x_1}}&\cdots&{\frac{\partial f_1}{\partial x_n}}\\\vdots&\ddots&\vdots\\{\frac{\partial f_m}{\partial x_1}}&\cdots&{\frac{\partial f_m}{\partial x_n}}\end{matrix}\right] \in \mathcal{R}^{m \times n}$
위와 같이 표현되면 선형 함수 표현이 자연스러워진다. 예를 들어 선형함수를 표현해보자.
$\textbf{y}=f(\textbf{x})=A\textbf{x}=\left[\begin{matrix} {\frac{\partial f_1}{\partial x_1}}&\cdots&{\frac{\partial f_1}{\partial x_n}}\\\vdots&\ddots&\vdots\\{\frac{\partial f_m}{\partial x_1}}&\cdots&{\frac{\partial f_m}{\partial x_n}}\end{matrix}\right] \left[\begin{matrix} x_1 \\\vdots \\ x_n \end{matrix}\right]$
$A={\frac{\partial \textbf{y} } {\partial \textbf{x}}}$
헤시안 (Hessian)
미분가능한 함수 $f : \mathcal{R}\rightarrow\mathcal{R} $에 대해 벡터 $x\in \mathcal{R}^n$로 두 번 미분하면 다음과 같다. 헤시안은 대칭 행렬이라는 특징점이 있다.
$H(f) = \left[\begin{matrix} {\frac{\partial^2 f}{\partial x_1^2}}&\cdots&{\frac{\partial^2 f}{\partial x_1\partial x_n}}\\\vdots&\ddots&\vdots\\{\frac{\partial^2 f}{\partial x_n \partial x_1}}&\cdots&{\frac{\partial^2 f}{\partial x_n^2}}\end{matrix}\right]$
다음을 참고했습니다.