Mathematics
Transformation of Random Variables
Discrete Random Variable PMF(probability mass function) $f_X$와 PMF $f_Y$가 있을 때 mapping $Y=g(X)$에 대한 transformation은 다음과 같다: $$f_Y(y)=\sum_{g(x)=y} f_X(x)$$ 간단하게는, CDF를 구해서 y값이 x와 대응하는 것으로 생각할 수 있다. Continuous Random Variable continous한 경우에는 대응하는 값을 찾기 위해서 CDF를 이용하여 change of variable를 할 수 있다. 따라서 PDF $f_X, f_Y$의 CDF $F_X, F_Y$에 대해 $Y=g(X)$일 때 다음과 같다: $$ \begin{align} F_Y(y) &= P(Y\le y)\\ &= P(g..
[Linear Algebra] Applications of Determinants
determinant의 응용에 대해 다룬다. determinant를 이용한 inverse matrix의 계산 determinant는 cofactor matrix로 계산될 수 있다. 먼저 각 entry가 $a,b,c,d$인 $2 \times 2$ matrix $A$의 inverse matrix $A^-1$를 생각해 보자. 먼저 포착할 수 있는 사실은, denominator가 $A$의 determinant라는 점이다. 그럼 그 뒤의 matrix는 뭘까? 뒤의 matrix는 original matrix $A$의 각 entry의 cofactor다. 예를 들어, $(1,1)$의 $a$의 cofactor는 $d$이고, 이게 $(1,1)$ position에 들어가 있다. $(1,2)$의 $b$의 cofactor인 $..
[Linear Algebra] Determinant Formulas and Cofactors
Formulas for the Determinant determinant에 대한 formula를 만들어 보자. 먼저 $2\times 2$ 사이즈의 matrix부터 확인한다. 따라서 $2 \times 2$ matrix의 determinant는 ad-bc임을 보일 수 있다. 비슷한 방법으로 $ 3 \times 3$ matrix의 determinant formula도 구할 수 있다. 이때 어차피 같은 column에 0이 두 번 이상 나오면 singular하므로 0이 되어 사라지므로, 모든 row와 모든 column이 각 한 번씩만 나와야 한다. 이렇게 하면 각 row에서 하나의 column을 정하고, 두 번째 row가 $n-1$개의 column 중 하나를 정하는 식의 형태가 반복된다. 즉, permutatio..
[Linear Algebra] Determinant
Determinants determinant는 matrix의 항들로 구성된 scalar 값을 가지는 function이다. 1. $\det A \neq 0$이면 matrix $A$는 invertible하고, $\det A = 0$ 이면 matrix $A$는 singular하다. 2. $A$의 determinant는 n-dimensional space에서의 $A$의 부피 값과 같다. 3. determinant는 pivot의 곱으로 이루어져 있다. 이때 sign은 달라질 수 있다. 이 말인 즉슨, row elimination의 순서와 상관 없이 pivot의 곱은 항상 일정하다는 뜻이다. 중요한 점은 determinant가 matrix에 대한 많은 특징들을 explicit한 공식으로 가지고 있는 것이 아니라, ..
[Linear Algebra] Linear Independence, Basis and Dimension
Linear Independence Suppose $A$ is $m \times n$ matrix with $m < n$. Then there are nonzero solutions to $A\vec{x} = \vec{0}$. (more unknown than equations). There will be free variables. Given a set of vectors $v_1, ..., v_k$, we can think about linear combinations of these vectors, $c_1 v_1 + c_2 v_2 + \cdots + c_k v_k$. The vectors are linearly independent iff $c_1 v_1 + c_2 v_2 + \cdots + c_..