Mathematics/Statistics
Transformation of Random Variables
Discrete Random Variable PMF(probability mass function) $f_X$와 PMF $f_Y$가 있을 때 mapping $Y=g(X)$에 대한 transformation은 다음과 같다: $$f_Y(y)=\sum_{g(x)=y} f_X(x)$$ 간단하게는, CDF를 구해서 y값이 x와 대응하는 것으로 생각할 수 있다. Continuous Random Variable continous한 경우에는 대응하는 값을 찾기 위해서 CDF를 이용하여 change of variable를 할 수 있다. 따라서 PDF $f_X, f_Y$의 CDF $F_X, F_Y$에 대해 $Y=g(X)$일 때 다음과 같다: $$ \begin{align} F_Y(y) &= P(Y\le y)\\ &= P(g..
![[Statistics] Kolmogorov-Smirnov test (K-S test)](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2F8E6Wb%2Fbtrt3e9ThfH%2F59dWPCLKpa8gdksOEdsGik%2Fimg.png)
[Statistics] Kolmogorov-Smirnov test (K-S test)
Introduction K-S test는 두 가지 경우에 사용된다. 첫 번째는 추출한 샘플들이 특정한 probability distribution을 따를 것인지를 확인하는 것이고(one-sample K-S test), 두 번째는 두 개의 sample 집합을 보고 같은 probability distribution에서 추출되었는지를 확인하는 것이다(two-sample K-S test). K-S test는 non-parametric test이다. 두 함수가 continuous한 경우나 discrete한 경우 모두 사용할 수 있다. continuous한 경우에는 CDF(cumulative distribution function)을 사용하고, discrete한 경우에는 EDF(Empirical distributi..
적률생성함수(Moment Generating Function, MGF)
적률(Moment)란 Random Variable X의 n승의 expectation을 의미한다. 예를 들어 X의 1차 적률은 E(X), 2차 적률은 E(X^2) 이런 식이다. 이런 적률을 생성하는 함수로서, 다음과 같다. 이 적률생성함수를 n번 미분하여 t=0을 대입하면 X의 n차 적률을 구할 수 있다. 증명 e^(tx)는 테일러 전개에 의해 다음과 같이 표현될 수 있다. a=0을 대입하면 다음과 같다.(매클로린 급수) 양변의 expectation은 다음과 같다. 이 식의 양변을 n번 미분하고 t=0을 대입하면 적률을 구할 수 있다. 다음 예를 보자. 위와 같이 한 번 미분한 식에 t=0을 대입하면, 이를 일반화하면 다음과 같다. Continuous PDF의 경우 적분으로 expectation을 구할 수..