Transformation of Random Variables

 

 

 

Discrete Random Variable

PMF(probability mass function) $f_X$와 PMF $f_Y$가 있을 때 mapping $Y=g(X)$에 대한 transformation은 다음과 같다:

$$f_Y(y)=\sum_{g(x)=y} f_X(x)$$

 

간단하게는, CDF를 구해서 y값이 x와 대응하는 것으로 생각할 수 있다. 

 

 

Continuous Random Variable

continous한 경우에는 대응하는 값을 찾기 위해서 CDF를 이용하여 change of variable를 할 수 있다. 따라서 PDF $f_X, f_Y$의 CDF $F_X, F_Y$에 대해 $Y=g(X)$일 때 다음과 같다:

 

$$ \begin{align} F_Y(y) &= P(Y\le y)\\ &= P(g(X)\le y) \\ &= P(X \le g^{-1}(y)) \\&= F_X(g^{-1}(y)) \end{align}$$ 

 

이는 풀어보면 다음과 같다:

 

$$ \begin{align} F_Y(y) &= \int _{-\infty}^{y} f_Y(y)dy  \\ &= \int_{-\infty}^{y} f_{g(X)}(x)dx \\ &= \int_{-\infty}^{g^{-1}(x)} f_X(x)dx  \\ &= \int_{-\infty}^{g^{-1}(x)} (g(x))dx \end{align}$$ 

 

여기서 $f_Y(y)$를 얻기 위해 첫 번째 equation의 양변을 chain rule으로 미분하면,

 

$$\begin{align} f_Y(y) &= \frac{d}{dy}F_Y(y) \\ &=  \frac{d}{dy}F_X(g^{-1}(y)) \\ &= \frac{d F_X( g^{-1}(y))}{dg^{-1}(y)}  \frac{dg^{-1}(y)}{dy} \\ &= f_X(g^{-1}(y)) \frac{dx}{dy} \\ &= f_X (x)\frac{dx}{dy}\end{align}$$

 

을 유도할 수 있다. 

 

다만, $F_y '(y)= f_x(g(y))g'(y)$이려면 $g$가 increasing function이어야 하고, $g$가 decreasing function인 경우 -가 붙는다. 따라서 general form은, 

 

$$\begin{align}f_Y(y)= f_X (x)\left | \frac{dx}{dy} \right |\end{align} $$

 

이 된다. 

 

 

 

Multivariate PDF

이 경우 Jacobian의 determinant를 곱해주면 된다. 참조

 

이는 intuitive하게는 $dy$가 $dx$에 의해 얼마나 stretch되었는지 보여주는 값이다. 

 

---

References

[1] Transformations of Random Variables. (2009). Retrieved April 16, 2024, from https://www.math.arizona.edu/~jwatkins/f-transform.pdf  

[2] 22.2 - Change-of-Variable Technique | STAT 414. (n.d.). PennState: Statistics Online Courses. https://online.stat.psu.edu/stat414/lesson/22/22.2

Footnotes