[Linear Algebra] Row picture, Column picture, Singular system

Introduction

두 개의 equation과 두 개의 unknown이 있는 system을 예로 들어보자.

 

$$ 2x - y = 0 \\ -x + 2y =3 $$

 

이 system은 coefficient matrix $A$와 column vector $\bf{x}$, column vector $\bf{b}$로 나타낼 수 있다.

 

$$ \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix}$$

$$ A \bf{x} = \bf{b} $$

 

---

Row picture

Row picture의 개념은 위 system을 row 방향으로 쪼개서 n개의 n-dimensional hyperplane으로 나타낸 뒤, 그 hyperplane간의 intersection을 가지고 solution을 찾는 방법이다.

 

예를 들어 위의 경우에서는 다음과 그릴 수 있을 것이다.

 

 

푸른 선이 $ 2x - y = 0 $이고, 붉은 선이 $ -x +2y = 3$이다. $(1,2)$에서 cross point가 존재하는 것을 볼 수 있다. 이 점이 두 equation을 모두 만족하는 point이다.

 

만약 3-dimensional space에서는 어떻게 될까?

 

$$ 2u + v + w= 5 \\ 4u -6v  = -2 \\ -2u+7v+2w = 9$$ 

 

를 그려보면 다음과 같다.

 

잘 보면, 하나의 점에서 세 2-dimensional plane이 intersect하는 것을 볼 수 있다. 이 점이 solution이다. 

 

하지만 3-dimensional space에서 세 개의 equation을 가지고 세 개의 2-dimensional plane을 그렸는데도 직관적으로 이해하기 힘든 면이 있다. 이러한 단점은 만약 high-dimensional space에서 solution을 찾는 경우에 더욱 부각될 것이다.

 

따라서 Column picture 방법을 사용해 보자.

 

---

Column picture

column picture는 이름 그대로 전체 linear system을 column으로 쪼개서 이해하는 방법이다. 맨 처음 예를 들었던 linear system을 생각해 보자.

 

$$ \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 0 \\ 3 \end{bmatrix} $$

$$ A \bf{x} = \bf{b} $$

 

이는 column으로 쪼개면 다음과 같이 표현될 수 있다.

 

$$ x\begin{bmatrix} 2 \\ -1 \end{bmatrix} + y\begin{bmatrix} -1 \\ 2 \end{bmatrix} = \begin{bmatrix}0 \\3 \end{bmatrix} $$

 

이런 형태로 보면 새로운 의미가 되는데, 바로, right side에 있는 column을 만드는 left side의 column vector들의 linear combination을 찾는 문제로 바뀌는 것이다.

 

직관적으로 이해하면 다음 그림과 같다.

 

위의 두 vector를 이용해서 $\bf{b}$를 만들 수 있는지에 대한 문제가 된다.

 

그런데, 위와 같은 2-dimensional space에서 두 independent한 vector의 모든 possible linear combination을 구하면 그 형태는 어떻게 될까? 바로 2-dimensional plane이 될 것이다. 즉, 이 2-dimensional plane 위에 $\bf{b}$가 찍혀 있다면, solution이 존재한다는 의미가 된다. 

 

3-dimension space에서는 어떻게 될까?

 

역시 3-dimensional space에서의 column vector들의 linear combination으로 한 point를 만들 수 있는가에 대한 문제로 바뀐다.

 

그럼 어떤 경우에 $ A \bf{x} = \bf{b} $의 solution이 존재하지 않을까?

 

위의 경우에서는 모든 경우에서 solution이 존재한다. 그 이유는 세 column vector의 linear combination이 3-d space를 완전히 채울 수 있기 때문이다. 

 

그럼 언제 채울 수 없을까?

 

세 vector가 동일한 2-d plane에 존재하는 경우이다. 이 경우에는 plane에 orthogonal한 방향으로는 아무것도 새로운 것을 만들어 낼 수 없다. 따라서 $ \bf{b} $ 가 plane 위에 존재하는 특수한 경우에는 해가 존재하지만, $ \bf{b} $가 plane 밖에 있는 경우에는 해가 존재하지 않는다. 더 일반적으로는, singular한 경우라고 할 수 있다.

 

---

The Singular case

singular system은 solution이 없는 경우와 solution이 infinite한 경우로 나눌 수 있다.

---

solution이 없는 singular case

$$ u + v + w = 2 \\ 2u + 3w = 5 \\ 3u + v + 4w =6 $$

인 경우를 생각해 보자, 이 경우 첫 번째 equation과 두 번째 equation의 왼쪽 식을 더하면 세 번째 equation의 왼쪽 식과 같아진다. 하지만 오른쪽 식의 값의 합은 $ 2+ 5 \neq 6 $이므로 equation이 inconsistent하다는 것을 알 수 있다. 

 

이 식을 직접 그려보면 다음과 같다.

 

intersection인 line이 parallel하게 세 개 형성되어서 solution이 존재하지 않는다.

 

이렇듯, 식이 inconsistent한 경우에는 한 equation이 나머지 equation에 parallel하거나, intersection line끼리 parallel하여 solution이 존재하지 않는다. ^[각주:1]

 

---

solution이 infinite한 singular case

$$ u + v + w = 2 \\ 2u + 3w = 5 \\ 3u + v + 4w =7 $$

인 경우가 해당한다. 만약 이 경우에는 첫 번째 equation과 두 번째 equation의 합이 세 번째 equation과 정확히 같다. 따라서 하나의 intersection line이 형성되어 infinitely many soultions을 갖게 된다.

 

 

---

column picture 관점에서의 singular case 해석

이 그림을 column picture의 관점에서 이해한다면, 세 column vector가 한 plane 위에 있는 경우로 생각할 수 있다. 이때 $ \bf{b} = (2,5,7)$이 가능한 것은 그 column vector로 이루어진 plane 위에 $\bf{b}$가 있었기 때문이고, $ \bf{b} = (2,5,6)$이 가능하지 않은 것은 plane 위에 $\bf{b}$가 존재하지 않기 때문인 것으로 생각할 수 있다. 

 

즉, $n$ plane이 no points in common이거나, infinitely many points를 가진다는 것은 $n$ column이 same plane에 놓여있다는 것을 의미한다.

 

---

References

• Gilbert Strang. 18.06 Linear Algebra. Spring 2010. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.
• Strang, G. (2012). Linear algebra and its applications. Thomson Brooks/Cole.

 

1. https://math.stackexchange.com/questions/1348509/if-a-system-of-linear-equations-is-inconsistent-what-does-it-mean-geometrically [본문으로]