행렬과 선형 연립방정식

데이터를 숫자로 표현하면 무엇을 할 수 있을까?

데이터마이닝에서 컴퓨터가 다루는 대상은 사진, 사람, 문장처럼 다양하다. 그러나 계산을 수행하려면 이러한 대상을 수의 모음으로 표현해야 한다. 예를 들어 한 학생을 키, 몸무게, 발 크기로 나타내면 세 숫자가 하나의 관측치를 설명한다. 이 숫자들을 순서 있게 묶은 것이 벡터다. 학생이 여러 명이면 벡터를 모아 행렬을 만들 수 있다. 선형대수는 이렇게 만든 표현을 더하고, 결합하고, 다른 좌표로 옮기는 계산의 언어다.

자료는 수학을 배우는 이유를 선형대수, 통계, 최적화의 세 역할로 나눈다. 선형대수는 데이터를 표현하고 변환하는 데 쓰인다. 통계는 일부 관측으로 전체의 성질을 추론할 때 필요한 가정을 다룬다. 최적화는 여러 후보 파라미터 중 목적에 맞는 값을 찾는다. 예측 모형을 만든다고 할 때 이 셋이 함께 작동한다. 데이터 행렬을 구성하고, 어떤 확률적 관계를 가정하고, 오차가 작아지도록 파라미터를 바꾸는 것이다.

여기서 기억과 학습의 차이도 중요하다. 이미 본 학생의 정보를 그대로 저장하는 것과, 처음 보는 학생에 대해 예측하는 것은 다른 과제다. 자료의 Learning, Memorization, Inference 도식은 새로운 관측으로 넘어가는 추론이 필요함을 강조한다. 따라서 이 차시의 목적은 행렬 계산을 암기하는 데서 끝나지 않는다. 식의 각 항이 데이터의 무엇을 가리키고, 계산 결과의 크기가 왜 그렇게 되는지 읽을 수 있어야 한다.

강의에서 선형대수의 용도를 나열할 때에는 벡터 연산, 선형방정식, 좌표 변환, 차원 축소가 이어진다. 처음부터 모든 응용을 이해할 필요는 없다. 우선 ‘수의 배열에 크기와 방향이 있고, 연산에는 그 배열을 연결하는 규칙이 있다’는 점을 붙잡으면 이후 회귀모형의 긴 식도 작은 계산의 조합으로 볼 수 있다.

집합·함수·최적화 기호를 문장으로 읽기

집합은 어떤 조건을 만족하는 원소들의 모음이다. \(\mathbb R\)은 실수 전체, \(\mathbb Z\)는 정수 전체, \(\varnothing\)는 원소가 없는 공집합을 나타낸다. \(x\in A\)는 ‘x가 A의 원소다’라는 문장이다. \(A\subseteq B\)는 A의 모든 원소가 B에도 있다는 뜻이다. 자료에 나오는 cardinality는 집합의 크기, 곧 원소의 개수다. 집합에 중복 원소를 여러 번 써도 서로 다른 원소 수가 늘어나는 것은 아니다.

교집합 \(A\cap B\)는 두 집합에 함께 있는 원소를, 합집합 \(A\cup B\)는 어느 한쪽에라도 있는 원소를 모은다. 데카르트 곱 \(A\times B\)는 순서쌍의 집합이다. 자료의 \(A=\{a,b\},B=\{c,e\}\)라면 \(A\times B=\{(a,c),(a,e),(b,c),(b,e)\}\)다. 순서쌍에서 첫째 자리와 둘째 자리는 서로 다른 역할을 하므로 \((a,c)\)와 \((c,a)\)를 자동으로 같은 것으로 보지 않는다.

\(f:X\to Y\)는 함수 f가 X의 원소를 입력받아 Y의 원소를 출력한다는 뜻이다. \(f(x)=y\)는 그중 특정 입력 x의 출력이 y라는 문장이다. \(\exists\)는 ‘존재한다’, \(\forall\)는 ‘모든’이라는 양화사다. 수식을 읽을 때 이 말들이 빠지면 조건의 강도가 달라진다. 어떤 입력 하나에서 성립하는 것과 모든 입력에서 성립하는 것은 다르다.

최적화 기호도 출력값과 입력값을 구분해서 읽자. \(\max_x f(x)\)는 가장 큰 함수값을 묻는다. \(\operatorname{argmax}_x f(x)\)는 그 값을 만드는 입력 x를 묻는다. 정확히는 \(\operatorname{argmax}_{x\in X}f(x)=\{x\in X: f(x)\ge f(z)\text{ for every }z\in X\}\)처럼 쓸 수 있다. 최대점을 만드는 입력이 여럿이면 답도 집합이 된다. argmin은 부등호 방향을 바꿔 최소화 입력을 찾는 기호다. 파라미터 위의 별표는 문맥상 최적값을 나타내는 관례이며, 별표가 붙었다고 그 값이 자동으로 계산된 것은 아니다.

행과 열: 숫자의 위치가 곧 의미다

행렬은 수를 직사각형으로 배열한 것이다. 가로줄을 행, 세로줄을 열이라고 한다. 행이 m개이고 열이 n개이면 \(m\times n\) 행렬이다. ‘행×열’의 순서를 바꾸지 않는 것이 가장 먼저 필요한 습관이다. 자료의 두 행, 다섯 열짜리 배열은 \(2\times5\)다. \(5\times2\)도 원소 수는 열 개지만, 데이터의 구조와 가능한 곱셈은 달라진다.

\(A=(a_{ij})\)라고 쓰면 \(a_{ij}\)는 i번째 행, j번째 열의 원소다. 첫 번째 첨자가 행, 두 번째 첨자가 열이다. \(a_{23}\)은 2행3열이지 3행2열이 아니다. 한 행을 한 사람, 한 열을 하나의 측정 변수로 놓으면 \(a_{23}\)은 두 번째 사람의 세 번째 변수 값이다. 다만 이 해석은 데이터 행렬을 그렇게 설계했을 때의 약속이다. 항등행렬이나 변환행렬의 한 행을 무조건 사람 한 명이라고 해석하면 안 된다.

벡터는 행 또는 열이 하나인 행렬로 볼 수 있다. 열벡터 \(x=(x_1,\ldots,x_n)^T\)는 \(n\times1\)이고, 이를 가로로 놓은 행벡터는 \(1\times n\)이다. 끝의 \(T\)는 전치를 뜻한다. 화면에서 괄호 안에 같은 숫자가 보이더라도 세로인지 가로인지 확인해야 한다. 뒤에서 \(a^Tx\)가 하나의 수가 되는 이유도 이 크기에 달려 있다.

행렬을 읽을 때는 값보다 먼저 크기를 적어 보자. ‘A는 몇 행 몇 열인가? x는 몇 행 몇 열인가? 결과는 어떤 대상을 표현해야 하는가?’라는 세 질문만으로도 많은 계산 실수를 발견할 수 있다. 변수 이름이 대문자인지 소문자인지는 책마다 다를 수 있지만, 한 식 안에서 어떤 기호가 스칼라·벡터·행렬인지 일관되어야 한다. 이후 이 교재에서는 여러 방정식의 계수행렬을 C로 표기하여 자료의 a와 a전치가 혼재하는 문제를 피한다.

항등·영·삼각·대칭행렬을 구분하기

특별한 모양의 행렬은 계산을 간단히 하므로 이름을 붙여 둔다. 영행렬은 모든 원소가 0인 행렬이다. \(m\times n\) 영행렬처럼 직사각형일 수도 있다. 항등행렬 \(I_n\)은 n행n열의 정방행렬이며 주대각선만 1이고 나머지는 0이다. 크기가 맞으면 \(I_nx=x\)가 되어 벡터를 그대로 둔다. 따라서 항등행렬은 행렬곱에서 수의 1과 비슷한 역할을 한다. 영행렬과 항등행렬은 서로 바꿔 쓸 수 없다.

상삼각행렬은 주대각선 아래의 원소가 모두 0인 정방행렬이다. 하삼각행렬은 주대각선 위가 모두 0이다. ‘상삼각’이라고 해서 대각선 위 원소가 전부 0이라는 뜻이 아니다. 이름은 값이 있을 수 있는 삼각형 쪽을 가리킨다. 소거법으로 아래쪽을 0으로 만들면 뒤에서부터 미지수를 구하기 쉬워지므로 삼각 구조가 유용하다.

전치 \(A^T\)는 행과 열을 맞바꾼다. 자료의 \(A=\begin{bmatrix}6&7\\2&4\\4&1\end{bmatrix}\)는 \(3\times2\)이고, 전치는 \(\begin{bmatrix}6&2&4\\7&4&1\end{bmatrix}\)로 \(2\times3\)이다. 원소가 새로 생기거나 사라지는 것이 아니라 위치가 바뀐다. 일반적으로 \((A^T)_{ij}=A_{ji}\)다.

대칭행렬은 \(A=A^T\)인 행렬이다. 먼저 정방행렬이어야 좌우의 크기가 같아질 수 있다. 대칭은 주대각선을 기준으로 마주 보는 원소가 같다는 조건이고, 삼각은 한쪽 원소가 0이라는 조건이다. 둘은 서로 다른 조건이다. 한 행렬이 둘 다 만족할 수는 있지만, 대칭이라는 말만 듣고 삼각이라고 결론 내리면 안 된다. 전치를 두 번 하면 \((A^T)^T=A\)이며, 합의 전치는 \((A+B)^T=A^T+B^T\)다. 곱의 전치는 순서가 뒤집혀 \((AB)^T=B^TA^T\)가 된다는 점은 특히 기억해야 한다.

행렬 덧셈과 스칼라곱은 원소별 계산이다

행렬의 덧셈과 뺄셈은 같은 위치의 원소끼리 수행한다. 그러려면 두 행렬의 행 수와 열 수가 모두 같아야 한다. \(2\times3\)과 \(3\times2\)는 원소가 여섯 개씩이라는 이유로 더할 수 없다. 어느 위치끼리 대응시키는지가 정의되어 있지 않기 때문이다. 스칼라곱은 하나의 수를 행렬의 모든 원소에 곱하는 연산이다. 행렬곱과는 별개의 계산이다.

자료의 예제는 다음과 같다. \[A=\begin{bmatrix}2&1\\0&3\end{bmatrix},\quad B=\begin{bmatrix}3&1\\2&3\end{bmatrix}.\] 첫 원소는 \(2+3=5\), 오른쪽 위는 \(1+1=2\), 왼쪽 아래는 \(0+2=2\), 오른쪽 아래는 \(3+3=6\)이다. 따라서 \[A+B=\begin{bmatrix}5&2\\2&6\end{bmatrix},\qquad 3A=\begin{bmatrix}6&3\\0&9\end{bmatrix}.\] 3A에서 3은 원소마다 곱해진다. 행 개수나 열 개수가 세 배가 되는 것이 아니다.

크기가 맞을 때 \(A+B=B+A\), \(A+(B+C)=(A+B)+C\)가 성립한다. 스칼라 a,b에 대해서 \(a(A-B)=aA-aB\), \(a(bA)=(ab)A\)도 성립한다. 이 성질은 ‘숫자에서 늘 하던 규칙이 행렬에서도 어느 범위까지 유지되는가’를 알려 준다. 그러나 덧셈의 교환법칙이 성립한다고 해서 뒤에서 배우는 행렬곱도 교환된다고 생각하면 안 된다.

계산을 확인할 때는 원소 하나를 따로 추적하는 방법이 좋다. 예를 들어 결과의 2행1열은 입력의 2행1열들에서만 나왔는지 확인한다. 만약 다른 열의 값이 섞였다면 덧셈이 아니라 행렬곱의 규칙을 잘못 적용했을 수 있다. 반대로 행렬곱을 단순히 같은 자리끼리 곱하는 연산으로 처리하는 것도 흔한 오류다. 다음 절에서는 두 계산을 분명히 나눈다.

선형대수 자료 p.19 · 자료 p.20 · 검수 근거

원자료 그림 함께 보기 · p.20

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

행렬곱: 왼쪽의 행과 오른쪽의 열을 연결한다

\(A\)가 \(m\times n\), \(B\)가 \(n\times p\)일 때 AB가 정의되고 결과는 \(m\times p\)다. 안쪽 두 수 n이 같아야 한다. 결과의 \((i,j)\) 원소는 A의 i행과 B의 j열을 같은 위치끼리 곱한 뒤 모두 더한 값이다. \((AB)_{ij}=\sum_{k=1}^{n}a_{ik}b_{kj}\)에서 k는 공유되는 안쪽 차원을 따라 움직인다.

자료의 \(A=\begin{bmatrix}6&7\\2&4\\4&1\end{bmatrix}\), \(b=\begin{bmatrix}3\\1\end{bmatrix}\)를 곱하자. A는3×2, b는2×1이므로 결과는3×1이다. 첫 행은 \(6\cdot3+7\cdot1=25\), 둘째 행은 \(2\cdot3+4\cdot1=10\), 셋째 행은 \(4\cdot3+1\cdot1=13\)이다. \[Ab=\begin{bmatrix}25\\10\\13\end{bmatrix}.\] b의 첫 성분에 첫 열, 둘째 성분에 둘째 열의 가중치를 준 뒤 더한다고 읽어도 같은 결과다.

행벡터 \(a=[a_1,\ldots,a_n]\)와 열벡터 b를 곱한 ab는1×1, 즉 한 스칼라에 해당한다. 반대로 ba는n×n이다. 순서를 바꾸면 결과의 크기부터 달라진다. 일반적인 행렬곱에서는 AB와BA가 둘 다 정의되지 않을 수도 있고, 둘 다 정의되어도 같지 않을 수 있다. 따라서 ‘곱하니까 순서를 바꿔도 된다’는 수의 습관을 멈춰야 한다.

대신 결합법칙 \(A(BC)=(AB)C\)는 필요한 곱이 정의될 때 성립한다. 이 규칙은 괄호만 바꿀 수 있다는 뜻이며 A,B,C의 순서를 바꿀 수 있다는 뜻은 아니다. 분배법칙 \(A(B+C)=AB+AC\)도 성립한다. 식을 정리할 때 어떤 인수가 왼쪽에 있었는지 끝까지 유지하면 계산 규칙을 안정적으로 적용할 수 있다. 특히 \((AB)^T=B^TA^T\)에서는 전치와 함께 순서가 뒤집힌다.

선형대수 자료 p.20 · 자료 p.21 · 자료 p.22 · 검수 근거

원자료 그림 함께 보기 · p.20

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

선형방정식인지 판단할 때 보는 것은 변수다

선형방정식의 기본형은 \(a_1x_1+\cdots+a_nx_n=b\)다. 계수 \(a_1,\ldots,a_n\)과 b는 주어진 상수이며, \(x_1,\ldots,x_n\)이 미지수다. 변수들이 1차로 더해진다. 계수가 복잡하게 생겼다는 이유만으로 비선형이 되는 것은 아니다. 핵심은 미지수가 어떤 연산 안에 들어 있는가다.

자료의 첫 식 \(x_1-2x_2+3x_3=4\)는 선형이다. 두 번째 \(2(\sqrt3-3x_1)+7x_2=x_3\)도 괄호를 풀면 \(-6x_1+7x_2-x_3=-2\sqrt3\)가 된다. \(\sqrt3\)은 변수와 관계없는 상수이므로 선형성을 해치지 않는다. 식을 표준형으로 정리한 뒤 판단하면 겉모습에 덜 흔들린다.

반면 \(3x_1+\sqrt2x_2=7x_1x_2\)는 미지수끼리의 곱 \(x_1x_2\) 때문에 비선형이다. \(2x_1=3\sqrt{x_2}+2\)는 변수에 제곱근이 씌워져 있어 비선형이다. \(x_3-\sin x_2=x_1\)도 비선형이다. 특히 sin이 등장한 식을 단순히 ‘2차방정식’으로 부르면 안 된다. 다항식이 아니므로 다항식 차수2라는 분류를 적용할 수 없다.

AI 보충 구분으로 한 가지를 더 살펴보자. 선형방정식이라고 부르는 식에는 b가0이 아닌 경우도 들어간다. 한편 선형변환은 덧셈과 스칼라곱을 보존하고 반드시0을0으로 보낸다. 따라서 \(f(x)=ax+b\)를 함수로 볼 때 b가0이 아니면 엄밀한 선형변환이 아니라 아핀변환이다. 일차식이라는 학교 수학의 용어와 선형변환의 조건을 같은 의미로 쓰지 않는 것이 좋다. 이 보충 구분은 다음 차시의 변환 개념을 이해하기 위한 것이다.

여러 식을 한 번에 표현하기: Cx=b

같은 미지수들을 공유하는 여러 선형방정식을 동시에 만족시키려면 연립방정식을 풀어야 한다. m개의 식과 n개의 미지수를 가진 시스템을 \(Cx=b\)로 나타낼 수 있다. 여기서 C의 i행은 i번째 식의 계수들, x는 미지수 열벡터, b는 식마다 주어진 우변이다. \[C=\begin{bmatrix}c_{11}&\cdots&c_{1n}\\\vdots&\ddots&\vdots\\c_{m1}&\cdots&c_{mn}\end{bmatrix},\quad x=\begin{bmatrix}x_1\\\vdots\\x_n\end{bmatrix},\quad b=\begin{bmatrix}b_1\\\vdots\\b_m\end{bmatrix}.\] C는m×n, x는n×1, b는m×1이다. 식의 개수 m과 미지수 개수 n은 같을 필요가 없다.

자료의 마지막 변수 x_n을 세 변수 예제에 맞추어 x3로 통일하면 \(3x_1+40x_2+50x_3=80\), \(10x_1+20x_2+2x_3=62\), \(6x_1+8x_2+9x_3=133\)이다. 따라서 \[C=\begin{bmatrix}3&40&50\\10&20&2\\6&8&9\end{bmatrix},\quad b=\begin{bmatrix}80\\62\\133\end{bmatrix}.\] 첫 번째 행의3,40,50은 첫 식의 x1,x2,x3 순서와 맞아야 한다. 첫 번째 열3,10,6은 세 식에서 x1에 곱해진 계수들이다. 가로로 읽을지 세로로 읽을지 혼동하면 전혀 다른 시스템을 만들게 된다.

첨가행렬 \([C\mid b]\)는 계수행렬 오른쪽에 우변 열을 붙여 놓은 것이다. 세로선은 방정식의 좌변 계수와 우변을 나누는 표시이며, 별도의 곱셈 기호가 아니다. 위 예제의 첨가행렬은3×4다. 다음 차시의 행 연산은 이 행렬에 적용된다. 한 식의 양변을 같이 바꾸어야 하므로 계수만 바꾸고 우변을 그대로 두면 원래와 다른 해를 얻게 된다.

원자료에는 \(a^Tx=b\)라는 표기와 a의 인덱스가 혼재한다. 이는 전치를 붙이는 것 자체가 잘못이라는 뜻은 아니다. 만약 a를 \(C^T\)로 정의한다면 \(a^Tx=b\)도 맞다. 그러나 같은 a에 표준 계수배열 C를 넣어 놓고 다시 전치하면 크기와 식이 어긋난다. 이 교재에서는 C를 표준 계수행렬로 고정한다. 수식의 모양보다 ‘각 행이 원래 식 하나를 정확히 재현하는가’를 기준으로 확인하자.

해는 하나·무수히 많음·없음으로 갈린다

해는 모든 방정식을 동시에 만족하는 미지수의 한 묶음이다. 식 하나를 만족한다고 시스템의 해가 되는 것은 아니다. 자료의 \(x_1+x_2=5\), \(x_1-x_2=-1\)을 더하면 \(2x_1=4\)이므로 x1=2다. 첫 식에 넣으면 x2=3이다. 두 식에 모두 대입하여 \(2+3=5\), \(2-3=-1\)을 확인하면 해 \((2,3)\)이 맞음을 알 수 있다. 두 직선이 한 점에서 만나는 경우다.

\(x_1-x_2=0\)을 두 번 적은 시스템은 같은 조건을 반복한다. \(x_1=x_2=t\)인 모든 실수 t가 가능하므로 해가 무수히 많다. 식이 두 개 쓰였어도 독립적인 정보가 두 개 생긴 것은 아니다. 반대로 \(x_1-x_2=0\), \(x_1-x_2=1\)은 동일한 수가 동시에0과1일 수 없으므로 해가 없다. 평행한 두 직선으로 해석할 수 있다.

\(Cx=0\)처럼 우변이 영벡터인 시스템을 동차 연립방정식이라고 한다. 언제나 x=0이라는 자명한 해가 있다. 이것은 실제 중요한 사실이다. 다음 차시에서 고유벡터를 찾을 때 \((A-\lambda I)x=0\)을 푸는데, x=0은 항상 해이므로 이것만 찾으면 고유벡터를 찾은 것이 아니다. 그때는0이 아닌 해가 존재하는 조건을 따져야 한다.

서로 다른 모양의 연립방정식도 해집합이 같으면 동치인 시스템이다. 소거법은 바로 이 성질을 이용한다. 식을 교환하거나, 한 식에0이 아닌 수를 곱하거나, 다른 식의 배수를 더해도 해집합을 유지할 수 있다. ‘식의 모양은 바꾸되 만족하는 x의 집합은 유지한다’는 목표를 기억하면 다음 차시에서 왜 특정 연산만 허용하는지 이해하기 쉽다. 방정식의 수만 세어서 해의 개수를 단정하지 말고, 실제 조건들이 독립적인지 또는 서로 모순되는지 보아야 한다.

보충 계산: 가중합을 행렬곱으로 바꾸기

다음은 자료의 행렬곱 개념을 적용하기 위해 새로 만든 AI 예제다. 두 관측에 설명변수 두 개가 있고, 계수벡터가 주어졌다고 하자. \[X=\begin{bmatrix}1&2\\3&1\end{bmatrix},\quad w=\begin{bmatrix}2\\-1\end{bmatrix}.\] 첫 관측의 점수는 \(1\cdot2+2\cdot(-1)=0\), 둘째는 \(3\cdot2+1\cdot(-1)=5\)다. 따라서 \(Xw=(0,5)^T\)다. 관측마다 같은 w를 적용하고 서로 다른 행의 데이터를 사용한다. 이것이 선형 예측의 기본 계산이다.

직접 풀 때의 순서는 다음과 같다. 먼저 X가2×2, w가2×1임을 적는다. 안쪽2가 같으므로 곱이 가능하고 결과가2×1임을 확인한다. 다음으로 각 행과 w의 내적을 계산한다. 마지막으로 결과의 두 성분이 관측 두 개에 대응하는지 확인한다. 숫자만 계산하는 것보다 결과가 무엇을 뜻하는지 함께 검사하는 과정이다.

같은 예제에서 \(w^TX\)도 계산은 가능하지만 결과는1×2이고 값은 \((-1,3)\)이다. Xw와 같은 예측값이 아니다. 곱셈의 순서를 바꾸면 어떤 대상을 조합하는지가 바뀐다. 또 원소별로 곱하려고 하면2×2와2×1의 배열이 일치하지 않는다. 행렬곱이라는 말은 각 행의 가중합을 만들겠다는 연산 규칙까지 포함한다.

이제 손계산을 마친 뒤 스스로 설명해 보자. ‘왜 결과가 두 개인가?’에는 관측이 두 개라서라고, ‘왜 각 결과에 곱셈이 두 번 들어가는가?’에는 설명변수가 두 개라서라고 답할 수 있어야 한다. 이 해석이 익숙해지면 회귀모형에서 관측 수와 변수 수가 커져도 Xw라는 같은 구조를 읽을 수 있다. 단, 절편을 포함하려면 상수1로 된 열을 X에 추가하고 그에 대응하는 계수도 w에 넣는 등 설계가 더 필요하다.

선형대수 자료 p.20 · 자료 p.21 · 검수 근거

원자료 그림 함께 보기 · p.20

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

벡터를 움직이면, 변환 결과는?

핵심을 내 말로 정리하기

• 행렬의 크기는 행×열이며 계산 전에 먼저 확인한다.
• 행렬곱은 원소별 곱이 아니고 일반적으로 순서를 바꿀 수 없다.
• 표준 계수행렬의 각 행은 원래 방정식 한 개를 재현해야 한다.
• 동차 시스템은0이라는 해를 항상 가지며 비자명해 여부는 별도 문제다.