학생 세 명의 키와 몸무게를 기록한다고 생각해 보세요. 학생 한 명이 한 행(row), 키·몸무게처럼 측정하는 항목이 한 열(column)이 됩니다. 이 숫자 표가 행렬(matrix)입니다. 행은 가로, 열은 세로이며 행렬의 크기는 항상 행의 수 × 열의 수로 읽습니다.

데이터를 숫자로 바꾸면 같은 계산을 많은 관측값에 한꺼번에 적용할 수 있습니다. 이미지도 픽셀 밝기의 표, 텍스트도 숫자 표현으로 바꿔 신경망에 넣습니다. 각 열이 무엇을 뜻하는지 정해 두어야 숫자를 해석할 수 있습니다.

스칼라(scalar)는 하나의 수입니다. 행렬에 스칼라를 곱한다는 것은 그 수를 모든 원소에 곱한다는 뜻입니다. 행렬 덧셈은 같은 행·같은 열에 놓인 값끼리 더합니다. 따라서 두 행렬의 모양이 같아야 합니다.

행렬의 뺄셈은 \(A-B=A+(-B)\)로 생각할 수 있습니다. B의 모든 원소의 부호를 바꾼 뒤 같은 위치끼리 더하면 됩니다. 이 연산은 다음 절의 행렬곱과 다릅니다.

행렬곱 \(AB\)의 한 원소는 A의 한 행과 B의 한 열을 골라, 대응하는 값들을 곱한 후 전부 더한 결과입니다. 곱할 값들의 개수가 맞아야 하므로 A의 열 수 = B의 행 수여야 합니다. 이를 inner dimensions must match라고 합니다.

안쪽 크기 k는 맞는지 확인하고, 바깥쪽 크기 m과 n은 결과의 모양으로 남깁니다. 일반적으로 \(AB\ne BA\)입니다. 역순의 곱이 불가능할 수도 있고, 둘 다 가능해도 결과가 다를 수 있습니다.

항등행렬 I는 주대각선이 1이고 나머지가 0인 정사각행렬입니다. 수에 1을 곱해도 그대로인 것처럼, 알맞은 크기의 I를 곱해도 행렬이나 벡터가 바뀌지 않습니다.

역행렬 \(A^{-1}\)은 A가 한 변환을 되돌리는 행렬입니다. 양쪽 순서 모두 \(AA^{-1}=A^{-1}A=I\)가 되어야 합니다. \(Ax=b\)에서 역행렬이 존재하면 양변 왼쪽에 \(A^{-1}\)을 곱해 \(x=A^{-1}b\)로 풀 수 있습니다.

모든 행렬에 역행렬이 있는 것은 아닙니다. 서로 다른 입력이 같은 출력으로 합쳐지면, 출력만 보고 원래 입력을 유일하게 알아낼 수 없기 때문입니다. 영공간에서 다시 연결합니다.

벡터(vector)는 순서가 있는 수들의 모음입니다. (키,몸무게)에서 순서를 바꾸면 뜻도 바뀝니다. 행벡터는 \(1\times n\), 열벡터는 \(n\times1\) 모양입니다. 값이 같아도 행·열 모양에 따라 가능한 곱이 달라집니다.

내적(dot product)은 같은 위치의 값들을 곱해 모두 더한 하나의 수입니다. 성분 수는 같아야 합니다. 신경망에서는 입력과 가중치를 내적하여 점수를 만듭니다. 표현 공간의 비교 점수로도 쓰이지만 벡터 길이의 영향도 받습니다.

실수의 0이 아닌 두 벡터에서 내적이 0이면 두 방향은 수직입니다. 이 성질을 orthogonality라고 부릅니다. 영벡터도 모든 벡터와 내적이 0이지만, 영벡터 자체에는 방향이 없습니다.

이 강의의 outer product는 열벡터 × 행벡터입니다. 모든 성분쌍의 곱을 배열하여 행렬을 만듭니다. 물리에서 배우는 3차원 cross product와 다른 연산입니다. 길이 m인 열벡터와 길이 n인 행벡터를 곱하면 \(m\times n\)이 됩니다.

행렬–벡터 곱 \(Av\)는 두 방식으로 읽습니다. 행별로 보면 A의 각 행과 v의 내적을 구합니다. 열별로 보면 v의 첫 성분으로 첫 열을, 둘째 성분으로 둘째 열을 배수 조절한 다음 더합니다. 계산 결과는 같습니다.

이 열별 해석으로 “행렬이 만들 수 있는 출력”을 “행렬의 열들을 얼마씩 섞어서 만들 수 있는 벡터”라고 이해할 수 있습니다.

선형결합(linear combination)은 벡터들에 수를 곱한 뒤 더하는 것입니다. \(2a+3b\)가 한 예입니다. 계수는 양수·음수·0 모두 가능하며, 확률처럼 합이 1일 필요가 없습니다.

span은 계수를 가능한 모든 값으로 바꿨을 때 만들 수 있는 벡터 전체입니다. \(a=(1,0)\) 하나로는 x축 위만 갈 수 있지만, \(b=(0,1)\)도 있으면 \(sa+tb=(s,t)\)로 평면 어디든 갈 수 있습니다.

이 강의의 벡터공간 판단은 비어 있지 않은 \(\mathbb R^n\)의 부분집합에서 합니다. 안의 두 벡터를 더해도 안에 있고, 어떤 실수를 곱해도 안에 있어야 합니다. 이를 closure(닫혀 있음)라고 합니다. 열공간 column space는 행렬의 열벡터들이 생성하는 공간이며, 곧 \(Av\)로 만들 수 있는 모든 출력입니다.

어떤 벡터가 다른 벡터들을 섞어서 이미 만들어진다면 새로운 방향을 추가하지 못합니다. 이런 중복이 없는 모음을 선형독립(linear independence)이라고 합니다. 엄밀히는 \(\sum c_iv_i=0\)을 만드는 방법이 모든 \(c_i=0\)인 경우뿐이라는 뜻입니다.

기저(basis)가 되려면 선형독립이면서 그 공간 전체를 생성해야 합니다. 독립이기만 하면 공간 일부에 못 갈 수 있고, 전체를 생성하기만 하면 중복이 있을 수 있습니다. 기저에 들어 있는 벡터의 수가 차원(dimension)입니다.

데이터에서도 kg 열과 같은 값을 lb로 바꾼 열은 단위만 다릅니다. 정확히 상수배인 두 열은 독립적인 새 정보를 주지 않습니다. 단지 상관이 높다는 이유만으로 정확한 선형종속이라고 단정하지는 않습니다.

영공간(null space)은 \(Av=0\)을 만족하는 입력 벡터 v 전체입니다. 0이라는 출력 하나를 뜻하는 것이 아닙니다. 어떤 행렬이든 입력 0은 0으로 보내므로 영공간에 영벡터는 항상 들어 있습니다.

0이 아닌 입력도 0으로 보내진다면 nontrivial null space라고 합니다. \(Av=0\)은 A의 각 행과 v의 내적이 전부 0이라는 말입니다. 행공간(row space)은 A의 행벡터들의 모든 선형결합입니다. 그래서 영공간의 벡터는 행공간의 모든 벡터와 직교합니다.

정사각행렬에 비자명한 영공간이 있으면 역행렬이 없습니다. \(Av=0\)인 비영벡터 v가 있으면 \(A(x+v)=Ax\)이므로 서로 다른 입력이 같은 출력이 됩니다. 출력만 보고 어느 입력이었는지 되돌릴 수 없습니다.

행렬 A를 벡터에 곱하면 보통 방향과 길이가 바뀝니다. 그런데 어떤 0이 아닌 벡터 v는 변환 뒤에도 자기 자신의 배수로 남습니다. 즉 \(Av=cv\)가 됩니다. 이때 v는 eigenvector, 배수 c는 eigenvalue입니다. c 대신 \(\lambda\)를 쓰는 책도 있습니다.

c가 양수이면 같은 방향, 음수이면 반대 방향이며 길이는 \(|c|\)배입니다. c=0이면 출력이 영벡터가 됩니다. “방향이 절대 안 바뀐다”보다 “원점을 지나는 같은 직선 위에 남거나 0으로 줄어든다”가 정확한 이해입니다.

고유벡터의 0이 아닌 배수도 같은 고유값을 가집니다. \(A(tv)=tAv=tcv=c(tv)\)이기 때문입니다. 영벡터는 어떤 c에도 식을 만족해서 특별한 방향을 알려 주지 못하므로 고유벡터에서 제외합니다.

\(Av=cv\)에서 오른쪽을 \(cIv\)로 쓰면 \((A-cI)v=0\)입니다. 우리가 원하는 v는 0이 아니므로 \(A-cI\)는 비자명한 영공간을 가져야 합니다. 정사각행렬에서 이는 역행렬이 없다는 뜻이며 행렬식이 0인 조건과 같습니다.

2×2 행렬식은 왼쪽 위·오른쪽 아래의 곱에서 다른 대각선의 곱을 뺍니다. 행렬식은 행렬이 아니라 수 하나입니다. \(A-cI\)를 만들 때는 대각선에서만 c를 빼고 나머지 원소는 그대로 둡니다.

고유값을 구한 뒤에는 그 값을 \((A-cI)v=0\)에 넣어 좌표 간의 관계를 찾습니다. 그 관계를 만족하는 벡터 중 0이 아닌 하나를 고르면 됩니다. 고유벡터는 대개 하나의 숫자쌍으로만 정해지지 않습니다.

구한 답은 다시 \(Av=cv\)에 넣어 확인합니다. 계산으로 고유값을 찾는 단계와, 그 값에 대응하는 방향을 찾는 단계는 구분해야 합니다. 고유값만 알고 있다고 그 자체가 벡터의 좌표는 아닙니다.

두 시험 점수가 대체로 함께 오르면 두 좌표가 비슷한 정보를 나눠 담고 있을 수 있습니다. PCA는 데이터가 많이 퍼진 방향을 새로운 축으로 삼아, 더 적은 좌표로 변동을 요약하는 방법입니다.

먼저 중심화(centering)는 각 값에서 그 특징의 평균을 뺍니다. 원점이 평균 위치로 옮겨집니다. 표준화(standardizing)는 평균을 뺀 뒤 표준편차로 나눕니다. 단위가 달라도 비교 가능한 규모로 맞추는 것입니다. 이 슬라이드의 PCA 예제는 표준화한 특징의 상관행렬을 사용합니다.

상관행렬의 대각선은 각 특징과 자기 자신의 상관이라 1입니다. 비대각 원소는 서로 다른 특징이 함께 움직이는 정도입니다. 표준화는 모든 PCA에서 무조건 수행하는 정의가 아니라, 특징의 단위와 목표에 따라 선택하는 전처리입니다.

자료의 상관행렬 C에서 단위 고유벡터 \(u_1=(1,1)/\sqrt2\)는 두 특징이 함께 오르는 방향이고 고유값은 1.8입니다. \(u_2=(1,-1)/\sqrt2\)는 서로 반대로 움직이는 방향이며 고유값은 0.2입니다. 이때 고유값은 해당 단위 방향을 따라 측정한 분산입니다.

한 좌표만 남긴다면 분산이 큰 \(u_1\) 방향을 고릅니다. 표준화한 데이터 z의 새 좌표는 내적 \(t=u_1^Tz\)입니다. 단위벡터를 사용하는 이유는 축의 길이를 1로 정해 좌표가 실제 투영 길이를 나타내도록 하기 위해서입니다.

다시 원래 좌표 공간으로 돌아가도 버린 방향은 복구할 수 없습니다. \(\hat z=tu_1\)은 선택한 직선 위의 근사점이고, \(z-\hat z\)가 버린 수직 성분입니다. 차원을 줄이면 단순해지지만 정보가 사라질 수 있습니다.

주사위를 한 번 던져 5가 나오는 것이 하나의 outcome입니다. 가능한 결과 전체 \(\{1,2,3,4,5,6\}\)는 sample space입니다. “3 이상”이라는 조건을 만족하는 결과 모음 \(\{3,4,5,6\}\)가 event입니다. 사건에는 결과가 하나만 들어갈 수도 있습니다.

공정한 주사위처럼 모든 결과가 똑같이 가능할 때, 사건의 확률은 만족하는 결과 수를 전체 결과 수로 나눕니다. 결과가 똑같이 가능하지 않으면 개수만 세지 말고 해당 결과들의 확률을 더해야 합니다.

확률분포는 가능한 결과 각각에 확률을 배정합니다. 이산분포에서 각 확률은 0 이상이고 전체 합은 1이어야 합니다. “at least 3”은 3을 포함하지만 “greater than 3”은 3을 제외합니다.

빈도주의(frequentist) 관점은 같은 실험을 아주 많이 반복했을 때 특정 결과가 나타나는 장기적 비율로 확률을 해석합니다. 공정한 주사위에서 6의 확률이 1/6이라는 것은 여섯 번 던질 때 반드시 한 번 나온다는 뜻이 아닙니다.

베이지안(Bayesian) 관점에서는 관측 전의 믿음 prior가 새 데이터에 의해 posterior로 갱신됩니다. prior와 posterior는 시간의 전후 자체보다 이번에 고려하는 증거를 반영하기 전·후라는 관계입니다. 다음 데이터를 만나면 이전 posterior를 새로운 prior로 사용할 수 있습니다.

두 관점이 항상 다른 숫자를 내는 것은 아닙니다. 공정한 주사위라는 정보 아래에서는 둘 다 각 면에 1/6을 줄 수 있습니다. 자료는 베이지안 신경망에서 가중치에 분포를 두고 데이터로 갱신하는 연결도 소개합니다.

여사건 \(A^c\)는 A가 아닌 모든 결과입니다. A와 여사건을 합치면 전체 표본공간이므로 \(P(A^c)=1-P(A)\)입니다. 어떤 사건이 다른 사건 안에 포함되면 작은 쪽의 확률은 큰 쪽보다 클 수 없습니다.

합집합 \(A\cup B\)는 A 또는 B 중 적어도 하나를 만족하는 결과이며 둘 다 만족해도 포함됩니다. 교집합 \(A\cap B\)는 A와 B를 동시에 만족하는 결과입니다. 일반적인 확률 문제의 or는 둘 다 되는 경우를 제외하지 않습니다.

A와 B의 확률을 그냥 더하면 공통부분을 두 번 세기 때문에 한 번 빼 줍니다. 서로 겹치지 않으면 교집합 확률이 0이라 단순 합이 됩니다.

\(P(A\mid B)\)는 B가 일어났다는 정보를 이미 알고 있을 때 A의 확률입니다. 전체 실험 중 B에 해당하는 경우만 모은 새 기준 집단에서, 그중 A도 만족하는 비율을 구합니다.

세로줄 |은 given이라고 읽습니다. 오른쪽 B가 조건이고 분모입니다. 왼쪽 A는 그 조건 아래에서 알고 싶은 대상입니다. 분모를 바꾸면 질문이 바뀌기 때문에 \(P(A\mid B)\)와 \(P(B\mid A)\)는 일반적으로 다릅니다.

분류기의 \(P(\text{digit }0\mid\text{input})\)도 같은 방식입니다. 특정 이미지가 들어왔다는 정보를 반영한 0일 확률이므로, 입력을 보지 않은 \(P(\text{digit }0)\)와 다를 수 있습니다.

독립은 한 사건이 일어났다는 정보가 다른 사건의 확률을 바꾸지 않는 관계입니다. 조건부확률이 정의될 때 \(P(A\mid B)=P(A)\)로 쓸 수 있습니다. 동전을 두 번 독립적으로 던지면 첫 결과가 둘째 결과의 확률을 바꾸지 않습니다.

일반적인 곱셈법칙은 \(P(A\cap B)=P(A\mid B)P(B)\)입니다. 독립일 때만 조건부 부분을 \(P(A)\)로 바꿔 \(P(A\cap B)=P(A)P(B)\)로 단순화할 수 있습니다. “and면 곱한다”만 외우면 조건이 빠집니다.

확률변수(random variable)는 무작위로 정해지는 실험 결과를 숫자로 바꾸는 함수입니다. 규칙 자체가 계속 바뀌는 것이 아닙니다. “동전 결과에서 앞면 수를 센다”라는 규칙은 고정되어 있고, 결과가 달라져 그 숫자가 달라집니다.

같은 결과 TTHHT에서 앞면 수 X는 2, 뒷면 수 Y는 3, 첫 앞면 전의 뒷면 수 Z는 2입니다. 한 결과에도 어떤 질문을 하느냐에 따라 다른 확률변수가 만들어집니다. 서로 다른 결과가 같은 숫자를 줄 수도 있습니다.

전체 개수는 0·1 변수의 합으로 표현할 수 있습니다. Dropout에서는 각 뉴런이 가려지면 1, 아니면 0으로 두어 가려진 뉴런 수를 셉니다. 자료는 훈련 중 독립적인 무작위 마스킹을 통해 몇몇 연결에만 의존하는 것을 줄이는 예를 사용합니다.

기댓값은 어떤 값이 얼마나 자주 나오는지를 반영한 평균입니다. 각 가능한 값 x에 그 값의 확률을 곱해 더합니다. 실제 한 번의 결과를 예언하는 숫자가 아니며, 가능한 결과 목록에 없는 값일 수도 있습니다.

합의 기댓값은 각 기댓값의 합입니다. 이 선형성은 독립이 아니어도 성립합니다. 매번 다른 결과가 나오는 동전 실험이나 dropout에서도 개별 기댓값을 더하면 평균 개수를 구할 수 있습니다.

0 또는 1을 가지며 1일 확률이 p인 변수의 기댓값은 \(0(1-p)+1p=p\). 같은 p를 가진 변수가 n개라면 합의 기댓값은 np입니다.

분산은 값이 평균에서 얼마나 멀리 흩어지는지 나타냅니다. 평균 \(\mu=E[X]\)를 빼고, 그 차이를 제곱한 뒤 평균을 냅니다. 그냥 차이를 평균 내면 양수와 음수가 상쇄되어 0이 되므로 퍼짐을 측정할 수 없습니다.

공분산은 두 변수가 함께 커지거나 반대로 움직이는 관계를 반영합니다. 일반적으로 \(\operatorname{Var}(A+B)=\operatorname{Var}(A)+\operatorname{Var}(B)+2\operatorname{Cov}(A,B)\). 독립이면 공분산이 0이라 두 분산을 더할 수 있습니다. 공분산이 0이라는 조건만으로 항상 독립이라고 역추론하지는 않습니다.

0·1 변수의 평균은 p이므로 분산은 \((0-p)^2(1-p)+(1-p)^2p=p(1-p)\)입니다. 각 제곱거리에 해당 결과가 나올 확률을 곱한 것입니다. 독립인 n개 합의 분산은 \(np(1-p)\). 기댓값의 덧셈과 달리 분산의 덧셈에는 관계에 관한 확인이 필요합니다.

“질병이 있을 때 양성일 확률”과 “양성일 때 질병이 있을 확률”은 다른 질문입니다. 전자는 질병이 있는 사람들 중에서, 후자는 양성인 사람들 중에서 비율을 구합니다. 베이즈 정리는 한 조건부확률을 이용해 반대 방향의 조건부확률을 구합니다.

B가 가설, A가 관측이면 \(P(B)\)는 prior, \(P(A\mid B)\)는 likelihood, \(P(B\mid A)\)는 posterior입니다. “가설이 맞다면 이 관측이 얼마나 가능한가?”가 likelihood입니다. likelihood를 곧바로 가설 자체의 사후확률로 읽지 마세요.

분모 \(P(A)\)는 A를 낳을 수 있는 모든 경우의 확률을 합해 구합니다. 질병 유무처럼 겹치지 않고 전체를 덮는 경우 B와 \(B^c\)에 대해 \(P(A)=P(A\mid B)P(B)+P(A\mid B^c)P(B^c)\). 숨은 변수를 합쳐 없애는 이 과정이 marginalization입니다.

주사위 결과를 0과 1로 기록할 때, 이어 붙인 기록을 유일하게 해석할 수 있어야 합니다. 0,1,10을 각각 다른 결과의 코드로 쓰면 10이 “하나의 코드”인지 “1 다음 0”인지 헷갈립니다.

접두부 코드(prefix code)는 완성된 어떤 코드도 다른 코드의 시작 부분이 되지 않는 코드입니다. 예를 들어 0,10,110,…을 쓰면 앞에서부터 완성된 코드를 차례로 읽을 수 있습니다. 자주 나오는 결과에 짧은 코드를 주면 평균 기록 길이를 줄일 수 있습니다.

확률 p인 결과 한 번의 이상적인 정보 길이는 \(-\log_2p\)입니다. 드문 결과일수록 더 큰 새 정보를 줍니다. log₂는 “2를 몇 제곱해야 이 수가 되는가”이고 \(\log_2(1/4)=-2\)입니다. 앞의 음수 부호 때문에 정보량은 2가 됩니다.

정보량이 결과 하나의 놀라움이라면, 엔트로피(entropy)는 그 놀라움의 확률 가중 평균입니다. 결과 x가 자주 나오는 만큼 \(p(x)\)를 가중치로 붙이고, 그 결과의 정보량 \(-\log_2p(x)\)을 더합니다.

한 결과가 확률 1로 정해져 있으면 불확실성이 없어 H=0입니다. 결과 개수가 같은 유한한 경우에는 모든 결과가 균등할 때 엔트로피가 가장 큽니다. 공정한 동전은 두 결과 중 어느 쪽도 미리 유리하지 않아 1 bit입니다.

계산에서는 p=0인 항을 0으로 처리합니다. \(\log 0\)을 직접 계산해 곱하는 것이 아니라, \(p\log p\)의 극한이 0이라는 약속을 사용합니다.

실제 결과는 분포 p를 따라 나오지만, 모델은 q라는 확률을 예측한다고 합시다. 결과의 발생 빈도는 p가 정하고, 모델이 그 결과에 붙인 정보 길이는 q로 정합니다. 그래서 교차엔트로피는 로그 밖은 p, 안은 q입니다.

정답이 한 클래스인 one-hot target에서는 정답 위치의 p만 1이고 나머지는 0입니다. 따라서 정답 클래스의 \(-\log_2q(\text{정답})\)만 남습니다. 정답에 높은 확률을 주면 손실이 작아지고, 낮은 확률을 주면 손실이 커집니다.

독립 예제들의 관측 정답에 부여한 확률을 곱하면 likelihood입니다. 여기에 음의 로그를 취하면 곱이 합으로 변해 각 예제의 교차엔트로피를 더한 형태가 됩니다. 이것이 자료의 negative log likelihood와의 연결입니다.

교차엔트로피에는 원래 p 자체의 불확실성과 q가 p와 달라서 생긴 추가 비용이 함께 들어 있습니다. 원래 불확실성 H(p)를 빼면 남는 불일치가 KL divergence입니다.

이산분포에서 KL은 음수가 아니고 p와 q가 같으면 0입니다. 하지만 q와 p의 순서를 바꾸면 일반적으로 값이 달라집니다. 그래서 일상적인 대칭 거리라고 생각하지 않는 편이 정확합니다.

학습에서 정답분포 p를 고정하면 H(p)는 상수입니다. 그러므로 CE를 줄이는 것은 KL을 줄이는 것과 같습니다. 뒤의 모델에서도 목표 분포와 학습 분포의 차이를 줄이는 벌점으로 연결됩니다.

연속형 값은 구간 안에서 매우 세밀하게 달라집니다. 밀도함수 f(x)를 가지는 연속분포에서는 곡선 아래 면적이 확률입니다. 이산분포처럼 “x 한 점에 붙은 높이”를 바로 확률로 읽지 않습니다.

밀도는 1보다 커도 됩니다. 좁은 구간에 분포가 몰려 있으면 전체 면적을 1로 만들기 위해 높이가 커집니다. 한 점은 폭이 0이라 밀도값이 양수여도 \(P(X=x)=0\)입니다. 이 설명은 밀도를 갖는 연속분포의 경우입니다.

가우시안 분포는 평균 \(\mu\)를 중심으로 한 종 모양 밀도입니다. \(\mu\)는 위치, 표준편차 \(\sigma>0\)는 퍼짐을 결정합니다. 분산은 \(\sigma^2\)입니다. 표준 가우시안은 평균 0, 분산 1입니다.

exp(a)는 \(e^a\)입니다. 평균에서 멀어질수록 제곱거리 때문에 지수가 더 음수가 되어 밀도가 낮아집니다. \(\sigma\)가 크면 더 넓게 퍼지지만 전체 면적은 계속 1입니다.

중심극한정리는 적절한 조건 아래 많은 확률변수의 합을 중심화·표준화하면 가우시안으로 가까워진다는 내용입니다. 자료는 독립 마스킹 수 S에 대해 \((S-np)/\sqrt{np(1-p)}\)를 사용합니다. 합이라는 사실만으로 무조건 가우시안이 되는 것은 아닙니다.

이산형에서는 가능한 값을 하나씩 더했다면, 연속형에서는 아주 작은 구간의 기여를 적분으로 모읍니다. 적분 기호가 낯설어도 역할은 “모든 위치에 걸쳐 누적한다”로 읽으면 됩니다. 평균은 값×밀도를 누적하고, 분산은 평균에서의 제곱거리×밀도를 누적합니다.

베이즈 정리도 같은 원리로 분모의 합이 적분이 됩니다. \(f(b\mid a)=f(a\mid b)f(b)/\int f(a\mid u)f(u)\,du\). u는 분모에서 모든 후보를 훑는 임시 변수입니다. 관측 a는 고정하고 후보 b에 대한 믿음을 갱신합니다.

엔트로피·교차엔트로피·KL도 합을 적분으로 바꿉니다. \(H(f)=-\int f\log_2f\), \(CE(f,g)=-\int f\log_2g\), \(KL(f,g)=\int f\log_2(f/g)\). 연속형 엔트로피는 differential entropy라고 하며 음수가 될 수 있어 이산형의 수치 해석을 그대로 옮기지 않습니다.

필기 숫자 0은 쓰는 사람마다 두께·기울기·틈이 다릅니다. “동그라미가 닫혀 있으면 0”이라는 규칙만 쓰면 틈이 있는 0이나 비슷한 6에서 예외가 늘어납니다. 복잡한 인식 문제에 규칙을 하나씩 추가하는 방식은 유지하기 어려울 수 있습니다.

머신러닝에서는 모델의 형태와 학습 방법을 정하고, 예제와 정답을 이용해 모델의 수치 설정을 조정합니다. 자료의 \(h(x,\theta)\)에서 x는 입력, \(\theta\)는 매개변수, h는 둘을 결합하는 계산 규칙입니다.

예측은 현재 매개변수를 그대로 사용해 답을 계산하는 것입니다. 학습은 예측과 정답을 비교해 매개변수를 바꾸는 것입니다. 새로운 입력을 넣었다는 사실만으로 모델이 학습한 것은 아닙니다.

회색조 이미지는 픽셀마다 밝기를 가진 숫자 표입니다. 이를 신경망에 넣기 위해 일정한 순서로 한 줄로 펼칠 수 있습니다. 자료 그림에서는 0은 흰색, 0.5는 회색, 1은 어두운 픽셀입니다.

벡터화(vectorization)는 배열 방식을 바꾸는 것이지 픽셀값을 새로 학습하는 것이 아닙니다. 자료의 순서는 첫 열을 위에서 아래로 읽고, 그다음 열로 넘어가는 방식입니다. 다른 순서를 사용할 수는 있지만 학습과 예측에서 일관되어야 합니다.

벡터의 위치는 픽셀 위치에 대응합니다. 숫자 목록이 같더라도 순서를 바꾸면 모델이 보는 위치 정보가 달라져 같은 입력이라고 할 수 없습니다.

자료의 예에서는 \(x_1\)은 수면 시간, \(x_2\)는 공부 시간입니다. 퍼셉트론은 이 숫자들을 가중합한 점수 z를 만든 뒤, 문턱과 비교해 두 클래스 중 하나를 선택합니다.

여기서 -1은 평균 미만의 성과, +1은 평균 이상의 성과라는 분류 라벨입니다. 실제 시험 점수나 확률이 아닙니다. \(\theta=(-24,3,4)\)의 순서는 편향 \(\theta_0\), 첫 가중치 \(\theta_1\), 둘째 가중치 \(\theta_2\)입니다.

가중치 4는 다른 입력을 고정한 채 공부 시간을 1 늘리면 이 모델의 z가 4 늘어난다는 뜻입니다. 현실에서 공부가 성적에 미치는 인과효과를 입증하는 숫자는 아닙니다.

편향 b는 가중합에 더해지는 상수입니다. 입력이 모두 0이어도 점수는 b일 수 있습니다. 편향을 바꾸면 같은 입력에서 점수가 달라지고, 분류를 나누는 위치가 이동합니다.

결정경계(decision boundary)는 이 모델에서 \(z=0\)인 입력들의 집합입니다. \(3x_1+4x_2-24=0\)은 평면의 직선입니다. 한쪽에서는 z가 양수, 다른 쪽에서는 음수가 됩니다.

입력을 바꾸면 고정된 경계 위에서 관측점이 움직입니다. 매개변수를 바꾸면 경계 자체가 이동하거나 회전합니다. 하지만 가중치를 아무리 바꿔도 하나의 직선 경계가 원이나 여러 떨어진 영역으로 변하지는 않습니다. 모델 구조의 표현력 한계입니다.

인공 뉴런은 입력을 받아 각 입력에 가중치를 곱하고, 전부 더한 뒤 편향을 더합니다. 이 점수가 z입니다. 그다음 활성화함수 f를 통과시켜 출력 y를 만듭니다. 자료는 이 활성화 전 점수를 logit이라고 부릅니다.

x는 현재 사례의 입력, w는 각 입력의 기여를 조절하는 값, b는 상수 이동량, z는 변환 전 점수, y는 변환 후 출력입니다. f가 어떤 함수인지에 따라 출력의 의미가 달라집니다. 앞의 퍼셉트론은 계단형 활성화를 쓴 뉴런으로 볼 수 있습니다.

생물학적 뉴런의 비유는 입력을 모으고 전달하는 흐름을 이해하기 위한 것입니다. 수학적 뉴런이 실제 뇌세포의 모든 작용을 그대로 재현한다는 뜻은 아닙니다.

뉴런 하나의 출력을 다른 뉴런의 입력으로 연결하면 신경망을 만들 수 있습니다. 입력층은 처음 관측한 수치들을 받고, 은닉층은 중간 표현을 계산하며, 출력층은 과제에 필요한 최종 결과를 냅니다.

feed-forward는 정보가 입력에서 뒤쪽 층으로 앞으로 흐르는 구조입니다. 한 층의 값을 계산한 뒤 그 값을 다음 층에 전달합니다. hidden은 사용자에게 정답으로 주어지는 값이 아닌 중간 계산값이라는 뜻이지, 암호화되어 있다는 뜻이 아닙니다.

모든 층의 뉴런 수가 같을 필요도, 모든 뉴런이 다음 층의 모두와 연결될 필요도 없습니다. 모델 설계에 따라 폭과 연결을 정합니다. 출력의 뜻도 과제에 따라 다릅니다. (개 존재, 고양이 존재)는 둘 다 1일 수 있지만 숫자 하나의 분류는 한 클래스가 정답입니다.

이 장은 받는 뉴런 하나의 가중치를 W의 한 열에 저장합니다. 입력이 m개이고 출력 뉴런이 n개이면 W는 \(m\times n\). 입력 x가 \(m\times1\)이므로 실제 계산은 \(W^Tx\)로 해야 모양이 맞습니다. T는 행과 열을 바꾸는 전치입니다.

전치한 W의 각 행과 입력 x의 내적이 각 뉴런의 점수입니다. 그 후 편향을 더하고, 활성화를 좌표마다 적용합니다. element-wise는 각각 따로 변환하라는 뜻이며 출력값들을 전부 더하라는 뜻이 아닙니다.

선형대수 장의 \(Wx+b\)와 겉모양이 달라도 저장 약속이 다른 것입니다. 익숙한 공식을 무조건 쓰기보다 W의 행·열 의미와 차원을 확인하세요.

활성화가 \(f(z)=z\)이면 점수를 그대로 내보내는 선형 뉴런입니다. 주문 수량에 단가를 곱해 더하는 가격 계산처럼 출력이 일반적인 수치일 때 자연스럽습니다. 모든 출력을 0~1로 만들 필요는 없습니다.

하지만 선형·아핀 변환만 여러 번 쌓으면 하나의 아핀 변환으로 합칠 수 있습니다. \(h=Ax+b,\ y=Bh+c\)를 대입하면 \(y=(BA)x+(Bb+c)\)입니다. 편향이 있는 경우 엄밀한 이름은 아핀(affine)이지만 자료는 선형 뉴런 문맥에서 설명합니다.

층을 더 많이 쌓았다는 사실만으로 표현 가능한 관계의 종류가 늘지는 않습니다. 중간에 비선형 활성화를 넣어야 단일 아핀 식으로 합쳐지는 한계를 벗어날 수 있습니다.

활성화함수는 가중합을 계산한 뒤 점수를 어떻게 바꿀지 정합니다. 같은 z라도 함수를 바꾸면 출력 y가 달라집니다. sigmoid는 \(1/(1+e^{-z})\)로 유한한 실수 z를 0과 1 사이로 보냅니다. z=0에서 0.5이고 양쪽 끝에서는 0 또는 1에 가까워집니다.

tanh는 -1과 1 사이의 값을 냅니다. 0에서 0이고 음수 입력은 음수 출력, 양수 입력은 양수 출력을 만듭니다. sigmoid와 모두 S자이지만 중심과 출력 범위가 다릅니다.

ReLU는 \(\max(0,z)\)입니다. 음수는 0으로, 0 이상은 그대로 내보냅니다. max는 더 큰 것을 선택하라는 말입니다. ReLU는 양수 쪽에서 직선이지만 0에서 꺾이므로 전체 함수는 비선형입니다.

최종 점수 (2,1,0)는 2가 1보다 크고 합도 1이 아니므로 그대로 확률이라고 읽을 수 없습니다. 서로 배타적인 클래스 중 하나를 고르는 과제에서는 여러 점수를 확률분포로 정규화할 수 있습니다.

먼저 각 점수에 지수함수를 적용해 양수로 만듭니다. 그다음 모두 더한 공통 분모로 각각 나눕니다. 분자 하나가 전체 기여 중 차지하는 몫이라 합은 1이 됩니다.

분모를 공유하므로 한 점수를 바꾸면 다른 클래스 확률도 달라집니다. sigmoid를 각각 독립 적용한 값은 합이 1일 필요가 없지만 softmax는 한 분포로 묶입니다. softmax는 최대값만 1로 만드는 함수도 아닙니다.

MNIST 숫자 한 장은 0~9 중 하나를 정답으로 가지므로 열 개의 대안이 서로 배타적입니다. softmax의 열 확률 중 가장 큰 위치의 숫자를 예측 라벨로 고릅니다. 확률 벡터와 최종 라벨은 같은 물건이 아닙니다.

개와 고양이가 함께 있는지처럼 여러 답이 동시에 참일 수 있는 과제에는 “전체 합 1인 하나의 선택”이라는 의미가 맞지 않습니다. 출력 차원이 같아도 무엇을 뜻하는지 먼저 정해야 합니다.

여기까지의 forward computation은 입력→가중합→활성화→출력으로 흐르며, 현재 매개변수를 사용합니다. 잘 맞는 매개변수를 어떻게 얻는지는 다음 장의 학습 문제입니다.

영수증에는 음식 수량과 총액이 있지만 단가를 모른다고 합시다. 수량은 입력 x, 총액은 정답 t, 우리가 추정하는 단가는 가중치 w입니다. 현재 단가로 계산한 총액 y가 예측입니다. 학습에서는 주어진 수량·정답을 두고 단가 추정값을 바꿉니다.

자료의 잔차는 \(t-y\)입니다. 정답보다 작게 예측하면 양수, 크게 예측하면 음수입니다. 그냥 잔차를 합하면 양수와 음수가 상쇄될 수 있으므로 제곱하여 손실을 만듭니다.

i는 예제 번호입니다. \(1/2\)는 미분할 때 제곱에서 나오는 2와 상쇄되어 식을 간단히 합니다. 이 장의 목적함수는 제곱오차의 합에 1/2를 곱한 것입니다. 평균제곱오차와 계수가 다르므로 문제의 정의를 따라야 합니다.

손실을 가중치의 함수로 그리면 가로축은 가중치, 높이는 손실입니다. 점 하나는 모델의 한 설정을 나타냅니다. 입력값의 변화 곡선과 혼동하지 마세요. 가중치를 조금 바꿀 때 손실이 얼마나 변하는지가 미분계수입니다.

가중치가 하나라면 \(dE/dw\)라는 수로 표현합니다. 양수이면 w를 조금 늘릴 때 E가 증가하는 방향이고, 음수이면 w를 늘릴 때 E가 감소하는 방향입니다. 가중치가 여러 개면 다른 가중치를 고정하고 하나씩 변화시킨 편미분들을 모아 gradient 벡터를 만듭니다.

기울기는 해당 지점에서 가장 빠르게 증가하는 방향을 가리킵니다. 그래서 손실을 줄이려면 그 반대인 음의 기울기 방향으로 작은 걸음을 옮깁니다. 등고선(contour)은 손실 높이가 같은 점을 연결한 선입니다.

경사하강법은 현재 위치의 기울기를 구하고, 반대 방향으로 이동한 뒤, 새 위치에서 기울기를 다시 구하는 반복입니다. 학습률 \(\varepsilon\) 또는 \(\eta\)는 한 번에 얼마나 크게 이동할지 정하는 양수입니다.

가중치는 훈련으로 바뀌는 parameter입니다. 학습률은 갱신 크기를 정하는 hyperparameter입니다. 기울기가 방향을, 학습률이 이동 크기를 조절합니다.

학습률이 너무 작으면 느립니다. 너무 크면 낮은 손실 지점을 지나쳐 진동하거나 발산할 수 있습니다. 따라서 경사하강법이라는 이름만으로 매번 손실이 내려간다고 보장되지는 않습니다. 적절한 크기의 걸음이 필요합니다.

선형 뉴런 \(y=\sum_kw_kx_k\)에 제곱오차를 사용하면 각 가중치의 기울기는 \((y-t)x_k\)입니다. 예측이 정답과 얼마나 다른지에, 해당 가중치와 연결된 입력값을 곱합니다. 입력 xₖ가 크면 같은 오차에서도 그 가중치의 영향이 큽니다.

기울기를 빼는 식과 잔차 \(t-y\)를 이용해 변화량을 더하는 식은 같은 식입니다. 양의 입력에서 과소예측(t>y)이면 가중치를 증가시킵니다. 입력이 음수이면 같은 직관을 그대로 적용하지 말고 부호를 계산해야 합니다.

여러 예제를 한 번에 쓰는 자료의 full-batch 식은 예제별 기여를 합합니다. 모든 가중치의 기울기는 동일한 이전 가중치를 기준으로 계산한 뒤 함께 갱신합니다.

시그모이드 뉴런은 가중치→점수 z→출력 y→손실 E의 순서로 영향을 전달합니다. 가중치를 조금 바꿨을 때 손실이 얼마나 바뀌는지 알려면 중간 단계의 변화를 연결해야 합니다. 연쇄법칙은 이 국소 변화율들을 곱합니다.

첫 항 y−t는 출력이 손실에 미치는 영향, 둘째 \(y(1-y)\)는 점수가 시그모이드 출력에 미치는 영향, 셋째 xₖ는 가중치가 점수에 미치는 영향입니다. 선형 뉴런과 비교하면 가운데 활성화 미분항이 추가되었습니다.

시그모이드는 중앙에서 민감하고 양끝에서 평평합니다. y=0.5이면 미분은 0.25, y=0.1 또는 0.9이면 0.09입니다. 출력이 0·1에 가까우면 이 항이 작아져 다른 조건이 같을 때 가중치 변화도 작아집니다.

기울기를 구했으면 갱신 규칙 자체는 같습니다. 이전 가중치에서 학습률×기울기를 뺍니다. 시그모이드라고 경사하강법의 부호가 바뀌는 것이 아니라 기울기 계산에 활성화의 민감도가 들어갑니다.

편향 b는 입력이 항상 1인 가상의 연결의 가중치로 볼 수 있습니다. \(z=\sum w_kx_k+b\cdot1\)로 쓰면 같은 계산 방법을 적용할 수 있습니다. 자료에서 식에 편향이 생략되더라도 이 해석으로 포함할 수 있습니다.

출력층은 예측과 정답을 바로 비교할 수 있습니다. 은닉층 가중치는 최종 손실에 간접적으로 영향을 줍니다. 은닉값이 뒤층 계산을 바꾸고 그 결과가 출력과 손실을 바꾸기 때문입니다.

역전파(backpropagation)는 출력 쪽에서 계산한 변화율을 뒤에서 앞으로 전달하며 각 가중치에 대한 손실의 기울기를 효율적으로 구합니다. 핵심 원리는 연쇄법칙입니다. 한 값이 여러 경로로 손실에 영향을 주면 경로별 기여를 합해야 합니다.

순방향 계산은 예측과 중간값을 구하고, 역전파는 기울기를 구하며, 경사하강법은 그 기울기로 가중치를 갱신합니다. 이들은 이어서 쓰이지만 같은 단어가 아닙니다. 해당 슬라이드는 역전파의 동기와 원리를 소개합니다.

경사하강법의 변형들은 한 번의 갱신에서 기울기에 기여하는 예제 수가 다릅니다. full-batch는 훈련 데이터 전체, 이 자료의 stochastic은 예제 한 개, minibatch는 선택한 작은 묶음을 사용합니다.

전체 데이터의 기울기는 모든 예제의 평균적 요구를 반영합니다. 한 예제의 기울기는 그 예제에 따라 방향이 흔들릴 수 있습니다. 미니배치는 계산 효율과 변동 사이를 절충합니다. 여기서 stochastic이라는 이름은 예제 선택으로 갱신이 확률적으로 달라지는 데서 옵니다.

평평한 손실 지형에서는 기울기가 작아서 갱신이 느려질 수 있습니다. 확률적 기울기는 서로 다른 국소 방향을 제시할 수 있지만 언제나 더 빠르거나 전역 최적점을 보장하는 것은 아닙니다.

epoch은 훈련 데이터 전체를 한 번 통과한 것입니다. update는 가중치를 한 번 바꾸는 동작입니다. 한 epoch 안에 여러 update가 있을 수 있습니다. 배치 크기를 바꾸면 한 바퀴에 갱신하는 횟수가 달라집니다.

N개 데이터를 크기 B로 나누고 마지막 남은 예제도 사용하면 보통 한 epoch당 갱신 수는 \(\lceil N/B\rceil\)입니다. 정확히 나누어 떨어지는 자료 예제에서는 N/B입니다. 남는 묶음을 버리는 별도 규칙이 있으면 그 규칙을 따릅니다.

또 기울기를 “합”하는지 “평균”하는지 확인합니다. 자료의 갱신 공식은 예제 기여를 합하지만 평균을 쓰면 배치 크기로 나눈 값이 됩니다. 같은 학습률이라도 갱신 크기가 달라지므로 손실 정의와 일치시켜야 합니다.

완전 연결된 두 층 사이에서는 입력 하나와 받는 뉴런 하나의 연결마다 가중치가 있습니다. 입력 m개, 출력 n개이면 가중치는 mn개입니다. 받는 뉴런마다 편향 하나를 사용하면 편향 n개를 추가합니다.

은닉 뉴런이나 층을 늘리면 더 다양한 함수를 표현할 여지가 생깁니다. 하지만 “표현력이 더 크다”와 “새 데이터 성능이 더 좋다”는 같은 말이 아닙니다. 적은 데이터의 우연한 모양까지 따라가면 과적합할 수 있습니다.

반대로 너무 단순하면 데이터의 중요한 관계도 표현하지 못합니다. 적절한 복잡도는 데이터와 학습·검증 결과를 함께 보고 정합니다. 층을 늘렸다는 사실만으로 결과의 우열을 단정하지 않습니다.

optimization은 주어진 훈련 데이터의 손실을 줄이는 문제입니다. generalization은 학습에 사용하지 않은 새 예제에서도 잘 작동하는 능력입니다. 훈련 손실을 아주 낮게 만드는 것만으로 일반화가 해결되지는 않습니다.

과적합(overfitting)은 훈련 예제의 우연한 세부까지 따라가며 새 예제로 일반화하는 성능이 좋지 않은 현상입니다. 관측점에 딱 맞는 높은 차수의 곡선이 점 사이에서 크게 휘어, 새 관측을 잘 예측하지 못할 수 있습니다.

훈련에 사용한 같은 문제로만 평가하면 이미 그 문제에 맞춰 조정했다는 점이 평가에 섞입니다. 그래서 새 데이터를 떼어 두고 평가해야 합니다. 다만 곡선 하나만으로 원인을 완전히 확정할 수는 없으므로 훈련·검증 결과를 함께 읽습니다.

훈련 데이터(training)는 기울기를 계산하고 가중치를 학습하는 데 사용합니다. 검증 데이터(validation)는 학습률·배치 크기·모델 구조·멈출 시점 등 개발 중의 선택에 사용합니다. 테스트 데이터(test)는 선택을 마친 모델의 최종 성능 평가에 사용합니다.

검증 데이터로 모델을 선택하는 것은 그 데이터의 정보를 개발 과정에 사용하는 것입니다. 따라서 최종 보고를 위해서는 그 선택에도 사용하지 않은 테스트 집합이 필요합니다. 테스트 결과를 보고 계속 모델을 고르면 더 이상 독립적인 최종 시험이 아닙니다.

분할 비율 자체는 설계 선택입니다. 60/20/20이라는 수를 모든 문제에 고정하기보다 각 집합이 어떤 역할을 담당하는지 이해하세요. 세 집합은 서로 겹치지 않도록 나눕니다.

학습이 진행되면서 훈련 손실은 계속 줄어도 검증 손실은 어느 순간 다시 올라갈 수 있습니다. 이후의 학습이 훈련 예제에는 더 맞지만 새 예제에 좋은 상태를 지나쳤다는 신호가 될 수 있습니다.

early stopping은 검증 성능을 기준으로 더 늦은 학습 상태를 계속 채택하지 않는 방법입니다. 자료 예에서는 검증 손실이 가장 낮은 epoch의 모델을 선택합니다. 마지막 epoch의 가중치를 무조건 사용하는 것이 아닙니다.

검증이 나빠지는 이유를 언제나 과적합 하나로 확정할 수는 없습니다. 훈련 손실부터 높다면 모델 표현력이나 최적화 등 다른 문제를 살펴볼 수 있습니다. 곡선은 진단 근거이며 모든 원인의 증명은 아닙니다.

가중치는 훈련으로 학습하지만 학습률·배치 크기·은닉층 폭 같은 설정은 개발 과정에서 선택합니다. 이런 설정들이 hyperparameters입니다. 설정 후보를 바꿔 모델을 훈련하고 검증 결과를 비교할 수 있습니다.

grid search는 각 설정의 후보 목록을 정한 뒤 모든 조합을 시도합니다. 한 설정만 하나씩 바꾸는 것과 다릅니다. 후보 조합 수는 각 목록의 크기를 곱해 구합니다.

비교 결과는 검증 데이터로 선택하고, 테스트 데이터는 최종 단계로 남깁니다. 후보가 많아지면 계산량도 빠르게 늘어나므로 “전체 조합”이라는 의미를 이해하는 것이 중요합니다.

학습을 시작하기 전에 무엇을 보고 무엇을 예측할지 정해야 합니다. 입력 표현은 관측 데이터를 모델에 넣는 방법을, 출력 정의는 정답과 출력층 크기를 결정합니다. 이후 모델 정의, 데이터 분할, 훈련, 검증을 통한 선택, 최종 테스트로 이어집니다.

자료의 마지막 범위에는 normal, benign tumor, malignant tumor의 세 클래스를 구별하는 이미지 예제가 등장합니다. 여기서는 의학적 정의보다 세 대안을 위한 세 출력 확률이라는 구조가 학습 포인트입니다.

최종 테스트는 모델 선택 반복 밖에 둡니다. 검증으로 설정을 조정할 수 있지만, 테스트 결과를 매번 보고 선택하면 최종 평가에 개발 선택이 섞입니다.