데이터마이닝을 위한 기본 통계와 확률

모집단에서 표본으로: 무엇을 관측하고 무엇을 추론하는가?

통계는 관측한 자료를 요약하는 일과, 그 자료를 바탕으로 더 넓은 대상을 추론하는 일을 다룬다. 모집단은 관심을 가진 대상 전체이며 표본은 그중 실제로 관측한 일부다. 자료가 많다고 자동으로 모집단 전체가 되는 것은 아니다. 먼저 ‘누구에 대한 결론을 내리려는가’를 정해야 표본이 적절한지 판단할 수 있다. 예를 들어 수업 수강생의 공부 시간을 알고 싶다면 해당 수업 전체 수강생이 모집단이 될 수 있다.

모집단 전체를 조사하기에는 시간, 비용, 접근 가능성에 제약이 있다. 그래서 표본으로부터 모집단의 특징을 알아내려 한다. 이때 많은 사람을 관측했다는 사실과 대표성은 다르다. 특정 시간에 접속한 학생들만 조사하면, 관측 수가 커도 다른 생활 패턴의 학생들이 빠질 수 있다. 표본을 뽑는 과정이 결과의 신뢰성을 좌우한다.

무작위 표집은 연구자의 선호가 특정 관측을 체계적으로 선택하는 일을 줄이기 위한 설계다. 그러나 표집 방식에 따라 각 대상의 선택 확률이 같지 않을 수도 있고, 관측들이 독립적이지 않을 수도 있다. 따라서 ‘랜덤’이라는 말만으로 모든 가정을 충족했다고 생각하지 말자. 표집 단위, 선택 방식, 빠진 집단, 관측 사이의 관계를 확인해야 한다. 이 설명은 자료의 statistical sampling 개념을 독학할 수 있도록 재구성한 것이다.

AI 보충 용어로, 모수는 모집단이나 확률모형을 설명하는 값이며 표본통계량은 표본으로 계산한 값이다. 모집단 평균 μ와 표본평균 \(\bar x\)를 구분하면, 이미 알고 있는 대상과 추정하려는 대상을 혼동하지 않게 된다. 표본평균은 관측값으로 계산할 수 있지만, 그것이 모집단 평균과 정확히 같다는 보장은 없다. 표본이 바뀔 때 추정도 달라질 수 있다는 불확실성이 이후의 추론과 편향·분산 개념으로 이어진다.

평균·중앙값·최빈값과 박스플롯 읽기

기술통계는 지금 가진 자료를 간결하게 설명한다. 평균은 모든 값을 더해 관측 수로 나눈 값이다. 중앙값은 정렬한 자료의 가운데 위치다. 관측 수가 짝수이면 보통 가운데 두 값의 평균을 사용한다. 최빈값은 가장 자주 나타나는 값이다. 세 이름은 모두 대표값을 제공하지만, 자료의 어느 특징에 반응하는지가 다르다. 평균 하나만 보고 분포 전체를 안다고 생각하면 안 된다.

박스플롯은 중앙값과 사분위수로 자료의 위치와 퍼짐을 보여 준다. Q1은 제1사분위수, Q3는 제3사분위수이며 각각25백분위수와75백분위수에 해당한다. 상자의 아래와 위가 이 두 위치이고 가운데 선은 중앙값이다. \(IQR=Q3-Q1\)은 가운데50% 구간의 폭이다. third quartile을 단순히 세 번째 관측값이라고 읽으면 안 된다. 데이터 수가 달라져도 상대적 위치를 가리키는 개념이다.

상자가 길면 가운데 절반의 자료가 더 넓게 퍼졌다는 뜻이고, 짧으면 더 좁은 구간에 모였다는 뜻이다. 중앙값 선이 상자 한가운데 있지 않으면 비대칭을 의심할 수 있지만, 이것만으로 분포 모양 전체가 확정되는 것은 아니다. 수염 밖의 점은 사용하는 박스플롯 규칙에 따라 별도로 표시한 값이다. 그 점들이 반드시 측정 오류이거나 삭제할 대상인 것은 아니다.

AI 보충 설명으로 퍼짐의 계산 단위도 살펴보자. 분산과 표준편차가 쓰인다. 분산은 중심에서의 편차를 제곱하여 평균적인 크기를 측정한다. 표준편차는 분산의 제곱근이므로 원래 변수와 같은 단위로 읽을 수 있다. 표본분산에서는 어떤 추정 목적을 갖는지에 따라 분모를 n 또는 n−1로 구분해야 한다. 이 차시는 분산의 개념과 단위에 집중하며, 실제 계산에서는 사용한 정의를 먼저 적는 습관이 필요하다. IQR은 사분위수 사이의 폭이고 표준편차는 제곱편차 기반이므로 둘을 같은 숫자로 취급하지 않는다.

보충 예제: 같은 자료를 여러 요약값으로 보기

이 절의 숫자 예제는 설명을 위해 새로 만든 AI 보충 예제다. \(1,2,2,3,12\)라는 다섯 관측을 보자. 합은20이므로 평균은4이고, 가운데 세 번째 값은2이므로 중앙값은2다. 가장 많이 나온 값도2이므로 최빈값은2다. 평균과 중앙값이 다르다는 사실은 오류가 아니다. 큰 값12가 합을 끌어올려 평균이 오른쪽으로 이동한 결과다.

관측값과 평균의 차이는 \((-3,-2,-2,-1,8)\)이고, 제곱하면 \((9,4,4,1,64)\)다. 제곱합은82다. 이 다섯 값을 하나의 유한한 모집단으로 취급하여 분모5를 쓰면 분산은16.4, 표준편차는 \(\sqrt{16.4}\approx4.05\)다. 같은 자료를 모집단분산을 추정하기 위한 표본으로 취급해 분모4를 쓰면 표본분산은20.5가 된다. 어떤 분모를 썼는지 밝히지 않으면 두 정답이 충돌하는 것처럼 보일 수 있다.

12를4로 바꾸어 \(1,2,2,3,4\)로 만들면 평균은2.4로 낮아지지만 중앙값은 여전히2다. 중앙값이 일부 극단값의 크기에 덜 민감하다는 것을 이 계산에서 볼 수 있다. 그렇다고 평균이 나쁘고 중앙값만 항상 좋다는 결론은 아니다. 총합이나 제곱오차가 중요한 문제에서는 평균이 자연스럽고, 심하게 치우친 분포의 대표 위치를 설명할 때에는 중앙값이 유용할 수 있다.

마지막으로 한 요약값을 읽을 때는 단위를 붙여 보자. 시간이 자료라면 평균은 시간 단위, 분산은 시간의 제곱 단위, 표준편차는 다시 시간 단위다. 단위가 맞지 않으면 식이나 해석을 다시 살펴야 한다. 요약값들을 함께 제시하면 ‘중심이 어디인가’, ‘퍼짐이 얼마나 큰가’, ‘큰 값 몇 개가 영향을 주는가’를 나누어 설명할 수 있다.

확률변수와 분포: 값 하나보다 전체 모양을 보기

확률변수는 실험이나 관측의 결과를 수로 대응시키는 함수다. 주사위의 결과에서 눈 수를 읽을 수도 있고, 눈이 짝수이면1·홀수이면0을 읽을 수도 있다. 같은 실험이라도 어떤 함수를 선택하느냐에 따라 서로 다른 확률변수를 만든다. 관측 대상의 이름과 확률변수의 정의를 나누어 적는 것이 중요하다.

확률분포는 그 확률변수가 어떤 값들을 얼마나 가능하게 갖는지 설명한다. 이산형에서는 각 값에 확률을 붙인다. 공정한 여섯 면 주사위의 눈이라면 각 값1부터6까지의 확률이1/6이고 모두 더하면1이다. 여기에는 ‘공정하다’는 조건이 필요하다. 정육면체라는 모양만으로 눈의 확률이 같다고 보장되는 것은 아니다.

연속형에서는 밀도함수의 높이와 확률을 구분해야 한다. 구간의 확률은 밀도곡선 아래 면적이다. 특정 한 점의 밀도가 크다고 그 점 자체의 확률이 그 높이와 같은 것은 아니다. 균등분포는 지정된 구간에서 밀도가 일정한 모형이고, 정규분포는 평균 μ와 표준편차 σ에 따라 위치와 퍼짐이 달라지는 모형이다. 대칭적인 종 모양은 정규분포를 떠올리는 단서지만, 종 모양으로 보인다는 이유만으로 정규성을 증명한 것은 아니다.

자료는 uniform, normal/Gaussian, Poisson을 소개한다. 이때 원자료의 개략 설명에는 서로 다른 개념이 섞여 있어 다음과 같은 AI 수학 교정을 반영해 이해한다. 포아송분포는 일정 구간의 사건 발생 개수를 모형화하는 이산분포다. 포아송과정에서 사건 사이의 대기시간은 지수분포로 설명한다. 사건 개수와 대기시간을 같은 확률변수로 취급하면 안 된다. 또한 많은 표본을 쌓으면 모든 분포가 정규분포로 바뀐다는 일반 명제도 성립하지 않는다. 어떤 양의 분포인지와 어떤 가정을 사용하는지 먼저 적어야 한다.

확률과 우도는 무엇을 고정하는지가 다르다

확률은 모형이나 모수를 정해 놓고 어떤 자료 또는 사건이 나올 가능성을 평가한다. 자료의 그림은 평균25, 표준편차5인 정규분포를 가정한 뒤30세부터40세 사이일 확률을 곡선 아래 면적으로 설명한다. 이 상황에서는 모수가 고정되어 있고, 아직 보지 않은 관측 결과가 질문의 대상이다. 연속분포이므로30이나40이라는 점의 높이를 더하는 계산과도 다르다.

우도는 관측자료를 고정해 놓고 모수의 후보들을 비교하는 함수다. \(p(x\mid\theta)\)라는 같은 모양을 써도 x를 관측값으로 고정하고 θ의 함수로 보면 \(L(\theta;x)\)라고 읽는다. ‘이 후보 모수라면 내가 실제로 본 자료를 얼마나 잘 설명하는가’를 묻는 것이다. 우도 자체를 θ에 대한 확률분포로 자동 해석하면 안 된다. θ에 대해 합하거나 적분한 값이 반드시1이 되는 것은 아니다.

이를 이해하기 위한 AI 보충 예로 동전을 열 번 던져 앞면이 여덟 번 나온 자료를 생각하자. 앞면 확률θ를 고정하면 이런 자료의 가능도를 계산할 수 있다. 이제 자료를 고정하고 θ=0.2와θ=0.8을 비교하면 \(\theta^8(1-\theta)^2\)가 더 큰 θ 쪽이 관측을 더 잘 설명한다. 순서가 정해진 던지기열을 쓰는지, 앞면 개수만 쓰는지에 따라 조합계수가 붙지만 두 후보를 비교할 때의 모수 의존성은 같다.

방향을 외우기보다 고정된 것을 표시하는 편이 안전하다. 확률 질문에서는 ‘θ는 주어졌고 x는 가능한 관측’, 우도 질문에서는 ‘x는 관측했고 θ는 바꿔 볼 후보’라고 쓰자. 최대우도추정은 이 우도를 가장 크게 하는 θ를 찾는 원리다. 관측을 잘 설명한다고 새 자료에서도 무조건 잘 맞는다는 뜻은 아니므로, 이후 편향·분산과 일반화의 논의가 더 필요하다.

편향: 자료 선택과 모형의 경향성을 나누어 보기

자료는 bias를 통계적 또는 예측 모형이 모수를 과대·과소 추정하는 경향으로 소개하고, selection bias와 confirmation bias를 함께 보여 준다. ‘편향’이라는 한 단어 아래 서로 다른 층위의 문제가 들어 있으므로 문맥을 확인해야 한다. 표본을 어떻게 모았는가의 문제와, 학습한 모형이 어떤 예측 경향을 갖는가의 문제는 연결되지만 같은 정의는 아니다.

선택편향은 모집단을 대표하도록 관측하지 못하고 특정 방식으로 표본이 선택되는 문제다. 예를 들어 계절의 영향을 받는 현상을 한 계절 자료로만 학습하면 다른 계절에 대한 결론이 달라질 수 있다. 단순히 자료 수를 늘려도 같은 선택 방식의 누락이 계속되면 문제가 해결되지 않을 수 있다. 표본의 규모와 표집 설계를 함께 보아야 한다.

확증편향은 이미 믿는 가정을 지지하는 자료에만 더 주목하는 경향이다. 분석에서는 좋은 결과가 나온 변수 조합만 반복 확인하거나, 반례를 예외로 밀어내는 행동으로 나타날 수 있다. 이 문제를 줄이려면 예상과 다른 관측을 어떤 기준으로 검토할지 미리 생각해야 한다. 좋은 수치가 나왔다는 사실과 결론을 뒷받침하는 비교 설계가 있다는 사실을 구분하자.

예측 모형의 편향은 반복해서 학습했을 때의 평균적인 예측이 진짜 관계에서 얼마나 체계적으로 벗어나는지와 관련된다. 선형모형처럼 단순한 가정은 복잡한 관계를 충분히 표현하지 못할 수 있다. 그러나 가정을 둔다는 사실 자체가 항상 나쁜 것은 아니다. 제한된 자료에서 불필요한 복잡도를 줄이는 데 도움이 될 수도 있다. 따라서 이 차시에서 편향을 배우는 목적은 ‘편향을 무조건 없애자’가 아니라, 어떤 가정이 어떤 오차와 교환되는지 설명할 수 있게 되는 것이다.

편향과 분산: 훈련자료에 잘 맞는 것만으로 충분하지 않다

같은 학습 절차에 서로 다른 표본을 넣으면 서로 다른 모형이 나올 수 있다. 모형 분산은 이러한 학습자료 변화에 예측이 얼마나 민감하게 달라지는지를 다룬다. 자료가 조금만 바뀌어도 예측곡선이 크게 흔들리면 분산이 큰 쪽이다. 이때 분산은 앞서 원자료의 퍼짐을 계산한 분산과 관련된 수학적 개념이지만, 지금 무엇의 변동을 재는지 구체적으로 말해야 한다.

매우 단순한 모형은 관계를 충분히 표현하지 못해 체계적으로 빗나갈 수 있다. 반대로 매우 유연한 모형은 훈련관측의 작은 요동까지 따라가 새 자료에서 불안정해질 수 있다. 자료의 bias/variance tradeoff는 이 두 오차를 함께 보자는 관점이다. 훈련오차가 작아졌다고 일반화오차가 반드시 작아지는 것은 아니다. 또한 모든 상황에서 복잡도 하나만 바꾸면 두 오차가 정확히 반대 방향으로 움직인다고 단정할 필요도 없다.

제곱오차 예측에서 자주 쓰는 AI 보충 정리는, 적절한 가정 아래 기대 예측오차를 편향의 제곱, 모형 분산, 줄일 수 없는 잡음으로 나누는 것이다. 여기서 편향을 그냥 더하는 것이 아니라 편향의 제곱이 들어간다는 점이 중요하다. 잔차는 특정 관측에서 실제값과 예측값의 차이이고, 이러한 기대오차 분해의 각 항과 그대로 동일한 것은 아니다. 강의의 손상된 전사만으로 세 항의 정확한 수식을 확정해서는 안 된다.

AI 보충 적용으로, 훈련자료와 별도의 검증자료를 사용하는 이유도 여기서 생각할 수 있다. 훈련자료로 파라미터를 맞추고 검증자료로 설정을 비교하면, 암기 수준으로 훈련오차만 낮춘 모형을 선택하는 일을 줄일 수 있다. 최종 성능을 주장할 때는 설정 선택에 반복 사용한 자료와 독립적인 평가 절차를 생각해야 한다. 편향과 분산은 단순한 구호가 아니라, 왜 평가자료를 분리하고 복잡도를 조절하는지 설명하는 도구다.

상관계수 0은 모든 관계가 없다는 뜻이 아니다

자료의 correlation 설명은 두 변수의 선형적 관계를 수로 나타낸다. 여기서는 일반적인 피어슨 상관계수를 생각한다. 값이+1에 가까우면 한 변수가 클수록 다른 변수도 함께 커지는 직선 관계가 강하고, −1에 가까우면 반대 방향의 직선 관계가 강하다. 0이면 선형상관이 없다는 뜻이다. 상관의 부호는 관계의 방향을 나타내며, 양수가 좋은 관계이고 음수가 나쁜 관계라는 가치판단이 아니다.

0이라는 숫자를 곧바로 독립이라고 읽으면 안 된다. 비선형적인 관계는 상관계수에 충분히 드러나지 않을 수 있다. 이를 보여 주는 AI 보충 반례로 X가−1,0,1을 같은 확률로 가지고 Y=X²라고 하자. Y는 X로 완전히 결정되지만 E[X]=0, E[XY]=E[X³]=0이어서 공분산과 상관계수는0이다. 따라서 상관0이 모든 예측가능성의 부재를 뜻하지 않는다.

AI 보충 해석으로, 상관이 높다고 인과관계가 증명되는 것도 아니다. 두 변수를 함께 움직이게 하는 다른 요인이 있거나, 시간 추세가 겹칠 수 있다. 자료의 기본 정의에서 한 걸음 더 나아가 해석할 때에는 산점도, 표집 방식, 변수의 정의를 같이 살펴야 한다. 관측자료의 상관을 바로 개입의 효과로 바꾸어 말하지 않는 것이 안전하다.

이번 주 선형대수의 직교와도 연결해 보자. 중심을 뺀 데이터벡터의 내적은 공분산 계산과 연결되므로 직교와 무상관이 관련될 수 있다. 그러나 벡터들이 선형독립이라는 것, 두 데이터벡터의 내적이0이라는 것, 두 확률변수가 독립이라는 것은 각각 다른 문장이다. 같은 ‘독립’이라는 번역이나 비슷한 그림만 보고 서로 치환하지 말자. 어떤 수학적 대상과 어떤 정의를 쓰는지 먼저 적는 습관이 필요하다.

베이즈 정리: 사전 지식을 관측 증거와 결합하기

가설 H와 관측 증거 E에 대해 베이즈 정리는 \[P(H\mid E)=\frac{P(E\mid H)P(H)}{P(E)},\qquad P(E)>0\]이다. \(P(H)\)는 증거를 반영하기 전의 사전확률, \(P(H\mid E)\)는 증거를 본 뒤의 사후확률이다. \(P(E\mid H)\)는 H가 참일 때 E를 관측할 가능성이고, H의 후보를 비교하는 관점에서는 우도 역할을 한다. 분모 \(P(E)\)는 증거의 전체 확률로 정규화 역할을 한다.

조건의 순서가 핵심이다. H일 때 E가 자주 관측된다는 말과, E를 봤을 때 H가 참일 가능성이 높다는 말은 자동으로 같지 않다. 사전확률과 다른 가설에서 E가 나올 가능성도 함께 보아야 한다. 자료의 베이즈 그림에서 prior, likelihood, posterior의 화살표가 서로 다른 항을 가리키는 이유다. 재인식에서 prior가 단순 probability로 누락되면 사전정보의 역할이 사라지므로 원식을 기준으로 읽어야 한다.

AI 보충 예제로 두 가설 H1,H2의 사전확률이 각각1/2이고, 관측 E의 확률이 H1에서0.8, H2에서0.2라고 하자. \(P(E)=0.8\cdot0.5+0.2\cdot0.5=0.5\)다. 따라서 \(P(H_1\mid E)=0.8\cdot0.5/0.5=0.8\)이다. 두 가설의 사후확률은0.8과0.2로 더하면1이다. 같은 우도라도 사전확률이 달라지면 사후확률도 달라질 수 있음을 따로 계산해 볼 수 있다.

고정된 E에 대해 가설을 비교할 때는 분모가 공통이므로 ‘사후확률은 사전확률×우도에 비례한다’고 쓸 수 있다. 그러나 실제 확률값을 구하려면 정규화가 필요하다. 베이지안 접근은 자료가 적을 때 사전 가정을 명시적으로 활용할 수 있지만, 어떤 사전을 골라도 정답을 보장하는 방식은 아니다. 사전의 근거, 모형 가정, 관측의 의미가 바뀌면 결과도 달라진다. 베이즈 정리를 단순한 확률 방향 뒤집기 공식으로 외우지 말고, 새 증거가 기존 믿음을 어떻게 바꾸는지 계산하는 규칙으로 이해하자.

일반화: 표집·차원·규제를 함께 바라보기

자료의 마지막 질문은 ‘작은 데이터셋에서 과적합을 피하고 일반화하려면 어떻게 할까?’다. 일반화는 훈련에 사용하지 않은 관측에서도 모형이 목적에 맞게 작동하는 능력이다. 훈련자료를 잘 재현하는 것과 새 자료에서 예측이 좋은 것은 다르다. 이번 차시의 표집, 우도, 편향·분산을 배운 이유가 이 질문으로 모인다.

자료는 더 많은 데이터 수집, 데이터 증강, 베이지안 접근, 정규화를 나열한다. 데이터 수집은 관측을 늘리지만 비용이 들고 표집편향을 자동으로 없애지는 않는다. 데이터 증강은 이미지의 회전·반전·크기 변경처럼 과제의 의미를 유지할 수 있는 변형으로 학습 사례를 늘린다. 어떤 변형이 라벨을 유지하는지는 과제에 따라 다르다. 모든 이미지를 무조건 뒤집는 규칙을 쓰는 것이 아니라, 변형 후에도 정답의 의미가 유지되는지 확인해야 한다.

정규화는 적합오차 외에 모형의 복잡도나 계수 크기를 제어하는 조건을 둔다. 자료에는 제곱오차와 계수 제곱의 패널티를 나눈 그림이 있다. 손실과 패널티를 더할 때의 가중치에 따라 자료에 맞추는 정도와 계수를 제한하는 정도가 달라진다. 패널티를 더한다고 모든 문제에서 성능이 좋아진다는 뜻은 아니며, 설정은 적절한 검증 절차로 비교해야 한다.

자료 중간에는 차원 축소와 과소·과대표집도 소개된다. 차원 축소는 변수의 수를 줄여 유용한 표현을 찾는 접근이고, 과소·과대표집은 특정 집단의 관측 비율을 조절하는 접근이다. 변수 수와 관측 수를 바꾸는 것은 서로 다른 조작이다. 특히 표집 비율을 조절한 학습자료의 성능을 원래 모집단 비율에서의 성능으로 그대로 옮겨 읽으면 안 된다. 어떤 데이터를 어떤 비율로 평가했는지 확인해야 한다.

AI 보충 점검으로, 한 모형이 좋아 보이면 마지막으로 세 질문을 해 보자. 관측은 내가 예측하려는 모집단을 잘 대표하는가? 모형을 고르는 과정에서 평가자료를 반복적으로 들여다보지는 않았는가? 새 자료에서도 같은 의미를 갖는 변수와 라벨을 사용하고 있는가? 계산값 하나보다 이 질문들을 연결해 설명할 수 있을 때, 통계 개념이 실제 학습모형을 검토하는 도구가 된다.

같은 탐지기라도 사후확률은 달라진다

핵심을 내 말로 정리하기

• 표본의 수와 모집단 대표성은 별도 문제다.
• 분산·표준편차·IQR은 각각 정의와 단위를 확인한다.
• 확률은 모수를 고정하고 우도는 관측자료를 고정한다.
• 상관0·선형독립·직교·확률적 독립을 동일시하지 않는다.
• 사후확률은 사전확률과 우도를 증거에 맞추어 정규화한 결과다.