학습 문제와 데이터 분석 과정

다변량 데이터: 행은 관측치, 열은 변수

데이터를 분석하려면 먼저 무엇이 한 개의 사례이고 무엇이 그 사례의 특징인지 정해야 한다. 표로 정리된 자료에서 보통 한 행은 관측치 또는 샘플, 한 열은 변수다. 여러 변수를 함께 관측한 자료를 다변량 데이터라고 부른다. 행 수가 많다는 말과 변수가 많다는 말은 서로 다르다.

관측치가 \(n\)개, 입력 변수가 \(p\)개라면 입력 자료를 \(X\in\mathbb{R}^{n\times p}\)처럼 쓸 수 있다. 이 표기는 모든 입력이 수치로 표현된 경우를 생각한 것이다. \(x_{ij}\)는 i번째 관측치의 j번째 입력 값이다. 전체 행렬 \(X\), 한 행의 입력 벡터 \(x_i\), 한 칸의 값 \(x_{ij}\)를 구별하면 이후 수식이 덜 낯설어진다.

관측 단위를 먼저 정해야 하는 이유

강의안의 지역별 자료에서는 지역이 행이 되고 총확진자·검진자 같은 항목이 열이 된다. 같은 현상도 “한 행=한 지역”으로 만들 수도 있고 “한 행=한 지역의 하루”로 만들 수도 있다. 두 표는 관측 단위와 행 수의 의미가 다르다. 표의 모양이 비슷하다고 관측 단위까지 같은 것은 아니다.

이미지, 시그널, 네트워크도 관측치와 특징을 정하여 모델이 다룰 표현으로 바꿀 수 있다. 다만 원래 자료에 어떤 구조가 있는지 생각해야 한다. 이미지는 위치, 시그널은 시간 순서, 네트워크는 연결 관계가 중요할 수 있다. 행렬로 표현했다는 이유로 그 구조를 무시해도 된다는 뜻은 아니다.

• 행을 볼 때는 “이 한 사례가 무엇인가?”를 묻는다.
• 열을 볼 때는 “어떤 특성을 어떤 단위로 측정했는가?”를 묻는다.
• 셀을 볼 때는 “누락인가, 실제 0인가, 측정값인가?”를 구별한다.
• 표끼리 합칠 때는 같은 행을 가리키는 키와 같은 측정 단위를 확인한다.

이 기본 확인이 없으면 계산은 돌아가도 해석이 틀릴 수 있다. 다음 단계인 X와 Y의 구분도 관측 단위가 먼저 분명해야 올바르게 할 수 있다.

X와 Y: 예측할 것을 먼저 정한다

같은 표를 갖고 있어도 예측하려는 것이 달라지면 학습 문제가 달라진다. 예측에 사용하는 입력을 \(X\), 우리가 예측하려는 출력을 \(Y\)라고 쓰자. 한 사례로 적으면 \(x_i\)가 입력이고 \(y_i\)가 그 사례의 정답이다. 모델이 내는 예측은 정답과 구별하여 \(\hat y_i\)처럼 hat을 붙여 표시한다.

강의안의 함수 그림은 \(X\)에서 \(Y\)로 가는 관계를 \(f\)로 표현한다. 모델링은 관측된 사례들을 이용하여 \(f(x)\)가 \(y\)에 가깝도록 하는 방법을 찾는 일이다. 정답 \(y\)는 관측한 값이고 예측 \(\hat y=f(x)\)는 계산한 값이므로, 두 값을 같은 것으로 놓고 시작하지 않는다.

독립·종속이라는 이름이 인과관계를 보증하지 않는다

이 차시에서 “독립변수”는 주로 입력 역할을 나타내는 이름으로 사용한다. X에 넣었다는 이유만으로 X가 Y를 원인으로 결정한다는 사실이 증명되지는 않는다. 강의의 인과관계 그림도 모델의 입력·출력 방향을 생각하는 출발점으로 읽어야 한다. 상관관계로 예측할 수 있다는 주장과 개입의 효과를 안다는 주장은 별도다.

또한 입력은 실제 예측 시점에 알 수 있어야 한다. 내일 판매량을 예측하는데 내일 마감 후에 집계되는 매출을 입력으로 넣는다면, 과거 표에서는 계산이 잘되어도 실제로 사용할 수 없다. 이 점은 아래 AI 보충 예제에서 더 구체적으로 다룬다. 우선 “어떤 Y를 어느 시점에 예측하며 그때 어떤 X를 알 수 있는가”를 한 문장으로 적어 두자.

학습 데이터와 테스트 데이터를 나누는 까닭

모델을 만들 때 사용한 사례에서 점수가 높다는 사실만으로 새 사례에서도 잘한다고 말할 수는 없다. 정답을 외운 사람에게 같은 문제지를 다시 주면 높은 점수가 나올 수 있는 것과 비슷하다. 따라서 강의안은 데이터를 학습 자료와 테스트 자료로 구분한다.

학습 자료 \((X^{tr},Y^{tr})\)는 모델을 구축할 때 사용한다. 테스트 자료 \((X^{te},Y^{te})\)는 구축된 모델을 평가할 때 사용한다. 위 첨자 tr과 te는 각각 training과 test를 구별하는 표기이며 거듭제곱이 아니다. 입력과 정답이 같은 사례끼리 짝을 이루어야 하므로, 한 행을 테스트로 옮길 때는 그 행의 X와 Y를 함께 옮긴다.

열을 나누는 것과 행을 나누는 것은 다른 단계다

먼저 열의 역할을 정하여 입력 X와 목표 Y를 나눈다. 이어서 사례들을 학습용과 평가용으로 나눈다. 첫 단계는 “무엇을 보고 무엇을 맞힐 것인가”이고, 두 번째는 “어떤 사례로 배우고 어떤 사례로 능력을 확인할 것인가”이다. 이 두 분할을 혼동하면 학습 데이터에는 X만, 테스트 데이터에는 Y만 넣는 식의 잘못된 이해가 생긴다.

1. 목표 Y와 사용 가능한 입력 X를 정한다.
2. 관측치를 학습용과 테스트용으로 나누고 각 집합 안의 X·Y 짝을 유지한다.
3. 학습 자료로 모델의 내부 값을 정한다.
4. 완성된 모델에 테스트 입력만 넣어 예측값을 만든다.
5. 그 예측값을 테스트 정답과 비교한다.

테스트 정답을 알고 있다는 것과 학습 과정에 사용해도 된다는 것은 다르다. 평가자는 정답을 갖고 있어야 점수를 계산할 수 있지만, 모델을 만들 때 그 정답을 미리 이용하면 평가의 의미가 흐려진다. 실제로 어떤 분할이 적절한지는 미래 예측인지, 같은 사람이 반복 등장하는 자료인지 등의 조건에 따라 달라진다. 특정 비율을 모든 문제의 정답으로 외우지 않는다.

학습은 손실을 줄이는 파라미터를 찾는 과정

함수 \(f\) 안에는 데이터에 맞춰 정해야 하는 내부 값이 있을 수 있다. 이 값을 파라미터라고 부르고 보통 \(\theta\)로 묶어 쓴다. 모델을 \(f_\theta\)라고 적으면, 같은 함수 형태라도 \(\theta\) 값에 따라 서로 다른 예측을 만들 수 있다는 뜻이다.

기호를 이해하기 위한 AI 예: \(f_\theta(x)=\theta_0+\theta_1x\)라면 \(\theta_0\)는 절편, \(\theta_1\)은 기울기다. \(\theta=(5,2)\)이면 x가 1 커질 때 예측값은 2 커진다. 이 간단한 직선은 파라미터의 뜻을 보여주기 위한 예시이며 강의안의 관측 자료를 그대로 계산한 것이 아니다.

예측이 틀린 정도를 숫자로 표현한다

실제 정답과 예측값의 차이를 평가하는 함수를 손실 함수라고 부른다. 학습 자료의 손실을 \(\mathcal L_{tr}(\theta)\)라고 쓰면 학습의 목표를 다음처럼 읽을 수 있다.

argmin은 “가장 작은 손실값” 자체가 아니라 그 손실을 가장 작게 만드는 파라미터를 가리킨다. 최소 손실값과 그 값을 만드는 \(\theta^*\)는 서로 다른 대상이다. 강의안의 XOR 분류 그림과 회귀 곡선은 파라미터가 바뀌면서 모델의 경계나 곡선이 자료에 맞아 가는 모습을 보여준다.

학습 뒤 테스트 단계에서는 이미 선택된 \(\theta^*\)를 그대로 사용하여 테스트 예측을 계산하고 손실을 평가한다. 테스트 정답을 보고 다시 \(\theta\)를 맞추어 놓고 그 점수를 독립적인 테스트 성능이라고 부르면 안 된다. 또한 손실 식에 실제값과 예측값이라는 두 인수가 보인다고 해서, 그것을 “최소화할 손실 두 개”로 읽지 않는다. 학습 손실과 테스트 손실은 사용하는 관측치와 역할이 다르다.

여섯 행으로 학습·예측·평가를 직접 따라가기

다음 표와 모델은 AI가 만든 계산용 예제다. 실제 카페 자료나 강의의 실험 결과가 아니다. 저녁에 알려진 다음 날 기온 예보 x를 이용하여 다음 날 음료 판매량 y를 예측한다고 하자. 설명을 단순하게 하려고 입력을 하나만 쓰며, 단위는 각각 °C와 잔이다. 앞의 네 날은 학습용, 뒤의 두 날은 테스트용으로 미리 정한다.

직선 모델 \(f(x)=5+2x\)를 선택하면 학습 예측은 25, 29, 33, 37로 학습 정답과 같다. 이 모델의 학습 평균제곱오차는 0이다. 테스트 입력 18과 20에 대한 예측은 각각 41과 45다. 실제 테스트 정답 42와 44에 대해 예측값−실제값 오차는 −1과 1이므로 테스트 평균제곱오차는 1이다. 판매량의 단위가 잔이므로 MSE의 단위는 잔의 제곱이다.

비교를 위해 “학습에서 본 x이면 정답을 그대로 돌려주고, 처음 보는 x이면 35를 돌려준다”는 외우기 모델을 생각하자. 이 모델도 학습 오차는 0이지만 테스트에서는 35와 35를 예측한다. 테스트 MSE는 \(((35-42)^2+(35-44)^2)/2=65\)다. 학습 점수가 같은 두 모델도 새 입력에 대한 동작은 크게 다를 수 있다.

이 계산의 목적은 직선이 모든 문제의 정답이라는 주장을 하는 것이 아니다. 학습 자료 적합도와 일반화 성능을 구별하기 위해 일부러 단순한 자료와 외우기 규칙을 구성했다. 네 행·두 행이라는 분할도 권장 비율이 아니다. 실제 모델 선택을 위해 여러 방법을 반복 비교하려면 테스트를 아껴 두고 별도의 검증 절차를 마련해야 한다.

회귀와 분류: Y의 의미를 보고 문제를 정한다

지도학습은 입력 X와 정답 Y가 있는 사례에서 둘 사이의 관계를 학습하는 방법이다. 이때 예측할 Y가 연속적인 수치이면 회귀, 서로 구별되는 범주이면 분류로 문제를 생각한다. X에 숫자 열이 많으냐가 아니라 정답 Y가 어떤 의미를 갖는가가 구분의 기준이다.

손글씨 0~9를 맞히는 문제는 정답을 숫자로 적어도 분류다. 이때 9가 3보다 세 배 큰 물체라는 뜻이 아니라 서로 다른 모양의 이름을 숫자로 표시한 것이다. 반대로 판매량처럼 정수로 기록되는 양도 “얼마나 많은가”를 수치로 추정하는 목표라면 회귀 문제로 모델링할 수 있다. 숫자로 저장되었다는 사실과 수치적 크기·차이가 목표인지는 구별해야 한다.

문제 유형이 달라지면 평가도 달라진다

수치를 예측할 때는 예측과 실제의 차이가 얼마나 큰지 살펴야 한다. 범주를 예측할 때는 어떤 범주를 맞히거나 잘못 구분했는지 살펴야 한다. 범주의 번호 차이를 그대로 제곱하여 평가하면 범주 이름에 임의의 거리 의미를 넣을 수 있다. 구체적인 손실 함수는 이후에 배우더라도, 지금은 정답의 의미와 평가 기준이 연결된다는 원칙을 이해하자.

같은 업무도 질문을 바꾸면 문제 유형이 달라진다. 내일 판매량이 몇 잔인지를 묻는 것과 품절이 발생할지를 묻는 것은 각각 수치와 범주를 예측하는 별개의 목표다. 어느 질문이 실제 의사결정에 필요한지 먼저 정해야 한다.

관계 이해·예측·군집화는 무엇이 다른가

모델을 사용한다고 해서 목적이 모두 예측인 것은 아니다. 강의안은 inference, prediction, clustering을 구별한다. 이름을 한국어로만 옮겨 외우기보다 어떤 답을 원하는지로 구분하면 이해하기 쉽다.

• 관계 이해 · Inference: 어떤 입력이 출력과 어떤 관련이 있는지 알고 싶다.
• 예측 · Prediction: 새 입력이 들어왔을 때 출력이 무엇일지 잘 맞히고 싶다.
• 군집화 · Clustering: 관측된 특징을 바탕으로 비슷한 사례들을 묶고 싶다.

강의안의 급여 예에서 나이·연도·교육 수준과 급여의 관계를 규명하려는 질문은 inference의 관점이다. 새 사람의 정보를 받아 급여를 잘 예측하는 모델을 만들려는 질문은 prediction의 관점이다. 같은 자료와 비슷한 함수를 사용하더라도, 어떤 결과를 강조하고 어떻게 평가할지는 달라질 수 있다.

여기서 inference를 곧바로 인과추론과 같은 뜻으로 한정하지 않는다. 이 차시의 용례는 변수 간 관련성을 이해하는 목적에 가깝다. 어떤 변수와 결과의 관련성을 찾았다고 해서 그 변수를 바꾸면 결과도 그만큼 변한다는 인과 효과까지 확인되는 것은 아니다.

군집화에서는 보통 미리 주어진 정답 범주를 맞히는 대신 특징이 비슷한 사례를 묶는다. 따라서 군집 1·2·3이라는 번호는 그 자체로 이미 알려진 정답의 이름이 아니다. 묶음이 어떤 특성을 공유하는지 해석하고 목적에 맞게 유용한지 검토해야 한다. 자료를 나누었다는 사실만으로 자연에 원래 존재하던 세 종류를 발견했다고 단정하지 않는다.

예측이 잘되는 모델이 관계를 가장 쉽게 설명하는 모델과 같지 않을 수 있고, 보기 좋은 군집이 실제 업무에 유용한 군집과 같지 않을 수도 있다. 분석의 목적을 평가 기준과 연결해야 한다는 원칙이 여기에서도 반복된다.

지도·비지도·준지도·강화학습의 위치

학습 방법을 나누는 큰 기준 중 하나는 어떤 정보와 피드백을 이용하는가이다. 강의안의 기계학습 도형은 지도학습, 비지도학습, 준지도학습, 강화학습을 함께 보여준다. 이것은 모든 방법이 같은 정답 열을 같은 방식으로 사용한다는 뜻이 아니다.

지도학습 안에는 분류와 회귀가 있다. 비지도학습의 한 예는 군집화다. 준지도학습의 영문 표기는 Semi-supervised Learning이다. 정답을 모두 수작업으로 얻기 어려운 상황에서 일부 정답과 나머지 자료의 구조를 함께 이용하려는 관점으로 이해하면 된다.

강화학습에서는 행동과 그 결과의 피드백이 중요하다. 한 번의 입력에서 정답 Y를 바로 맞히는 것만이 목표인 일반적인 지도학습 그림과 다르게, 현재 행동이 이후 상태와 얻을 보상에 영향을 줄 수 있다. 이 차시에서는 세부 알고리즘을 외우기보다 정답 사례로 배우는 상황과 행동의 결과를 보며 배우는 상황이 다르다는 점을 잡는다.

이 구분은 “비지도학습은 아무 정보도 없이 배우는 것”이라는 뜻도 아니다. 입력 자료, 유사도의 기준, 모델에 넣은 가정은 여전히 존재한다. 용어를 같은 뜻으로 뭉뚱그리지 말고, 각 방법이 어떤 입력과 피드백을 사용하는지부터 확인하자. 같은 업무 안에서도 목적에 따라 서로 다른 학습 방법을 함께 활용할 수 있다.

분석 과정: 질문에서 배포까지, 다시 질문으로

강의안은 데이터 기반 의사결정의 수준을 문제 정의, 기초 데이터 분석, 통계적 분석, 예측 모델 구축, 비즈니스 최적화로 설명한다. 동시에 실제 작업 절차를 문제 정의 → 데이터 수집 → 데이터 탐색 → 데이터 모델링 → 결과 요약 및 배포로 제시한다. 앞의 그림은 질문과 활용 수준을, 뒤의 그림은 작업 흐름을 이해하는 데 도움이 된다.

1. 문제 정의: 무엇을 답해야 하는가

문제가 무엇인지, 관련 자료가 있는지, 무엇을 예측하기를 원하는지 정한다. “AI를 도입하자”는 기술 이름만으로는 문제가 정의되지 않는다. 누구의 어떤 판단을 어떤 시점에 도울지와 결과를 좋다고 평가할 기준이 필요하다. 문제를 분명히 해야 필요한 변수와 오류의 의미도 정할 수 있다.

2. 데이터 수집: 목적에 맞는 자료인가

입력과 정답을 확보할 수 있는지, 측정 단위와 시점이 맞는지, 수집과 활용에 프라이버시 문제가 없는지 확인한다. 자료가 존재한다는 사실과 분석 목적으로 사용할 수 있다는 사실은 다르다.

3. 탐색·정제·변환: 분석 가능한 상태인가

결측치, 불균형, 분포, 이상한 값과 변수 간 관계를 살펴본다. 결측은 실제 값 0과 구별한다. 열이 매우 많을 때는 자료의 구조와 차원 문제도 검토한다. 강의안의 작업 비중 수치는 전처리의 중요성을 강조하는 설명으로 읽으며 모든 프로젝트에 적용되는 고정 비율로 외우지 않는다.

4. 모델링: 목표와 검증 방법을 함께 정한다

알고리즘을 선택하고 예측 모델을 학습·평가한다. 모델의 이름보다 어떤 목표를 어떤 자료로 학습하고 새 사례의 성능을 어떻게 확인했는지가 핵심이다.

5. 요약·배포: 결과가 실제 질문에 답하는가

찾은 패턴을 시각화하고 현장 지식과 대조하며 기존 시스템에서 사용할 수 있는지 검토한다. 새 문제가 드러나면 문제 정의로 돌아간다. 슬라이드의 되돌아가는 화살표는 분석이 한 번의 실행으로 끝나지 않을 수 있다는 뜻이다. 좋은 점수표를 만드는 것과 실제로 쓸 수 있는 시스템을 만드는 것은 연결되어 있지만 같은 단계는 아니다.

소개 II 자료 p.23 · 자료 p.24 · 자료 p.25 · 자료 p.26 · 자료 p.27 · 자료 p.28 · 자료 p.29 · 검수 근거 · 영상 00:21:59 (원본 영상 · 로컬 보관)

원자료 그림 함께 보기 · p.23

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

공장 이상탐지 사례를 절차로 읽기

강의안의 공장 사례는 센서·물류 시스템 자료에서 이상을 찾고 그 유형을 해석하는 분석 흐름을 보여준다. 이 사례를 알고리즘 이름 나열로만 읽으면 데이터마이닝의 과정이 보이지 않는다. 문제 정의에서 결과 해석까지 무엇이 바뀌는지 따라가 보자.

1. 문제: 설비나 물류 과정에서 평소와 다른 상황을 발견하고, 어떤 종류의 문제인지 설명하고 싶다.
2. 자료: 여러 센서의 시간에 따른 시그널을 관측하고 분석할 단위로 나눈다.
3. 탐색: 변수의 변동과 분포, 비교 가능한 구간을 살펴본다.
4. 모델: 서로 다른 이상탐지 방법을 같은 목적에 맞게 비교한다.
5. 해석: 탐지된 이상이 현장의 어떤 상태와 연결되는지 확인하고 새 유형이 나타나는 경우도 생각한다.

교안에는 Principal Component Analysis, Autoencoder, Gaussian Mixture Model, Local Outlier Factor, Isolation Forest라는 이름이 나온다. 이 시점에 각 알고리즘의 공식을 모두 이해할 필요는 없다. 여러 방법이 서로 다른 방식으로 자료의 정상적 구조나 이상 정도를 표현할 수 있고, 그래서 동일한 문제·자료·평가 조건에서 비교가 필요하다는 점을 이해하면 된다.

또한 “이상이다”라는 경보와 “어떤 이상 유형인가”라는 설명은 다르다. 결과 해석 슬라이드는 A·B·C 유형과 현장 상태를 연결하고, 기존과 다른 문제가 생기는 상황도 묻는다. 모델이 숫자 점수를 냈다는 것만으로 현장에 원인이 완전히 밝혀진 것은 아니다. 사람이 의미를 검토하고 다음 조치를 정할 수 있어야 한다.

이 사례에서 특정 모델이 보편적으로 가장 좋다고 결론 내리지 않는다. 슬라이드의 성능표는 그 자료와 실험 조건의 비교 결과다. 다른 장비, 다른 이상 유형, 다른 운영 조건에서는 다시 검증해야 한다. 모델 이름과 점수에 앞서, 문제·자료·평가 기준·현장 해석이 어떻게 연결되는지 설명할 수 있어야 한다.

AutoML과 Auto EDA: 자동화하는 일과 남는 판단

AutoML은 반복적인 기계학습 모델 개발 작업을 자동화하려는 접근이다. 강의안은 데이터 획득·전처리, 모델 및 하이퍼파라미터 선정, 리포팅을 연결하여 설명한다. Auto EDA는 자료의 기초 통계량·분포·상관성 등을 자동으로 정리하고 가시화하는 활동에 초점을 둔다.

교안의 Auto EDA 화면에는 변수 수, 행 수, 결측과 중복, 변수별 통계, 분포, 상관행렬, 차원축소 그림이 함께 나타난다. 자동 도구가 이런 내용을 한곳에 보여주면 사람이 반복 작성할 작업을 줄일 수 있다. 하지만 보고서의 모든 경고가 실제 오류인 것은 아니고, 경고가 없다고 업무에 맞는 자료라는 보장도 없다. 변수의 의미와 수집 과정을 아는 사람이 해석해야 한다.

파라미터와 하이퍼파라미터

파라미터는 앞에서 본 것처럼 학습으로 정해지는 모델 내부 값이다. 하이퍼파라미터는 어떤 형태와 조건으로 학습할지 정하는 설정을 말한다. 이 둘은 구분된다. 하이퍼파라미터를 탐색하는 과정도 모델 선택 과정이므로, 최종 테스트 정답을 반복해서 보고 설정을 바꾼 결과를 독립 테스트 성능이라고 말하지 않도록 주의해야 한다.

교안의 DataRobot 그림은 기존의 여러 수동 단계와 자동 모델 구축·평가·모니터링 과정을 대비한다. 이것은 도구가 준비 작업과 반복 비교를 줄일 수 있다는 메시지다. 특정 제품을 사용해야만 수업의 개념을 이해할 수 있다는 뜻도 아니고, 자동화가 좋은 문제 정의를 대신한다는 뜻도 아니다.

• 사람은 무엇을 예측하며 어떤 오류가 중요한지 정한다.
• 자동화 도구는 정해진 범위에서 반복 처리와 비교를 돕는다.
• 사람은 자료 누출·대표성·운영 제약과 결과의 유용성을 검토한다.
• 배포 뒤에도 입력 자료와 성능이 달라지는지 살펴야 한다.

따라서 AutoML을 “분석가는 필요 없다”라는 문장으로 정리하지 않는다. 오히려 자동으로 나온 결과가 어떤 조건에서 유효한지 판단할 수 있어야 도구를 제대로 쓸 수 있다.

좋은 점수처럼 보이는 실수: 데이터 누출을 막기

이 절은 학습·테스트 분리의 뜻을 구체화한 AI 보충 설명이다. 데이터 누출은 실제 예측 시점에는 알 수 없는 정보나 평가용 자료의 정보가 모델을 만드는 과정에 섞여, 성능이 실제보다 좋아 보이게 되는 문제다.

AI 예제: 내일 판매량을 예측하면서 “내일 실제 판매가 끝난 후의 총 결제액”을 입력에 넣었다고 하자. 결제액은 판매량과 밀접하므로 과거 자료에서는 매우 높은 점수가 나올 수 있다. 그러나 발주를 해야 하는 오늘 저녁에는 내일의 결제액을 모른다. 이 모델은 필요한 시점에 사용할 수 없다. 문제는 모델이 복잡한가보다 입력이 언제 알려지는가에 있다.

다른 예로 같은 고객의 거의 같은 기록을 무작위로 학습과 테스트 양쪽에 넣으면, 새 고객에 대한 능력보다 이미 본 고객을 알아보는 능력을 평가할 수 있다. 미래를 예측하는 업무인데 미래 기록을 먼저 학습에 넣고 과거를 테스트하는 경우도 실제 사용 조건과 맞지 않을 수 있다. “무작위로 나누었다”는 말 하나로 어떤 업무의 검증이든 적절해지는 것은 아니다.

또한 여러 모델을 최종 테스트 점수에 맞추어 계속 바꾸면 그 테스트 자료도 모델 선택에 사용한 셈이 된다. 학습용과 최종 테스트 사이에 검증용 자료나 다른 검증 절차를 두는 이유가 여기에 있다. 정확한 검증 설계는 자료 구조와 목적에 따라 정해야 하지만, 적어도 최종 평가 자료를 학습의 힌트처럼 반복 사용하지 않는 원칙은 기억하자.

1. 각 입력이 예측 시점 전에 확보되는지 확인한다.
2. 관측치가 시간·사람·장비 단위로 서로 겹치는지 확인한다.
3. 자료를 정리하는 과정에서도 테스트 정보를 미리 사용하지 않는지 점검한다.
4. 모델 선택과 최종 평가가 어떤 자료로 이루어졌는지 기록한다.

현재 교안 확장 읽기: LLM을 넣어도 전체 과정은 남는다

현재 제공 교안의 뒤쪽에는 LLM을 활용한 데이터·분석 파이프라인이 추가로 소개된다. 이 부분은 제공 PDF에 근거한 확장 읽기이며, 녹화의 특정 시점에서 같은 내용이 설명되었다고 표시하지 않는다.

데이터 파이프라인은 데이터베이스·API·파일 같은 여러 원천의 자료를 가져와 정제·통합하고 저장하는 흐름이다. 분석 파이프라인은 저장된 자료를 통계·머신러닝으로 모델링하고 평가한 뒤 결과를 시각화하여 활용하는 흐름이다. 두 흐름을 나누어 보면 “자료를 모았는데 아직 분석할 수 없다”거나 “모델을 만들었는데 새 자료를 안정적으로 공급할 수 없다”는 문제를 이해하기 쉽다.

교안은 전문가가 설계한 여러 프롬프트로 라벨 후보를 만들고, 여러 라벨을 결합하여 추정 라벨을 만든 뒤 최종 모델을 학습하는 흐름도 보여준다. 이때 라벨 후보가 생성되었다는 사실과 신뢰할 수 있는 정답이 확보되었다는 사실은 다르다. 여러 예측을 통합하는 단계와 최종 모델의 학습·평가 단계가 별도로 그려져 있다는 점을 보자.

또한 동일 입력에 여러 질문·답변을 생성하고 noisy prediction을 통합하는 그림은 출력의 불확실성을 다루려는 절차를 보여준다. 여러 출력이 같은 말을 했다는 이유만으로 정답이라고 단정하는 방식으로 이해해서는 안 된다. 어떤 자료와 기준으로 그 라벨과 최종 예측을 검증할지라는 질문은 여전히 남는다.

이 확장 내용은 이 차시의 중심 원칙을 바꾸지 않는다. 문제 정의, 자료의 의미, 입력·정답의 구별, 학습·검증·평가, 결과의 활용이 연결되어야 한다. 자동화 도구와 LLM은 그 안의 일을 도울 수 있지만, 어떤 질문의 답을 만들고 있는지 판단하는 책임을 없애 주지는 않는다.

핵심을 내 말로 정리하기

• 행은 관측치, 열은 변수이며 입력과 목표는 분석 질문에 따라 정한다.
• Y는 정답이고 Ŷ는 모델의 예측이다.
• 학습은 학습 손실을 줄이는 파라미터를 찾고, 테스트는 완성된 모델을 새 자료에서 평가한다.
• 좋은 학습 점수만으로 일반화 성능을 보장할 수 없다.
• 분류와 회귀는 정답 Y의 의미로 구별한다.
• 분석은 문제 정의·수집·탐색·모델링·요약 및 배포를 거치며 다시 문제 정의로 돌아갈 수 있다.
• 자동화는 반복 작업을 돕지만 문제 정의와 검증을 대신하지 않는다.