데이터마이닝의 의미

데이터가 있어도 해석을 의심해야 하는 이유

데이터마이닝을 배우기 전에 먼저 바꿔야 할 태도는 “숫자가 있으니 객관적일 것이다”라는 생각이다. 숫자 자체가 거짓이 아니더라도 무엇을 측정했고 누구를 관측했으며 어떤 비교를 했는지에 따라 결론은 달라진다. 데이터 분석은 원하는 주장을 뒷받침할 숫자를 찾는 일이 아니라, 주장이 관측된 자료로 얼마나 설명되는지 확인하는 일이다.

마시멜로 실험에서 강의가 끌어내는 질문

강의안은 보상을 기다린 아이들과 기다리지 못한 아이들의 이후 성취를 비교하는 사례로 출발한다. 여기서 “기다린 집단의 성취가 더 좋다”는 관찰과 “기다리는 능력 자체가 성취를 높인 원인이다”라는 주장은 같은 문장이 아니다. 가정환경처럼 기다리는 행동과 이후 성취 양쪽에 연결되는 다른 조건이 있다면, 처음에 보인 차이를 한 가지 성격 특성만으로 설명하기 어렵다.

따라서 이 사례를 외워야 할 사실 목록으로 읽기보다 추론의 단계를 분리해 보자. 첫째는 집단 간 차이를 관찰하는 단계, 둘째는 그 차이에 가능한 설명을 제시하는 단계, 셋째는 다른 설명으로도 같은 관찰이 생기는지 점검하는 단계다. 분석 결과에 표와 그래프가 있다고 해서 세 번째 단계가 저절로 끝나지는 않는다.

분석을 시작할 때의 세 질문

• 관측 대상: 이 자료에 들어온 사람과 들어오지 않은 사람은 어떻게 다른가?
• 측정 내용: 내가 말하려는 개념을 실제로 측정한 변수가 잘 대표하는가?
• 대안 설명: 내가 원인이라고 생각한 것 외의 조건이 결과를 설명할 수 있는가?

AI 연결 예시: 이 질문은 연구 사례뿐 아니라 서비스 지표에도 적용된다. 어떤 기능을 쓰는 고객이 더 많이 구매한다고 해서, 그 기능이 구매를 늘렸다고 바로 결론 내릴 수는 없다. 원래 구매 의지가 큰 고객이 그 기능을 더 많이 사용했을 수도 있기 때문이다. 이 마지막 문장은 강의 사례를 이해하기 위한 일반적 연결 설명이며, 해당 서비스에 실제 효과가 있었다는 실증 결과가 아니다.

주장과 증거를 구분하는 작은 분석 연습

AI가 만든 설명용 예제다. 두 카페를 비교했더니 광고를 많이 한 카페의 매출이 더 높았다. 처음 떠오르는 설명은 “광고를 늘리면 매출이 오른다”이다. 그러나 번화가의 큰 카페가 광고비도 더 쓰고 매출도 더 높았을 수 있다. 이때 상권과 매장 규모를 빼고 광고와 매출 두 숫자만 보면, 광고의 효과와 다른 조건의 차이를 섞어 읽게 된다.

우선 관찰 문장을 “이 자료에서는 광고비가 큰 카페의 매출이 높았다”라고 적는다. 이어서 우리가 알고 싶은 질문이 무엇인지 정한다. 이미 알려진 매장들의 매출을 설명하려는가, 새 매장의 매출을 예측하려는가, 같은 매장에서 광고비만 바꿀 때 매출이 얼마나 달라지는지 알고 싶은가? 세 질문은 비슷하게 들려도 필요한 비교와 검증이 다르다.

예측이 목적이면 광고비가 유용한 입력인지 확인할 수 있다. 하지만 입력으로 예측을 잘한다는 사실만으로 광고비를 늘리는 개입의 효과가 증명되지는 않는다. 원인을 알고 싶다면 다른 조건을 어떻게 다룰지와 비교 집단을 어떻게 만들지를 더 엄격하게 검토해야 한다. 표본을 무작위로 뽑았다는 말과 광고를 무작위로 배정했다는 말도 구별해야 한다.

1. 주장을 관찰 가능한 문장으로 바꾼다.
2. 대상·기간·측정 단위를 적고, 자료에 없는 대상까지 결론을 넓히지 않는다.
3. 다른 설명이 가능한지 열거한다.
4. 설명·예측·원인 효과 중 어떤 답을 원하는지 정한다.
5. 그 답을 평가할 수 있는 별도의 자료나 비교 방법을 준비한다.

초보 단계에서는 통계 기법의 이름보다 “내가 지금 어떤 질문에 답하고 있는가”를 자주 확인하는 습관이 중요하다. 좋은 분석은 복잡한 알고리즘을 먼저 고르는 데서 시작되지 않는다. 분석 결과가 어떤 질문의 답인지 명확히 말할 수 있어야 한다.

왜 데이터마이닝이 필요해졌는가

데이터가 늘었다는 말은 파일의 개수가 많아졌다는 뜻만은 아니다. 거래 기록, 웹의 행동 로그, 센서 측정, 사진, 음성, 문서처럼 서로 다른 형태의 자료가 지속적으로 만들어진다. 사람이 한 행씩 읽거나 미리 정한 조건으로 검색하는 방식만으로는 전체의 관계와 반복되는 패턴을 파악하기 어려워진다. 여기에서 데이터를 조직하고 분석하는 방법의 필요가 커진다.

양이 늘면 생기는 기회와 부담

더 많은 관측은 드문 상황을 살펴보거나 다양한 집단을 비교하는 데 도움이 될 수 있다. 이미지가 충분히 모이면 여러 모양과 배경을 학습할 기회가 생기고, 거래 기록이 쌓이면 평소와 다른 거래를 찾을 재료가 늘어난다. 하지만 자료가 많아질수록 저장, 처리, 중복 확인, 단위 통일, 접근 권한 관리도 어려워진다. 모으는 양과 실제로 쓸 수 있는 양은 다를 수 있다.

강의안의 ImageNet 사례는 데이터가 커지는 속도와 이미지 데이터의 역할을 보여준다. 이 차시에서 잡아야 할 핵심은 특정 시점의 이미지 수를 암기하는 것이 아니라, 많은 사례로부터 기계가 공통점을 찾게 할 수 있다는 변화다. 과거 슬라이드에 있는 규모와 증가율을 현재 서비스의 최신 수치로 이해해서는 안 된다.

데이터 형태가 달라도 분석의 질문은 이어진다

표의 분석 질문들은 AI가 자료의 종류를 이해시키기 위해 구성한 예시다. 여기서 아직 특정 모델의 정답을 제시한 것은 아니다. 같은 자료도 목표에 따라 필요한 전처리와 결과의 형태가 달라진다. 다음 차시에서는 이런 자료를 관측치와 변수로 정리하여 모델이 다룰 구조로 바꾸게 된다.

3V와 5V를 데이터 점검 질문으로 바꾸기

제공 교안의 요약에는 빅데이터의 3V와 5V를 설명하는 학습목표가 있다. 아래는 그 개념을 이해하기 위한 AI 보충 설명이다. V의 개수를 외우는 것으로 끝내지 말고 실제 데이터가 어떤 어려움을 갖는지 묻는 기준으로 사용하자.

AI 예제: 카페 주문 로그가 매우 많더라도 다음 날 재료를 발주하는 문제와 관계없는 클릭 기록만 모았다면 가치가 제한적이다. 반대로 규모가 작아도 판매 시각, 품목, 수량, 품절 여부가 정확히 기록되어 있으면 발주 문제를 정의하는 데 유용할 수 있다. 양이 많다는 조건 하나가 다른 네 가지를 대신해 주지는 않는다.

또한 “실시간 데이터”와 “실시간으로 처리할 필요가 있는 문제”는 다르다. 주문 로그는 즉시 생기지만 다음 날 발주는 하루 단위 집계로도 충분할 수 있다. 반면 즉시 차단해야 하는 이상 거래라면 처리 지연이 중요한 조건이 된다. 데이터의 특징과 업무가 요구하는 속도를 함께 보아야 한다.

Variety는 숫자 열이 많다는 뜻에만 머물지 않는다. 주문 표와 고객 문의 문서를 함께 쓴다면, 어느 문의가 어느 주문과 관계있는지 연결 규칙도 필요하다. 다양한 자료를 한곳에 쌓아 두었다고 해서 자동으로 일관된 분석 자료가 되는 것은 아니다.

데이터마이닝: 데이터에서 유용한 패턴과 지식을 찾는 과정

데이터마이닝은 데이터에서 패턴과 지식을 발견하는 과정으로 이해할 수 있다. 여기서 과정이라는 단어가 중요하다. 파일을 읽어 알고리즘을 한 번 실행하는 명령만 가리키지 않는다. 어떤 문제를 다룰지 정하고, 자료를 살피고, 분석 방법을 적용하고, 나온 결과가 유용한지 판단하는 활동이 연결된다.

패턴은 반복되는 규칙이나 관계를 말한다. 예를 들어 어떤 상품들이 함께 구매되거나, 특정 시간대에 센서 값이 함께 변하거나, 비슷한 관측치들이 모이는 현상이 될 수 있다. 그러나 눈에 보이는 반복이 모두 쓸모 있는 지식은 아니다. 이미 당연히 아는 내용일 수도 있고, 우연일 수도 있으며, 실제 의사결정에는 도움이 되지 않을 수도 있다.

패턴을 찾은 뒤에 더 물어야 한다

• 명백한 사실의 반복인가? 전체 합계가 부분 합계보다 크다는 식의 당연한 관계를 새로운 발견으로 포장하지 않는다.
• 새 자료에서도 성립하는가? 현재 자료에만 맞아 보이는 규칙을 일반적 법칙으로 말하지 않는다.
• 실제로 도움이 되는가? 해석 가능한 결과인지, 행동이나 판단에 연결할 수 있는지 살펴본다.

강의안은 넓은 정의와 함께 검색·질의 처리, 전문가 시스템 같은 좁은 사용 예도 소개한다. 단순 검색에서는 사람이 “이 조건에 맞는 행을 보여 달라”는 규칙을 미리 정해 준다. 데이터마이닝에서 특히 관심을 두는 것은 자료 속에서 아직 분명히 정리하지 못한 관계를 찾아내는 일이다. 검색이 불필요하다는 뜻이 아니라, 정해진 질문에 답하는 것과 새로운 패턴을 발견하는 것을 구별하자는 뜻이다.

Knowledge discovery, data/pattern analysis 같은 표현들은 데이터에서 지식을 얻는 활동의 여러 면을 강조한다. 용어를 전부 동의어 목록으로 암기하기보다 “데이터를 어떤 근거로 해석해서 어떤 지식으로 바꾸는가”라는 중심 질문을 유지하자. 분석 결과가 데이터와 어떤 경로로 연결되는지 설명할 수 있어야 결과를 검토하고 고칠 수 있다.

입력 X, 방법 f, 결과 y로 분석을 읽기

강의안은 분석의 한 모습을 \(x\rightarrow f(x)\rightarrow y\)로 그린다. \(x\)는 입력 데이터, \(f\)는 데이터를 처리하는 방법 또는 모델, \(y\)는 결과다. 이 표현은 복잡한 분석을 세 부분으로 나누어 이해하게 해 준다. 무엇을 넣었는지, 어떤 규칙으로 처리했는지, 무엇이 나왔는지를 따로 물을 수 있다.

AI 설명 예시: 예측 문제에서는 고객의 특성을 입력하고 예상 구매 여부를 출력하거나, 날씨 정보를 입력하고 예상 판매량을 출력할 수 있다. 이때 \(f\)는 입력과 결과의 관계를 담는 함수로 볼 수 있다. 다음 차시에서 배우는 학습은 이미 알려진 사례들로부터 이 함수의 형태나 내부 값을 정하는 과정이다.

함수 기호가 설명하지 않는 것도 있다

그림에 \(f\)라는 글자가 있다고 해서 결과가 자동으로 정확해지는 것은 아니다. 입력에 필요한 정보가 빠졌을 수도 있고, 학습에 쓰인 사례가 치우쳤을 수도 있으며, 새로운 환경에서 관계가 달라졌을 수도 있다. 함수를 쓴다는 표현은 분석의 구조를 보여주는 것이지, 방법의 신뢰성을 보증하는 도장은 아니다.

또한 모든 데이터마이닝을 정답 \(y\)를 맞히는 작업으로 제한해서는 안 된다. 비슷한 사례들을 묶거나 반복되는 조합을 찾는 분석에서는 미리 주어진 정답 열이 없을 수 있다. 이 차시의 화살표는 입력·방법·결과를 구별하기 위한 틀이며, 모든 분석이 똑같은 지도학습 문제라는 주장은 아니다.

1. 입력이 무엇을 의미하는지와 그 정보가 언제 확보되는지 확인한다.
2. 방법이 자료에서 무엇을 찾으려 하는지 설명한다.
3. 출력의 단위와 의미를 명확하게 적는다.
4. 출력이 좋다고 판단할 기준을 정한다.

이 네 단계가 빠지면 “AI가 분석했다”는 말만 남기 쉽다. 반대로 각 단계를 말로 설명할 수 있으면 아직 복잡한 수식을 모르더라도 분석 설계의 큰 부분을 이해한 것이다.

왜 데이터마이닝에는 여러 분야가 함께 필요한가

데이터마이닝은 한 가지 알고리즘의 이름이 아니다. 강의안의 중심 도형에는 데이터베이스 기술, 통계적 학습, 기계학습, 패턴 인식, 알고리즘, 시각화, 응용 분야, 기타 학문이 데이터마이닝으로 모인다. 실제 문제를 풀려면 이 역할들이 서로 연결되어야 한다.

AI 과정 예시: 공장의 센서 값이 갑자기 바뀌었다고 하자. 데이터 관리자는 센서와 장비를 정확히 연결해야 하고, 통계 분석은 평소 변동과 다른 변화인지 살펴야 한다. 모델은 이상 후보를 찾고, 현장 지식은 점검·교체·운전 방식 변화 같은 실제 원인을 검토하는 데 필요하다. 이 설명은 강의의 학문 융합 그림을 이해시키기 위한 일반적 과정 예시이며 특정 연구의 성능을 재현한 것은 아니다.

따라서 어떤 모델의 정확도 숫자만 보고 전체 분석을 평가하기는 어렵다. 자료가 잘못 연결되었거나 정답의 의미를 오해했다면 모델이 정교해도 질문에 맞는 답이 되지 않는다. 이후 선형대수와 통계를 배우는 이유도 이 연결을 더 정확히 이해하기 위해서다. 수학은 응용과 분리된 암기 항목이 아니라 데이터의 구조와 불확실성을 표현하는 언어가 된다.

소개 I 자료 p.19 · 검수 근거 · 영상 00:22:48 (원본 영상 · 로컬 보관)

원자료 그림 함께 보기 · p.19

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

데이터마이닝, AI, 머신러닝, 딥러닝을 구별하기

이 네 용어를 모두 “컴퓨터가 똑똑하게 하는 것”이라고만 기억하면 수업의 질문이 흐려진다. 강의안에서는 데이터마이닝을 데이터에서 지식을 찾는 과정으로, 인공지능을 지능적 동작을 수행하는 컴퓨터·소프트웨어의 관점으로 대비한다. 같은 예측 모델이 두 활동에 모두 쓰일 수 있지만 무엇을 중심으로 부르는지가 다르다.

AI 연결 예시: 판매량을 예측하는 모델을 학습시키는 일은 머신러닝 관점에서 볼 수 있다. 그 과정에서 구매 패턴을 발견하고 발주 의사결정을 개선하는 전체 활동은 데이터마이닝의 관점으로 설명할 수 있다. 예측 결과를 사용하여 자동 발주를 수행하는 지능적 시스템은 AI 응용이라는 관점에서 설명할 수 있다. 반드시 세 이름 중 하나만 골라야 하는 것은 아니다.

여기서 “AI ⊃ ML ⊃ DL”이라는 포함 관계는 방법 계열을 구별하는 데 유용하다. 하지만 데이터마이닝까지 똑같은 한 줄의 포함 관계로 밀어 넣으면 분석 과정과 학습 방법이라는 서로 다른 축을 섞기 쉽다. 모든 데이터 분석이 딥러닝을 사용해야 하는 것도 아니고, 데이터마이닝의 모든 결과가 자동 행동 시스템으로 이어지는 것도 아니다.

용어를 설명할 때는 목적과 방법을 함께 적어 보자. “머신러닝으로 수요를 예측하여 발주를 지원한다”처럼 무엇을 위해 어떤 방법을 쓰는지 드러내는 문장이 “AI를 한다”보다 분석의 내용을 훨씬 정확하게 전달한다.

현재 교안 확장 읽기: 새 AI 용어를 읽는 기준

현재 교안의 2021~2026 키워드 그림에는 생성형 AI와 Agentic AI 같은 단어들이 나타난다. 아래는 그 그림을 읽기 위한 AI 보충 설명이다. 단어 구름에 크게 보인다는 사실은 특정 연도에 기술이 처음 생겼거나 모든 분야를 대체했다는 역사적 증거가 아니다. 이 절에는 확인되지 않은 녹화 재생 시각을 연결하지 않았다.

생성형 AI는 입력 조건에 따라 텍스트·이미지 같은 내용을 만들어 내는 관점의 이름이다. 전통적인 범주 예측의 출력이 “A 유형”이었다면, 생성 모델의 출력은 문장이나 그림처럼 복잡한 결과일 수 있다. 그러나 결과가 자연스럽게 보이는 것과 사실·수식·근거가 맞는 것은 구별해야 한다. 출력이 늘어난 만큼 결과를 평가하는 기준도 더 구체적으로 정할 필요가 있다.

에이전트 관점의 AI를 이해할 때는 모델 한 번의 답변뿐 아니라 목표를 따라 정보를 얻고, 도구를 사용하고, 중간 결과를 보고 다음 행동을 정하는 전체 흐름에 주목한다. 모델이 어떤 값을 예측하는지와 그 값을 이용해 시스템이 실제로 어떤 일을 하는지가 다시 구별된다. 이름이 새로워져도 입력·방법·출력·행동을 따로 설명하는 틀은 유효하다.

새 용어를 만났을 때는 세 가지를 물어보자. 어떤 자료를 사용하는가, 무엇을 학습하거나 생성하는가, 결과가 좋다는 것을 어떤 독립적인 기준으로 확인하는가? 이 질문을 유지하면 특정 도구의 이름이 바뀌어도 수업의 데이터마이닝 개념을 연결해서 이해할 수 있다. 도구를 써 보았다는 경험과 그 결과의 신뢰성을 검증했다는 판단도 서로 다른 일이다.

데이터가 많으면 언제나 더 좋은가

강의안은 작은 데이터에 복잡한 알고리즘을 적용하는 것과 큰 데이터에 간단한 알고리즘을 적용하는 것을 대비하며 데이터의 중요성을 강조한다. 이를 “모든 상황에서 데이터가 많기만 하면 무조건 이긴다”라는 정리로 외우면 곤란하다. 아래는 그 메시지의 적용 범위를 이해하기 위한 AI 보충이다.

AI 예제: 카페 판매량을 예측하려고 한다. 오래된 주문 기록 100만 개가 있지만 그 절반이 중복이고, 품절로 판매하지 못한 날도 수요가 없었던 날처럼 기록되어 있다. 새로 정리한 1만 개의 자료에는 날짜, 품절 여부, 실제 판매 단위가 명확하다. 어느 쪽이 더 유용할지는 행의 개수 하나만으로 정할 수 없다. 질문에 관련 있는 정보인지와 측정이 믿을 만한지를 함께 보아야 한다.

자료와 모델은 서로 다른 문제를 해결한다

모델을 복잡하게 바꾸면 더 다양한 관계를 표현할 수는 있다. 그러나 라벨이 잘못 붙었거나 예측에 필요한 정보가 없는 문제까지 저절로 해결되지는 않는다. 반대로 좋은 자료가 충분해도 목표가 잘못 정해져 있으면, 성능이 좋은 모델이 엉뚱한 업무를 최적화할 수 있다.

실무적으로는 자료의 의미와 품질을 먼저 점검하고 비교 기준을 정한 뒤, 간단한 방법으로 시작하는 것이 결과를 이해하는 데 도움이 된다. 단순한 기준 모델이 있으면 새 방법이 실제로 무엇을 개선했는지 평가하기 쉽다. 두 모델의 성능이 비슷하다면 계산 비용, 설명 가능성, 유지보수, 오류의 영향도 함께 비교할 수 있다. 이 선택 원칙은 하나의 알고리즘이 언제나 우수하다는 주장이 아니다.

이 차시를 마칠 때 “좋은 데이터면 충분하다”나 “좋은 알고리즘이면 충분하다” 중 하나를 고를 필요는 없다. 질문에 맞는 자료, 적절한 방법, 정직한 검증이 함께 있어야 한다. 다음 차시는 이 가운데 질문을 학습 문제로 표현하고, 모델을 만든 자료와 모델을 평가할 자료를 구분하는 방법으로 이어진다.

핵심을 내 말로 정리하기

• 데이터가 있다는 사실과 해석이 옳다는 사실은 다르다.
• 분석 전에는 대상·측정·대안 설명을 확인한다.
• 데이터마이닝은 유용한 패턴과 지식을 찾는 과정이다.
• 입력 x, 방법 f, 결과 y를 분리하여 설명한다.
• ML과 DL은 학습 방법의 관점이고 DM은 분석 과정의 관점이다.
• 데이터 규모와 모델 복잡도보다 먼저 문제·품질·검증을 확인한다.