선형회귀 III: 가정을 이해하고 잔차로 진단하기

모형을 적합한 다음에는 무엇을 확인해야 하는가

후속 자료를 연결한 AI 보충: 이 절의 주제는 5-1 범위의 가정 진단이며, 인용한 후반 페이지는 다음 차시의 예시·점검표를 이해 보조용으로 연결한 것이다. 해당 후반 내용을 5-1의 확정 발언으로 제시하지 않는다.

앞 차시에서는 관측자료로 회귀계수를 계산하고, 표준오차와 검정으로 불확실성을 표현했다. 이번 차시는 계산된 결과를 믿을 조건이 실제 자료에서 그럴듯한지 돌아보는 단계다. 잔차제곱합이 작거나 결정계수가 높다는 것만으로 추론에 필요한 가정까지 충족한 것은 아니다. 좋은 적합과 적절한 확률모형은 관련이 있지만 같은 질문이 아니다.

기본 모형은 \(Y_i=\beta_0+\sum_{j=1}^{p}\beta_jx_{ij}+\varepsilon_i\)다. 설명변수들을 고정하거나 그 값에 조건부로 생각한다. 평균을 나타내는 부분이 올바른지, 평균에서 벗어나는 오차의 분산이 일정한지, 서로 다른 관측의 오차가 독립인지, 정규분포 가정이 그럴듯한지를 차례로 확인한다.

자료가 제시하는 네 제목은 선형성, 정규성, 등분산성, 독립성이다. 이 이름을 외우는 것보다 각 제목에서 어떤 대상의 어떤 성질을 묻는지 말할 수 있어야 한다. 예를 들어 정규성은 모든 입력 열의 분포가 종 모양이라는 요구가 아니다. 등분산성도 입력변수들의 단위나 분산이 서로 같아야 한다는 요구가 아니다.

진단은 보통 모형 적합 → 잔차 계산 → 그림 확인 → 문제의 가능한 원인 검토 → 모형 수정 → 재진단 순서로 진행한다. 그림 하나가 원인을 확정해 주지는 않는다. 같은 곡선 패턴도 빠진 변수, 잘못된 함수 형태, 집단 차이에서 생길 수 있으므로 자료가 수집된 과정까지 함께 살핀다.

조건부평균이라는 기준을 먼저 세우기

회귀식의 평균은 보통 \(E(Y\mid X=x)\)다. 같은 입력조건을 가진 관측들을 반복해서 모았을 때의 평균을 뜻한다. 자료의 간단한 \(E(Y)=f(X)\) 표기는 이 조건부 의미로 읽으면 정확하다. 차의 무게가 다르면 연비의 평균도 달라질 수 있으므로 모든 차량을 섞은 전체 평균 하나와 구별한다.

두 식은 서로 연결된다. 관측모형에서 조건부 기대값을 취하면 계수와 입력의 선형결합에 오차평균이 더해진다. 오차평균이 0이면 그 선형결합 자체가 조건부평균이다. 평균식이 빠뜨린 체계적 패턴이 있다면 잔차가 입력이나 예측값에 따라 특정 방향으로 몰릴 수 있다.

AI 예제로 실제 평균이 \(2+x^2\)인데 직선 \(a+bx\)만 맞춘 상황을 생각하자. 작은 값과 큰 값에서 실제 평균이 직선보다 높고 가운데에서 낮을 수 있다. 그런 잔차 패턴은 단순한 무작위 잡음만으로 해석하기 어렵다. 이때 평균구조를 바꾸는 것과 오차의 분산만 바꾸는 것은 서로 다른 수정이다.

조건부라는 단어는 계수 해석에서도 중요하다. 다중회귀의 한 계수는 다른 입력들을 같게 두었을 때 해당 입력을 1 증가시킨 평균 차이다. 관측자료에 그런 비교가 충분히 있는지도 살펴야 한다. 데이터에서 거의 항상 함께 변하는 두 입력을 따로 변화시킨 효과는 정밀하게 추정하기 어려울 수 있다.

직선 그림과 계수에 대한 선형성을 구별하기

자료의 기본 평균식은 입력의 일차항들을 계수로 가중해 더한다. 이 식에서 계수가 양수·음수·0이거나 매우 커도 선형결합이라는 형태는 유지된다. 계수의 크기를 바꾸는 일과 함수 형태를 바꾸는 일은 다르다.

다만 일반적인 선형회귀의 정의에서 선형성은 미지의 계수에 대해 선형이라는 뜻이다. 따라서 \(\beta_0+\beta_1x^2\), \(\beta_0+\beta_1\sqrt{x}\)도 변환된 입력을 사용하는 선형회귀다. 제곱근 입력은 실수 범위에서 \(x\ge0\)라는 정의역을 전제로 한다. 원래 입력 \(x\)와 평균의 그림은 곡선일 수 있다. 자료와 전사의 원입력 일차식 설명을 모든 선형회귀의 정의로 확대하지 않는다.

위 식은 포물선을 표현하지만 추정할 계수는 여전히 더해지는 형태로 들어간다. 설계행렬에 상수열, \(x\)열, \(x^2\)열을 놓으면 OLS를 적용할 수 있다. 반면 \(\exp(\beta_0+\beta_1x)\)를 평균식 자체로 직접 최소제곱 적합하면 계수에 대해 비선형인 다른 최적화 문제가 된다.

또 \(\beta_3x_1x_2\)라는 상호작용 항도 계수에 대해서는 선형이다. 이 항이 있으면 \(x_1\)의 평균효과가 \(x_2\) 값에 따라 바뀐다. 입력변수끼리 상관이 있다는 사실과 상호작용 항이 필요하다는 사실은 같지 않다. 전자는 입력들의 공동분포, 후자는 반응평균의 구조를 설명한다.

오차는 참평균에서, 잔차는 적합값에서 잰다

오차 \(\varepsilon_i=Y_i-E(Y_i\mid X)\)는 모집단의 참평균에서 벗어난 값이다. 참계수를 모르므로 보통 직접 관측할 수 없다. 잔차 \(e_i=y_i-\hat y_i\)는 표본에서 적합한 모형으로 계산하므로 실제로 구할 수 있다. 잔차를 이용해 오차 가정을 간접 점검하지만 두 대상을 같은 확률변수로 두어서는 안 된다.

AI 예제로 관측값이 12, 참조건부평균이 10, 적합값이 11이라면 오차는 2이고 잔차는 1이다. 같은 관측을 사용해도 기준선이 달라 두 값은 다르다. 잔차가 양수이면 모형이 실제값보다 작게 예측했고, 음수이면 크게 예측했다. 양수와 음수의 의미를 먼저 확인하면 잔차 그림에서 과소·과대 예측 방향을 읽을 수 있다.

절편 포함 OLS를 학습자료에 적합하면 잔차의 합은 0이다. 이것은 계산으로 생긴 성질이지 오차평균 0이라는 모집단 가정을 증명한 결과가 아니다. 또한 잔차는 동일한 추정계수를 공유하므로 원래 오차들이 독립이어도 잔차들은 일반적으로 독립이 아니다.

이 행렬식은 열들이 선형독립인 설계행렬에서 성립한다. \(H\)는 자료를 적합값으로 바꾸는 행렬이다. 잔차가 여러 오차의 조합이라는 점을 보여 준다. 따라서 잔차를 그려 오차 가정을 살피는 것은 유용한 진단 절차지만, 잔차가 완벽한 독립 표본이라는 주장은 아니다.

정규성: 어떤 분포를 정규분포라고 가정하는가

고전적인 정규 선형모형에서는 주어진 입력 아래 오차를 평균 0, 분산 \(\sigma^2\)인 정규분포로 둔다. 독립성과 등분산성까지 결합하면 \(\varepsilon\mid X\sim N(0,\sigma^2I)\)라고 쓸 수 있다. \(\sigma\)는 표준편차이고 \(\sigma^2\)는 분산이다. 분산이 1이라는 별도 조건이 없으면 표준정규분포가 아니다.

이 가정은 \(X\)가 정규분포를 따라야 한다는 뜻이 아니다. 변속기처럼 0과 1로 기록한 설명변수도 사용할 수 있다. \(Y\)의 전체 분포가 정규일 필요도 없다. 서로 다른 입력에서 서로 다른 평균을 가진 집단을 합치면 전체 분포는 비대칭이거나 봉우리가 여러 개일 수 있다.

정규성은 OLS 계수의 숫자를 계산하기 위한 필수조건이 아니다. 제곱합을 최소화하는 계산은 정규성 없이도 가능하다. 그러나 작은 표본에서 통상적인 t검정과 F검정의 정확한 분포, 정규모형에 기반한 신뢰구간·예측구간을 사용하려면 가정이 중요하다. 계산가능성과 추론의 정당성을 나누어 이해한다.

잔차 히스토그램은 대칭성과 꼬리의 대략적인 모양을 확인하는 출발점이다. 표본이 작으면 구간 폭에 따라 모양이 크게 바뀌므로 그림이 매끈하지 않다는 이유만으로 정규성을 기각하지 않는다. 한두 개의 극단값이나 두 집단의 혼합이 있는지 확인하고, 분위수를 비교하는 Q-Q 그림을 함께 읽는다.

Q-Q 그림을 축부터 읽는 순서

후속 자료를 연결한 AI 보충: 이 절의 주제는 5-1 범위의 가정 진단이며, 인용한 후반 페이지는 다음 차시의 예시·점검표를 이해 보조용으로 연결한 것이다. 해당 후반 내용을 5-1의 확정 발언으로 제시하지 않는다.

Quantile은 분포를 일정한 누적확률에서 나누는 분위수다. 중앙값은 50% 분위수다. Q-Q 그림은 표본의 순서에 따른 값과 기준분포에서 같은 위치에 해당하는 이론적 분위수를 짝지어 비교한다. 정규 Q-Q는 정규분포의 분위수를 기준으로 삼는다.

이 자료의 R 진단 그림에서 가로축은 Theoretical Quantiles, 세로축은 Standardized residuals다. 가로축을 예측값으로 읽거나 세로축을 원래 반응값으로 읽으면 다른 그림이 된다. 표준화 잔차는 잔차를 적절한 규모로 나누어 비교하기 쉽게 만든 값이다.

표본분포가 기준 정규분포와 위치·척도 차이 정도만 보이면 점들이 대략 직선을 따른다. 중요한 것은 점들이 완벽히 직선 위에 놓이는가가 아니라 체계적인 휘어짐과 꼬리의 이탈이다. 양끝이 기준선에서 크게 벗어나면 꼬리 두께나 극단값을 의심한다. 한쪽에서 더 크게 휘면 비대칭 가능성을 살핀다.

실제로 읽을 때는 첫째 축을 확인하고, 둘째 가운데 점군의 흐름을 보고, 셋째 양끝의 이탈과 라벨이 붙은 관측을 살펴본다. 넷째 해당 관측의 입력·수집 상황을 확인한다. 그림 하나로 어느 분포인지 정확히 확정하지 않으며, 몇 점이 선 가까이에 있다는 이유로 독립성이나 등분산성까지 충족했다고 결론 내리지 않는다.

등분산성은 평균이 아닌 오차의 퍼짐에 관한 조건

등분산성은 \(\operatorname{Var}(\varepsilon_i\mid X)=\sigma^2\)가 모든 관측에서 같다는 조건이다. 입력이나 예측 평균이 커져도 평균 주변의 오차 규모가 일정해야 한다는 뜻이다. 평균이 다른 것은 허용된다. 회귀 자체가 입력에 따른 평균 차이를 설명하는 방법이기 때문이다.

AI 예제로 평균연비가 15인 집단과 25인 집단에서 오차 표준편차가 각각 2라면 평균이 달라도 등분산과 양립한다. 반대로 평균은 잘 맞히더라도 낮은 예측값에서 잔차가 ±1 정도, 높은 예측값에서 ±8 정도로 퍼지면 이분산 가능성이 있다. 오차의 평균과 분산은 서로 다른 질문이다.

자료의 \(\Sigma=\sigma^2I\)는 등분산성만이 아니라 오차 간 공분산이 0이라는 조건도 함께 담는다. 대각성분이 각 오차의 분산이고, 비대각성분은 서로 다른 오차의 공분산이다. 등분산만 요구하면 대각성분이 같아야 하지만 비대각성분까지 반드시 0일 이유는 없다.

공동 정규분포에서는 무상관이 독립성을 함의하지만 일반분포에서는 그렇지 않다. 이 구별은 REG-02의 조건 보완이다. 자료의 행렬식을 삭제하는 대신, 등분산과 무상관 오차를 결합한 가정이라고 명시해 적용 범위를 분명히 한다.

선형회귀 III 자료 p.5 · 자료 p.11 · 검수 근거

원자료 그림 함께 보기 · p.5

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

잔차 대 예측값 그림: 중심과 폭을 따로 보기

가로축에 적합값 \(\hat y_i\), 세로축에 잔차 \(e_i\)를 놓으면 예측 규모에 따른 오차의 방향과 퍼짐을 동시에 볼 수 있다. 이상적인 모습은 0 주변에 뚜렷한 곡선 없이 점이 흩어지고, 가로축 전체에서 세로 폭이 비슷한 것이다. 이는 가정에 반하는 강한 증거가 눈에 띄지 않는다는 뜻이며 가정의 증명은 아니다.

점군의 가운데가 U자나 역U자로 휘면 평균식이 놓친 비선형 패턴을 의심한다. 예측값이 커질수록 점군 폭이 넓어지는 나팔 모양이면 분산이 평균 규모에 따라 달라질 가능성을 검토한다. 가운데의 위치와 폭을 분리해서 보면 평균구조 문제와 분산구조 문제를 혼동하지 않을 수 있다.

자료는 나팔 모양에 로그변환, 곡선 모양에 이차항을 대응시킨다. 이는 가능한 대처의 예이며 자동 처방은 아니다. 로그변환은 양수 반응에서 의미가 있는지, 결과 단위가 어떻게 바뀌는지 확인해야 한다. 이차항을 추가해도 실제 원인이 누락 집단이면 문제를 충분히 해결하지 못할 수 있다.

또 절편 포함 OLS의 학습잔차는 적합값과 직교한다. 따라서 자료의 직선형 패턴 그림을 모든 학습 OLS에서 가능한 뚜렷한 전체 직선 추세로 단순 해석하지 않는다. 비선형 추세, 부분구간 패턴, 새 자료 잔차, 절편 없는 적합 등 조건을 확인해야 한다. 진단에서 가장 먼저 확인할 것은 그림의 축과 자료가 학습자료인지 여부다.

독립성: 설명변수끼리가 아니라 관측 오차 사이

여기서 가장 중요한 원자료 정정은 독립성의 대상이다. 고전 회귀에서 점검하는 것은 설계행렬에 조건부인 서로 다른 관측의 오차 사이 독립성이다. 자료 일부에는 설명변수끼리 독립이어야 한다고 적혀 있지만, 상관된 설명변수를 함께 사용하는 것 자체는 회귀의 금지조건이 아니다.

예를 들어 차량 무게와 배기량은 함께 커지는 경향을 보일 수 있다. 그렇다고 그 두 열이 상관되었다는 이유만으로 서로 다른 차량의 오차들이 종속이라고 결론 내릴 수는 없다. 반면 같은 차량에서 시간에 따라 반복 측정한 연비의 오차는 서로 영향을 받을 수 있다. 열 사이의 관계와 행 사이의 관계를 구별해야 한다.

확률적 독립의 일반 정의는 사건 \(A,B\)에 대해 \(P(A\cap B)=P(A)P(B)\)다. 독립은 교집합 확률이 0이라는 뜻이 아니다. 서로 배반인 사건과 독립인 사건은 다른 개념이다. 확률변수 독립은 가능한 값의 범위로 만든 모든 관련 사건에 대해 이 조건을 요구한다.

회귀에서는 입력들이 완전히 선형종속이면 계수를 유일하게 추정하기 어렵다는 별도 문제가 있다. 이것은 다중공선성으로 다음 차시에서 다룬다. 상관이 조금 있다는 것, 강한 선형의존이 있다는 것, 완전한 선형종속이 있다는 것, 관측 오차가 종속이라는 것을 각각 분리해 읽어야 한다. 이 절은 REG-01 정정을 반영한다.

선형회귀 III 자료 p.5 · 자료 p.12 · 자료 p.13 · 자료 p.14 · 검수 근거

원자료 그림 함께 보기 · p.5

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

시간 순서와 잔차: 정규성과 정상성은 다르다

독립성을 살피려면 잔차를 시간이나 실제 관측 순서에 따라 그리는 것이 도움이 된다. 연속된 양수 잔차가 길게 이어지고 그 뒤 음수 잔차가 길게 이어지거나, 반복적인 파동이 보이면 시간구조가 모형에 남아 있을 가능성이 있다. 원래 시간순서를 무작위로 섞어 그리면 이런 단서를 잃는다.

잔차 히스토그램은 관측 순서를 버리고 값의 빈도만 보여 준다. 같은 숫자들을 순서만 달리 놓으면 히스토그램은 같지만 시간 패턴은 전혀 달라질 수 있다. 따라서 종 모양의 히스토그램만 보고 독립이라고 판단할 수 없다. Q-Q 그림도 순서가 아니라 정렬된 값에 초점을 맞추므로 같은 한계가 있다.

정상성은 시간 이동에 따라 분포 또는 특정 통계적 성질이 일정하다는 시간계열 개념이다. 정규성은 분포의 형태에 관한 개념이다. 매 시점 정규분포를 따르더라도 평균이 시간에 따라 증가하면 정상성을 만족하지 않을 수 있다. 반대로 시간에 따라 안정적인 비정규분포도 가능하다.

평균 변화나 구조 변화가 보인다고 모든 회귀가 불가능하다고 단정하지 않는다. 시간 추세, 집단 지시변수, 변화점, 상관 오차구조 등을 포함한 모형을 검토할 수 있다. 다만 현재 사용하는 단순한 독립 오차모형의 표준오차와 검정을 그대로 믿을 수 있는지는 다시 확인해야 한다. 자료의 비유와 수학적 동치관계는 구별한다.

조건부 기울기 예제: 1.5와 1을 더할 수 있는 조건

후속 자료를 연결한 AI 보충: 이 절의 주제는 5-1 범위의 가정 진단이며, 인용한 후반 페이지는 다음 차시의 예시·점검표를 이해 보조용으로 연결한 것이다. 해당 후반 내용을 5-1의 확정 발언으로 제시하지 않는다.

자료의 키 예제는 아버지 키의 계수 0.15와 할아버지 키의 계수 0.1을 이용한다. 두 변수를 함께 넣은 하나의 가법 모형이 \(\hat y=b_0+0.15x_1+0.1x_2\)라면, 다른 조건이 같을 때 아버지 키만 10cm 증가시키면 모형 예측은 1.5cm 증가한다. 할아버지 키만 10cm 증가시키면 1cm 증가한다.

이 계산은 두 계수가 같은 다중회귀식에서 나온 조건부 계수라는 전제 아래 맞다. 두 개의 별도 단순회귀에서 구한 계수를 가져와 하나의 다중회귀 계수처럼 더하면 안 된다. 한 입력을 빠뜨린 단순회귀 기울기는 다른 입력과의 상관 영향을 함께 반영할 수 있기 때문이다.

예측 차이가 계산된다는 것과 현실에서 그런 입력 변화가 쉽게 관측된다는 것은 다르다. 아버지 키와 할아버지 키가 강하게 연관되어 있다면 하나만 바꾸고 다른 하나는 고정한 비교가 드물 수 있다. 그때 개별 기울기의 추정이 불안정해질 수 있으나, 두 변수를 함께 변화시킨 예측이 반드시 불가능한 것은 아니다.

또 이 식은 관측된 관계에 대한 모형이다. 사람의 키를 조작해 다음 세대의 키를 변화시킨다는 인과실험 결과가 아니다. 입력의 단위, 계수의 출처, 다른 변수 고정 조건, 자료가 뒷받침하는 입력 범위를 확인한 뒤 해석해야 한다.

다음 차시 미리보기: mtcars 데이터의 열을 읽는 연습

다음 차시를 위한 AI 보충: 이 절은 5-1 영상에서 확정적으로 다룬 범위를 뜻하지 않는다. 5-2의 자료27~29쪽을 미리 읽어 가정 진단에서 실제 모형 분석으로 연결하는 준비 설명이다.

자료의 예제 데이터는 mtcars이며 반응변수 mpg는 미국 갤런당 주행거리인 Miles/(US) gallon이다. 값이 클수록 같은 연료로 더 멀리 간다는 뜻이다. 연료 소비량을 거리당 리터로 기록한 척도와는 증가 방향이 반대이므로 변수명을 읽을 때 단위를 함께 확인해야 한다.

AI 예제로 wt가 3에서 3.5로 변하면 중량이 0.5×1000=500파운드 증가한 것이다. 계수가 mpg/1000파운드 단위라면 이 변화의 예측효과는 계수의 절반이다. 단위 변환을 놓치면 수학적으로 계산을 잘해도 현실적인 설명이 틀린다.

탐색적 분석에서는 결측값, 변수의 범주·연속형 성격, 값의 범위, 드문 관측을 먼저 확인한다. 숫자로 저장된 am은 연속량처럼 임의의 중간값을 해석하기보다 범주 지시자로 읽는다. 반응과 입력의 산점도는 관계를 살피는 데 도움을 주지만 그것만으로 입력들 사이의 다중공선성까지 모두 진단할 수는 없다.

핵심을 내 말로 정리하기

• 진단의 출발점은 대상과 축을 정확히 읽는 것이다.
• 평균구조·분산구조·분포형태·관측 간 의존을 나누어 검토한다.
• 잔차는 오차를 직접 관측한 독립표본이 아니다.
• 독립변수라는 이름은 입력 열끼리 확률적으로 독립이라는 조건이 아니다.