선형회귀 II: 결정계수와 분산분석
수식의 조건과 계산 과정을 함께 익히는 독학 교재
이 차시를 마치면
- 세 제곱합의 기준점을 구분하고 SST=SSR+SSE의 OLS 조건을 설명한다.
- 결정계수와 수정 결정계수를 직접 계산한다.
- 변수 추가 시 R²의 비감소성과 수정R² 증가 기준을 구별한다.
- 자유도·평균제곱·F통계량을 ANOVA표로 연결한다.
- 카이제곱 척도·귀무가설 조건과 단순회귀 F=t²를 이해한다.
- 설명력·유의성·새자료 예측력을 분리하여 보고한다.
자료 기반 재구성은 강의자료와 검수 결과를 풀어 쓴 설명입니다. AI 보충 예제는 별도 표시합니다. 교수님의 발언을 그대로 옮긴 인용문은 아닙니다.
실제값·평균·적합값이라는 세 기준점
직선을 만든 뒤에는 그 직선이 반응값의 변동을 얼마나 설명하는지 묻는다. 이를 위해 관측값 \(y_i\), 전체 반응평균 \(\bar y\), 회귀모형의 적합값 \(\hat y_i\)를 구별한다. 세 값은 모두 Y와 같은 단위를 갖지만 역할이 다르다. 관측값은 실제 측정한 결과, 평균은 모든 관측에 똑같이 내놓을 기준 예측, 적합값은 입력을 이용해 각 관측에 내놓는 예측이다.
평균만 사용하는 모형은 입력의 차이를 무시한다. 반면 회귀모형은 입력마다 다른 값을 예측한다. 회귀를 평가한다는 것은 이 입력 정보를 사용했을 때 평균만 예측하는 기준선보다 얼마나 더 잘 맞게 되었는지 확인하는 일이기도 하다. 따라서 평균은 단순히 계산을 위한 중간값이 아니라 비교의 기준이다.
각 관측에서 \(y_i-\bar y\)는 평균 기준 전체 편차, \(\hat y_i-\bar y\)는 회귀가 평균에서 이동시킨 부분, \(y_i-\hat y_i\)는 이동 후에도 남은 잔차다. 한 그림에서 세 점의 높이를 표시하고 두 구간을 더하면 전체 구간이 되는지 확인하면 이후 제곱합의 뜻을 이해할 수 있다.
이 차시에서 SS는 Sum of Squares, 즉 제곱합이다. 분산과 관련되지만 자유도로 아직 나누지 않은 양이다. 제곱합을 곧바로 표준편차나 분산이라고 읽지 않고, 무엇과 무엇의 차이를 제곱했는지를 먼저 확인한다.
SST·SSR·SSE를 정의에서 구별하기
| 기호 | 계산식 | 뜻 |
|---|---|---|
| SST | \(\sum(y_i-\bar y)^2\) | 평균 기준 전체 변동 |
| SSR | \(\sum(\hat y_i-\bar y)^2\) | 적합값이 평균에서 달라지는 변동 |
| SSE | \(\sum(y_i-\hat y_i)^2\) | 적합 후 남은 잔차의 변동 |
이 교재에서 SSR은 회귀제곱합이며 SSE는 잔차제곱합이다. 다른 책이나 프로그램에서는 RSS를 잔차제곱합으로 부르기도 하므로 약어만 보지 말고 정의를 확인한다. 모든 제곱합은 Y단위의 제곱으로 측정되며 음수가 될 수 없다.
SST는 같은 반응 데이터와 같은 관측을 사용하면 어느 입력변수를 선택하든 변하지 않는다. 반면 SSR과 SSE는 적합한 모형에 따라 달라진다. OLS는 SSE를 최소화하므로 그 기준으로 평균만 쓰는 모형을 얼마나 개선했는지를 살펴보는 것이 자연스럽다.
예를 들어 제동거리 단위를 모두 100배로 바꾸면 각 차이가 100배가 되어 세 제곱합은 10000배가 된다. 따라서 서로 다른 단위의 분석에서 SSE 숫자만 직접 비교하면 안 된다. 뒤에서 배우는 R²와 F는 비율을 사용하므로 같은 단위 변환에서 이 공통 배수가 상쇄된다. 제곱합을 정의와 단위로 읽는 습관이 계산 오류를 줄인다.
전체 편차를 나누어도 제곱합은 저절로 나뉘지 않는다
각 관측에는 다음 항등식이 성립한다. 이 식 자체는 어떤 예측값을 쓰더라도 맞는다.
\[y_i-\bar y=(\hat y_i-\bar y)+(y_i-\hat y_i).\]하지만 양변을 제곱하면 교차항이 생긴다. \((a+b)^2=a^2+2ab+b^2\)이므로 전체 관측에서 합하면 다음과 같다.
\[SST=SSR+SSE+2\sum_i(\hat y_i-\bar y)e_i.\]따라서 언제나 SST=SSR+SSE라고 암기하면 안 된다. 마지막 교차항이 0이어야 한다. 절편을 포함하여 같은 학습 표본에 OLS로 적합한 경우에는 정상방정식 때문에 잔차가 상수열과 입력열에 직교한다. 단순회귀에서는 \(\sum e_i=0\), \(\sum x_ie_i=0\)이다.
\[\sum_i(\hat y_i-\bar y)e_i=(\hat\beta_0-\bar y)\sum_i e_i+\hat\beta_1\sum_i x_ie_i=0.\]이렇게 조건을 확인한 뒤에야 SST=SSR+SSE가 나온다. 자료의 변동 분해는 이 OLS 구조를 이용한다. 임의로 손으로 그린 선, 다른 표본에서 가져온 예측, 절편을 뺀 적합에 중심화된 SST를 그대로 적용하면 같은 등식이 보장되지 않는다. 피타고라스처럼 제곱길이가 더해지는 이유는 두 성분이 직교하기 때문이다.
결정계수는 평균 예측에 비해 줄인 변동의 비율
반응값이 모두 같지 않아 SST>0이고, 절편 있는 OLS를 같은 학습표본에서 평가하면 결정계수는 다음과 같이 쓸 수 있다.
\[R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}.\]오른쪽 형태는 평균만 예측할 때의 제곱오차 SST에 비해 회귀의 잔차제곱합이 얼마나 줄었는지를 보여 준다. 예를 들어 SST=100,SSE=30이면 R²=0.70이다. 평균을 기준으로 한 학습표본 전체 변동의 70%를 해당 회귀 적합이 설명한다는 뜻이다.
이는 관측값의 70%를 정확히 맞혔다는 뜻이 아니다. 분류문제의 정답률과 혼동하면 안 된다. 개별 관측마다 상대오차가 30%라는 뜻도 아니다. R²는 전체 제곱합의 비율이며 어떤 관측에서 큰 오차가 났는지에 대한 정보는 압축되어 사라진다.
위 조건에서 SSE는 0 이상이고 평균만 쓰는 모형의 SST보다 클 수 없으므로 0≤R²≤1이다. R²=1이면 모든 학습 잔차가 0이다. R²=0이면 이 선형 적합이 같은 표본에서 평균 예측보다 제곱합을 줄이지 못했다. 입력에 어떤 비선형 관계도 없다는 뜻이나 앞으로 어떤 방법으로도 예측할 수 없다는 뜻으로 확대하지 않는다.
R²의 범위와 관계 해석에 붙는 조건
R²가 0과 1 사이에 있다는 성질은 모든 이름의 결정계수에 무조건 적용되는 규칙이 아니다. 검증표본에 대한 \(1-SSE/SST\)는 예측이 그 검증표본의 평균보다 못하면 음수가 될 수 있다. 예를 들어 검증표본 SST=10이고 모델의 SSE=15라면 R²=−0.5다. 이 숫자는 계산 오류가 아니라 해당 기준보다 나쁜 예측을 뜻할 수 있다.
절편 없는 회귀에 중심화된 SST를 사용해도 음수가 가능하다. 또한 모든 y가 같은 상수이면 SST=0이라 이 식은 분모가 0이다. 프로그램이 특별한 값을 반환하더라도 수학적으로 이 비율을 보통의 변동 비율로 해석할 수 없다는 점을 알아야 한다.
AI 반례로 입력 −1,0,1과 반응 1,0,1을 생각하자. 반응은 정확히 x²이지만, 입력과 반응의 중심화 곱합은 0이어서 절편 있는 직선의 기울기는 0이고 R²=0이다. 직선은 평균2/3만 예측하지만 이차 관계는 완벽하다. 따라서 R²=0을 X가 Y에 아무 정보도 주지 않는다는 뜻으로 읽을 수 없다.
높은 R²의 보편적 합격선도 없다. 분야의 잡음, 예측 목적, 반응의 측정방식, 오류비용에 따라 필요한 수준이 달라진다. 자료의 예제값이나 그림에서 본 수치를 0.6 또는 0.7 이상이면 항상 좋은 모형이라는 규칙으로 바꾸지 않는다. 학습 적합도, 잔차 진단, 새 자료 성능은 따로 확인할 질문이다.
네 관측의 변동 분해를 끝까지 계산하기
4-1의 AI 예제 \(x=(0,1,2,3)\), \(y=(1,2,2,4)\)를 이어 쓴다. 적합식은 \(\hat y=0.9+0.9x\), 반응평균은 2.25다. 원자료의 예제를 옮긴 것이 아니라 같은 숫자로 추정과 평가를 연결하는 연습이다.
| 관측 | y−평균 | 적합값−평균 | 잔차 |
|---|---|---|---|
| 1 | −1.25 | −1.35 | 0.10 |
| 2 | −0.25 | −0.45 | 0.20 |
| 3 | −0.25 | 0.45 | −0.70 |
| 4 | 1.75 | 1.35 | 0.40 |
4.75=4.05+0.70으로 분해를 확인한다. 교차항에 들어가는 곱합도 −0.135−0.09−0.315+0.54=0이다. 따라서 \(R^2=4.05/4.75\approx0.8526\)이다. 학습표본 변동의 약85.3%를 설명하지만 앞 차시의 5% 기울기검정에서는 유의하지 않았다. 표본이 네 개로 작았기 때문이다. 설명력 비율과 통계적 유의성이 같은 개념이 아님을 실제 계산으로 확인할 수 있다.
변수를 더하면 R²가 감소하지 않는 이유
동일한 관측과 동일한 반응값에 절편 있는 비벌점 OLS를 적합한다고 하자. 기존 모델이 \(\beta_0+\beta_1x_1\)이고 확장 모델이 \(\beta_0+\beta_1x_1+\beta_2x_2\)이면 확장 모델은 β2=0을 택해 기존 모델을 그대로 재현할 수 있다. 이렇게 작은 모형의 모든 예측을 큰 모형이 포함하면 중첩 모형이라고 한다.
큰 모형이 최적화할 수 있는 후보 집합에는 작은 모형의 최적해도 포함된다. 따라서 큰 모형의 최소 SSE는 기존 SSE보다 크지 않다. 같은 y를 사용하므로 SST는 그대로이고 R²는 줄지 않는다. 이것이 변수 추가의 단조성에 관한 수학적 근거다.
정확한 표현은 항상 증가가 아니라 감소하지 않음이다. 새 변수가 기존 잔차와 전혀 관련되지 않아 개선을 만들지 않으면 SSE와 R²가 그대로일 수 있다. 새 열이 기존 열들의 선형결합이면 예측 가능한 공간도 커지지 않는다. 이때는 계수의 유일성과 자유도 계산에도 별도 주의가 필요하다.
이 성질은 같은 데이터의 학습 적합 비교에 관한 것이다. 결측치 때문에 관측이 달라졌거나 서로 다른 반응변수를 사용했거나 벌점을 넣어 계수를 추정했다면 조건이 달라진다. 학습 R²가 증가해도 검증자료의 예측오차는 커질 수 있으므로 단순히 가장 큰 R²를 고르는 방식은 복잡한 모형을 과도하게 선호한다.
수정 결정계수: 자유도를 써서 복잡도를 보정하기
설명변수 수를 p로 쓰되 절편은 제외한다. 설계행렬의 열들이 선형독립이고 n>p+1일 때 잔차 자유도는 n−p−1이다. 수정 결정계수는 잔차제곱합과 전체제곱합을 각각의 자유도로 나눈 값들의 비율로 정의한다.
\[R^2_{adj}=1-\frac{SSE/(n-p-1)}{SST/(n-1)}=1-\frac{n-1}{n-p-1}(1-R^2).\]전체 평균을 하나 추정한 SST의 자유도는 n−1이며, 절편과 p개 기울기를 추정한 SSE의 자유도는 n−p−1이다. 같은 SSE라면 p가 커질수록 분모 자유도가 줄어 잔차 평균제곱이 커진다. 추가 변수가 이 손해를 보상할 만큼 SSE를 줄여야 수정 R²가 올라간다.
p>0이면 앞의 보정계수는 1보다 크다. SSE≥0이므로 수정 R²≤R²다. 완벽 적합처럼 SSE=0이면 둘 다 1이어서 언제나 엄격히 작은 것은 아니다. 수정 R²는 음수가 될 수 있으며, 음수라고 제곱합이 음수라는 뜻이 아니다.
앞 AI 네 관측 예제는 n=4,p=1,R²≈0.8526이므로 수정 R²는 \(1-(3/2)(0.70/4.75)\approx0.7789\)이다. 작은 표본에 두 계수를 추정한 부담이 반영된다. 수정 R²도 새 자료 성능을 직접 측정한 값은 아니므로 독립적인 평가자료를 대신하는 보증서로 쓰지 않는다.
수정 R²의 증가와 5% 유의성은 다른 기준
변수 하나를 추가했을 때 수정 R²가 증가하는 조건을 직접 유도해 보자. 축소모형과 확장모형의 SSE를 각각 \(SSE_R,SSE_F\), 확장모형 잔차 자유도를 d라고 하면 축소모형 자유도는 d+1이다. 같은 SST를 사용하므로 수정 R²가 증가하는 것은 잔차 평균제곱이 줄어드는 것과 같다.
\[\frac{SSE_F}{d}<\frac{SSE_R}{d+1}\iff SSE_R-SSE_F>\frac{SSE_F}{d}.\]\[F_{partial}=\frac{(SSE_R-SSE_F)/1}{SSE_F/d}>1.\]즉 증가 기준은 partial F>1이다. 한 변수에 대한 같은 모형의 계수 t검정과 연결하면 t²>1이라는 조건이다. 이는 보통의 5% 검정 임계값과 같지 않으므로 통계적으로 유의하지 않은 변수도 수정 R²를 올릴 수 있다.
AI 예제로 n=100,SST=100이고 기존 p=1,SSE=80이면 R²=0.20,수정 R²≈0.191837이다. 새 변수로 p=2,SSE=79가 되면 R²=0.21,수정 R²≈0.193711로 조금 오른다. partial F는 \(1/(79/97)=97/79\approx1.22785\), |t|는 약1.108이다. 자유도97의 통상 5% 양측검정에는 유의하지 않지만 수정 R²는 증가했다.
따라서 수정 R²가 유의하지 않은 변수를 항상 걸러낸다는 설명은 정확하지 않다. 보정지표의 대수적 증가 기준과 유의수준을 사용한 확률적 판단은 구별한다.
분산분석표: 제곱합을 자유도로 나누어 비교하기
ANOVA는 Analysis of Variance의 약어다. 여기서는 회귀가 설명한 변동을 잔차 변동과 비교하여 기울기들이 모두 0이라는 가설을 검정한다. 단순회귀의 전체검정은 기울기 하나에 대한 검정이고, 다중회귀에서는 모든 기울기가 동시에 0인지 묻는다.
| 변동원 | 제곱합 | 자유도 | 평균제곱 |
|---|---|---|---|
| 회귀 | SSR | p | MSR=SSR/p |
| 잔차 | SSE | n−p−1 | MSE=SSE/(n−p−1) |
| 전체 | SST | n−1 | 비교 기준 |
여기서 p는 절편을 제외한 설명변수 수이고 완전열계수를 가정한다. 자유도도 p+(n−p−1)=n−1로 더해진다. MS는 Mean Square로, 제곱합을 자유도로 나눈 평균제곱이다. 회귀의 F통계량은 \(F=MSR/MSE\)다.
단순회귀에서는 p=1이므로 \(F=(SSR/1)/(SSE/(n-2))\)다. 귀무가설 아래 두 평균제곱은 공통 오차분산을 반영한다. 평균 관계가 입력에 따라 달라지면 회귀 평균제곱이 상대적으로 커질 수 있어 큰 F가 귀무가설에 반대되는 근거가 된다. 다만 어느 정도 커야 충분한지는 표본 크기와 자유도를 반영한 F분포로 판단한다.
SSR/SSE가 1보다 큰지는 검정 기준이 아니다
설명된 변동이 남은 변동보다 크면 좋아 보인다는 직관과 유의성 검정은 다르다. 자료38쪽의 SSR/SSE>1 여부로 기울기를 판단하는 문구는 자유도와 표본 규모를 빠뜨린다. 단순회귀의 실제 검정통계량에는 n−2가 곱해진다.
\[F=(n-2)\frac{SSR}{SSE}.\]AI 예제로 n=50에서 SSR/SSE=0.1이면 비율은 1보다 작지만 F=48×0.1=4.8이다. 자유도1,48의 5% 상측임계값은 약4.04이므로 이 예에서는 유의하다. 설명된 총량이 잔차 총량보다 작다는 사실만으로 기울기0이라고 할 수 없다.
반대 방향도 확인할 수 있다. 앞의 네 관측 예제는 SSR/SSE=4.05/0.70≈5.786으로1보다 크지만 F≈11.571이다. 자유도1,2의 5% 임계값은 약18.513이므로 유의하지 않다. 관측이 적으면 큰 비율에도 불확실성이 남는다.
검정 결과가 비유의라는 것은 귀무가설을 기각할 충분한 증거를 확보하지 못했다는 뜻이다. 기울기가 정확히0이라는 증명도 아니고 입력의 모든 유용성을 부정하는 것도 아니다. 설명력의 크기, 표본의 정보량, 검정의 판단은 서로 관련되지만 같은 숫자 하나로 치환할 수 없다.
카이제곱분포와 σ²로 나누는 이유
독립인 표준정규 확률변수 Z₁,…,Zₖ의 제곱합은 자유도 k의 카이제곱분포를 따른다. \(Q=\sum Z_i^2\sim\chi_k^2\)다. 표준정규라는 조건과 독립이라는 조건이 모두 들어간다. 평균0인 임의의 정규변수 제곱합을 척도 조정 없이 바로 같은 카이제곱분포라고 할 수 없다.
회귀 잔차들은 OLS의 제약 때문에 서로 독립인 원오차와 동일하지 않다. 정규오차를 잔차공간의 직교방향으로 표현하면 남은 n−p−1개의 표준화된 독립 방향의 제곱합을 얻는다. 따라서 정규 선형모형의 결과는 \(SSE/\sigma^2\sim\chi^2_{n-p-1}\)이다. 잔차 개수 n개를 보고 자유도를 n으로 두면 안 된다.
단순회귀의 전체 귀무가설 \(H_0:\beta_1=0\) 아래에는 \(SSR/\sigma^2\sim\chi^2_1\)이고 SSE/σ²와 독립이다. 분산으로 나누어야 제곱합의 단위도 사라진다. 자료의 SSR·SSE가 카이제곱이라는 압축 표기는 이 척도와 귀무가설을 붙여 읽어야 한다.
대립가설에서는 회귀제곱합에 신호가 들어가므로 일반적으로 비중심 카이제곱분포가 된다. 또한 카이제곱분포의 봉우리가 언제나0에 있는 것은 아니다. 자유도에 따라 모양이 바뀌며 k>2일 때 최빈값은 k−2다. 그림 하나의 모양을 모든 자유도로 일반화하지 않는다.
독립인 카이제곱 비율이 F분포가 되는 과정
독립인 \(U\sim\chi^2_{\nu_1}\), \(V\sim\chi^2_{\nu_2}\)가 있으면 각각을 자유도로 나눈 뒤 비율을 취한 값이 F분포를 따른다. 단순히 U/V라고만 쓰면 자유도 보정을 놓친다.
\[\frac{U/\nu_1}{V/\nu_2}\sim F_{\nu_1,\nu_2}.\]단순회귀에서는 귀무가설 아래 U=SSR/σ²,V=SSE/σ²,자유도는1과n−2다. 이를 대입하면 공통 σ²가 분자와 분모에서 소거된다.
\[\frac{(SSR/\sigma^2)/1}{(SSE/\sigma^2)/(n-2)}=\frac{SSR/1}{SSE/(n-2)}\sim F_{1,n-2}.\]모르는 σ²를 최종 통계량에서 제거할 수 있다는 점이 중요하다. 그렇다고 처음부터 척도 없는 SSR과 SSE 자체가 카이제곱이라는 뜻은 아니다. 독립성·정규성·동일 오차분산·올바른 선형 평균 및 귀무가설이라는 조건들이 정확한 중심 F분포를 뒷받침한다.
F는 음수가 아니고 큰 값이 대립가설의 근거이므로 상측확률 \(P(F_{1,n-2}\ge F_{obs})\)를 p값으로 사용한다. t의 양측검정처럼 여기에 다시2를 곱하지 않는다. 대립가설 아래에는 일반적으로 비중심 F분포가 나타나지만 검정의 p값은 귀무가설 아래 분포를 기준으로 계산한다.
단순회귀에서 F=t²가 되는 이유
절편 있는 단순회귀에서는 적합값의 평균이 반응평균과 같고 \(\hat y_i-\bar y=\hat\beta_1(x_i-\bar x)\)이다. 따라서 회귀제곱합은 \(SSR=\hat\beta_1^2S_{xx}\)이다. 기울기0을 검정하는 t통계량을 제곱하면 다음과 같다.
\[(t^*)^2=\frac{\hat\beta_1^2}{s^2/S_{xx}}=\frac{\hat\beta_1^2S_{xx}}{SSE/(n-2)}=F.\]따라서 같은 단순회귀의 양측 기울기 t검정과 전체 F검정은 같은 p값과 같은 기각 결론을 준다. t는 기울기의 부호를 보존하지만 F는 제곱이므로 방향 정보는 없다. F결과만 보고 증가 관계인지 감소 관계인지 판단할 수 없고 계수 추정값을 함께 읽어야 한다.
AI 네 관측 예제에서 t≈3.4017이므로 t²≈11.5714다. ANOVA로 계산해도 MSR=4.05,MSE=0.35,F=4.05/0.35≈11.5714로 일치한다. p값 약0.0766도 앞 차시의 양측검정과 같다. 수치가 맞지 않으면 제곱합, 자유도 또는 양측·상측 확률의 차이를 점검한다.
이 동일성은 한 기울기의 단순회귀 전체검정에 관한 것이다. 다중회귀의 모든 기울기0에 대한 전체 F를 개별 기울기 t 하나의 제곱과 같다고 해서는 안 된다. 추가변수가 하나인 중첩모형의 부분 F는 그 변수의 같은 모형 t²와 연결되지만 여러 변수를 동시에 추가하면 자유도가 달라진다.
cars의 R²·수정 R²·F를 함께 읽기
자료의 cars 출력은 R²=0.6511, 수정 R²=0.6438을 보여 준다. 동일 학습표본의 평균 기준 변동 중 약65.11%를 속도에 대한 단순회귀가 설명한다는 뜻이다. 여전히 약34.89%의 제곱합은 잔차로 남는다. 이는 개별 관측이 평균적으로34.89% 틀린다는 뜻과 다르다.
n=50,p=1이므로 수정 R²를 반올림 값에서 확인하면 \(1-(49/48)(1-0.6511)\approx0.643831\)이다. 출력의0.6438과 맞는다. 같은 반올림값을 사용한 F 확인은 \(48(0.6511)/(1-0.6511)\approx89.575\)다. 자료의 더 정확한 내부 계산 출력 F=89.57과 반올림 범위에서 일치한다.
기울기 t≈9.46426을 제곱해도 약89.5722다. 자유도는1과48이고 출력 p값은 \(1.49\times10^{-12}\)다. 매우 작은 p값으로 기울기0을 기각한다. 이 판단은 회귀의 변동 설명이 우연한 잡음만으로 보기 어렵다는 통계적 근거이며, 잔차가0이라는 결론은 아니다.
제공 PDF의 추출텍스트에는 보이지 않는 답층의 숫자가 섞일 수 있다. 따라서 이 교재는 실제 출력에서 확인된 F=89.57,자유도1·48,p값1.49e−12를 기준으로 한다. 다른 숨은 임계값을 결과로 가져오지 않는다. 앞의 작은 표본 AI 예제와 비교하면 R²가 더 낮아도 더 많은 관측으로 유의한 기울기 근거를 얻을 수 있음을 이해할 수 있다.
평가 결과를 한 문단으로 설명하는 순서
결과를 설명할 때에는 먼저 어떤 반응을 어떤 입력으로 예측했는지, 표본 수가 얼마인지, 절편을 포함했는지 밝힌다. 다음으로 적합식과 계수의 방향·단위를 적어 모형이 표현하는 평균 관계를 설명한다. 그 뒤 R²로 학습 변동의 설명 비율을, 수정 R²로 자유도 보정 뒤의 지표를 보고한다.
검정은 귀무가설과 통계량의 자유도까지 함께 제시한다. 예를 들어 단순회귀라면 기울기0에 대한 F검정인지 분명히 하고 F(1,n−2)와 p값을 적는다. 작은 p값이라는 말만 쓰지 말고 무엇에 반대되는 근거인지 설명해야 한다. 비유의이면 효과가0이라고 단정하지 않고 신뢰구간과 표본 정보도 살펴본다.
마지막으로 이 결과가 학습 데이터의 적합 평가임을 구별한다. 좋은 R²나 유의한 F가 잔차의 독립성·등분산성·선형성을 증명해 주지 않는다. 모형에 남은 체계적인 패턴은 잔차그림 등 진단으로 살피고, 실제 새 자료 예측은 분리한 평가자료에서 확인해야 한다. 이 두 과제는 후속 회귀 진단 단원으로 이어진다.
혼동을 피하려면 세 질문을 되짚는다. 지금 비교하는 것은 제곱합인가 자유도로 나눈 평균제곱인가? 같은 학습표본인가 새로운 표본인가? 설명력의 크기를 말하는가 귀무가설과의 양립 정도를 말하는가? 이 질문에 답하면 R²,수정 R²,F,p값을 서로 대체하지 않고 각자의 역할대로 읽을 수 있다.
변수를 하나 추가하면 평가가 어떻게 달라질까?
R²와 수정 R²를 함께 비교하기
같은 100개 관측값에 절편을 포함한 중첩 OLS 모형을 적합했다고 가정합니다. SST=100, 기존 모형은 설명변수 1개·SSE=80입니다. 새 모형은 설명변수 2개이며 잔차제곱합만 바꿉니다. 실제 강의 데이터가 아닌 계산 예제입니다.
수정 R²는 \(1-\frac{SSE/(n-p-1)}{SST/(n-1)}\)입니다. 변수 하나의 추가 효과를 나타내는 partial F가 1을 넘으면 수정 R²가 증가하지만, 이것은 5% 유의성 판정과 같은 기준이 아닙니다. 단지 학습 오차를 줄였다는 이유로 새 데이터 예측력까지 좋아졌다고 단정할 수 없습니다.
핵심을 내 말로 정리하기
- 세제곱합은 y−평균,적합값−평균,y−적합값을각각제곱하여더한다.
- 절편있는학습OLS와SST>0에서R²=SSR/SST=1−SSE/SST이며0~1이다.
- 같은표본의중첩OLS에서변수추가는R²를감소시키지않지만일반화를보장하지않는다.
- 수정R²는자유도보정지표이며변수하나추가시partialF>1에서증가한다.
- ANOVA는MSR/MSE를사용하며SSR/SSE>1을검정기준으로쓰지않는다.
- 정확한χ²·F분포에는척도σ²와정규성·독립성·귀무가설조건을명시한다.
- 단순회귀전체F는양측기울기검정t²이며설명력의크기와유의성은다르다.
이해했는지 확인해 보기
먼저 답을 생각한 뒤 문제를 눌러 풀이와 비교하세요.
1. SST=SSR+SSE는 아무 예측에도 성립하는가?
2. SST100,SSE25이면 R²는?
3. 검증표본 R²가−0.5이면 반드시 계산오류인가?
4. 변수를 더하면 학습R²가 반드시 엄격히 증가하는가?
5. 수정R²가 증가하면 새변수는5%에서유의한가?
6. n50에서SSR/SSE=.1이면F는?
7. SSR 자체가 항상χ²(1)인가?
8. 단순회귀t=−3이면전체F와방향은?
9. R²≈.853인네관측예제가5%에서비유의할수있는가?
이 차시에서 주의할 표현
- 자료의 물리쪽수를 기준으로 재구성했다. 교수의 실제 발언을 직접 인용하거나 원음 청취를 보증하지 않으며 확인하지 않은 영상시간은 붙이지 않았다.
- AI 보충 설명의 예제·증명·적용조건은 원자료의 문장과 구별한다.
- REG-03~07,10을 반영했다. R²범위와 변동분해는 절편포함·동일학습표본·OLS 및 SST>0 조건으로 제한한다.
- 수정R²를 통상5%유의성 필터로 설명하지 않았다. partialF>1 조건과 수치반례는 AI보충이다.
- SSR/SSE의1초과 여부를 검정기준으로쓰지 않는다. 카이제곱에는σ²척도와SSR의H0조건을붙였다.
- 보편적인 R²합격선은 제시하지않는다. 자료42쪽의 비가시 답층 추출값을 실제 출력으로 인용하지 않는다.
미확정 음성은 정답의 근거로 사용하지 않았습니다. 검수 기록 보기
4주차를 마쳤다면
기초 개념부터 계산과 복합 사례까지 50문항. 한 문항마다 정답과 풀이를 확인하세요.
4주차 종합 퀴즈 시작 →