상관과 선형회귀

상관과 공분산

상관분석은 두 변수의 선형 관계 방향과 강도를 요약한다. 공분산은 두 변수가 각자의 평균에서 함께 벗어나는 방향을 측정한다.

표본 공분산은 Σ(xᵢ−평균x)(yᵢ−평균y)/(n−1)이고, Pearson r은 공분산을 두 표준편차의 곱으로 나눈 값이다. 표준편차가 0이면 r을 정의할 수 없다. 단위가 다른 변수라도 표준화된 r로 선형 관계를 비교할 수 있다.

공분산은 Covariance, 상관계수는 Correlation Coefficient다. 모집단에서는 Cov(X,Y)=E[(X−μX)(Y−μY)], ρ=Cov(X,Y)/(σXσY)로 쓴다. 모집단 기호 ρ와 표본에서 계산하는 r을 구분한다.

Expected Value는 기댓값이다. 공분산의 E 기호는 편차의 곱을 확률적으로 평균한다는 뜻이다.

관련 강의자료 펼치기

Regression_analysis (1) · PDF 물리 2쪽
Regression_analysis (1) · PDF 물리 3쪽
Regression_analysis (1) · PDF 물리 4쪽
Regression_analysis (1) · PDF 물리 5쪽
관련 영상 00:00:00 (원본 영상 · 로컬 보관)
관련 영상 00:05:34 (원본 영상 · 로컬 보관)

상관계수와 산점도

r은 −1에서 1 사이이며 양수는 증가 방향, 음수는 감소 방향의 선형 관계를 뜻한다. 절댓값이 1에 가까울수록 점들이 직선 가까이에 놓인다.

r=0은 선형 관계가 없다는 뜻이지 모든 관계가 없다는 뜻은 아니다. 산점도로 곡선 관계와 이상값을 함께 살펴야 한다. 상관만으로 인과관계를 입증할 수도 없다.

산점도는 Scatterplot이다. r=.8과 r=−.8은 선형 관계의 강도는 같고 방향은 반대다. 산점도가 곡선이면 선형 상관계수가 작아도 체계적인 관계가 있을 수 있다.

Scatter Plot도 Scatterplot과 같은 산점도 표기다. 직선 방향만 보지 말고 곡선·이상값·관측 범위를 함께 살핀다.

관련 강의자료 펼치기

Regression_analysis (1) · PDF 물리 6쪽
Regression_analysis (1) · PDF 물리 11쪽
관련 영상 00:07:13 (원본 영상 · 로컬 보관)

회귀분석의 목적과 종류

회귀분석은 반응변수 Y가 설명변수 X에 따라 어떻게 달라지는지 모형화하여 설명과 예측에 사용한다. 설명변수가 하나면 단순회귀, 둘 이상이면 다중회귀다.

선형·비선형 관계를 구분하고 관측 범위 안에서 모형이 적절한지 살펴야 한다. 변수의 이름을 원인과 결과로 붙였다는 사실만으로 인과가 확인되는 것은 아니다.

단순회귀는 Simple Regression Analysis, 다중회귀는 Multiple Regression Analysis다. 설명변수의 수에 따른 구분과 Linear Model(선형 모형)·Nonlinear Model(비선형 모형)의 구분은 다른 기준이다.

Response Variable은 반응변수이며 결과로 설명하려는 Y다. 설명변수 X와 반응변수 Y의 역할을 바꾸면 회귀 문제가 달라진다.

관련 강의자료 펼치기

Regression_analysis (1) · PDF 물리 7쪽
Regression_analysis (1) · PDF 물리 8쪽
Regression_analysis (1) · PDF 물리 9쪽
Regression_analysis (1) · PDF 물리 10쪽
관련 영상 00:09:13 (원본 영상 · 로컬 보관)

단순선형회귀 모형과 잔차

모형은 yᵢ=β₀+β₁xᵢ+εᵢ, 추정식은 예측y=b₀+b₁x이다. 절편은 x=0의 예측값이고 기울기는 x가 1 증가할 때의 예측 변화량이다.

잔차는 관측값−예측값이다. 최소제곱법은 잔차 제곱합을 가장 작게 하는 직선을 찾으며 모든 잔차를 0으로 만드는 것은 아니다. 추론에서는 오차의 독립성·분산·분포와 모형 형태도 고려한다.

Residual(잔차)은 관측 y와 적합값 Fitted Value의 차이이고, Error(오차)는 모집단 모형의 관측되지 않는 오차항이다. Ordinary Least Squares(OLS, 최소제곱법)는 y방향 잔차의 제곱합을 최소화한다. 점에서 직선까지의 수직 최단거리를 최소화하는 문제와 다르다.

관련 강의자료 펼치기

Regression_analysis (1) · PDF 물리 12쪽
Regression_analysis (1) · PDF 물리 13쪽
Regression_analysis (1) · PDF 물리 14쪽
Regression_analysis (1) · PDF 물리 15쪽
Regression_analysis (1) · PDF 물리 16쪽
관련 영상 00:17:36 (원본 영상 · 로컬 보관)
관련 영상 00:19:24 (원본 영상 · 로컬 보관)

제곱합 분해와 결정계수

절편을 포함한 최소제곱 회귀에서 SST=Σ(yᵢ−평균y)², SSE=Σ(yᵢ−예측yᵢ)², SSR=Σ(예측yᵢ−평균y)²이고 SST=SSR+SSE이다.

R²=SSR/SST=1−SSE/SST는 전체 변동 중 회귀식으로 설명한 비율이다. 단순선형회귀의 잔차 자유도는 n−2, 회귀 자유도는 1이며 F=(SSR/1)/(SSE/(n−2))로 모형의 기울기 0 가설을 검정한다.

SST는 Total Sum of Squares(총제곱합), SSE는 Error Sum of Squares(잔차제곱합), SSR은 Regression Sum of Squares(회귀제곱합)다. ANOVA는 Analysis of Variance(분산분석)이며, MS는 Mean Square(평균제곱), df는 Degrees of Freedom(자유도)이다. R²는 Coefficient of Determination(결정계수)다.

관련 강의자료 펼치기

Regression_analysis (1) · PDF 물리 17쪽
Regression_analysis (1) · PDF 물리 18쪽
Regression_analysis (1) · PDF 물리 19쪽
Regression_analysis (1) · PDF 물리 20쪽
관련 영상 00:24:40 (원본 영상 · 로컬 보관)

R로 회귀식 추정하기

적성검사점수와 업무만족점수 사례는 산점도를 그린 뒤 단순선형회귀를 적합하는 순서로 진행한다. 12명의 자료라면 잔차 자유도는 10이다.

R에서는 plot(x,y), model <- lm(y~x), summary(model), abline(model, col='blue', lty=1)을 사용할 수 있다. lty는 선의 모양을 정하는 그래프 옵션으로 회귀계수와는 다르다.

실습 자료에는 업무만족도·결근횟수·적성검사점수의 세 열과 12개 관측값이 있다. 세 열이 존재한다는 사실만으로 다중회귀를 실행한 것은 아니다. 제시된 y~x 모형은 적성검사점수 하나로 업무만족도를 설명한다.

설명변수가 x1과 x2 두 개이면 R의 formula를 y~x1+x2로 확장하여 lm(y~x1+x2)를 쓸 수 있다. 영상 말미에 이 코드가 추가 판서된다. 화면에 남아 있는 계수 30.9333과 .8705, R²=.6828은 앞선 단순회귀의 출력이므로 새 다중회귀 결과로 옮겨 읽지 않는다.

관련 강의자료 펼치기

Regression_analysis (1) · PDF 물리 21쪽
Regression_analysis (1) · PDF 물리 22쪽
Regression_analysis (1) · PDF 물리 23쪽
Regression_analysis (1) · PDF 물리 24쪽
관련 영상 00:28:38 (원본 영상 · 로컬 보관)
관련 영상 00:31:10 (원본 영상 · 로컬 보관)
관련 영상 00:32:24 (원본 영상 · 로컬 보관)
관련 영상 00:41:00 (원본 영상 · 로컬 보관)

회귀 출력을 해석하는 순서

예측식이 y=30.93+.87x라면 x가 1 증가할 때 예측 y는 .87 증가한다. 계수의 t검정, 모형의 F검정, R²와 수정 R²는 각각 다른 정보를 준다.

수정 R²는 표본 수와 설명변수 수를 반영한다. 유의확률이 작다고 효과가 실무적으로 크거나 모든 가정이 충족된 것은 아니다. 회귀식은 사용한 데이터에 의존하므로 입력값을 바꾸면 출력도 달라진다.

출력의 절편 추정값은 30.9333, 기울기는 .8705다. 각각의 표준오차(Std. Error)는 11.5747과 .1876, t값은 2.672와 4.640, p값은 .023392와 .000922다. 소수 둘째 자리 예측식 30.93+.87x는 이 값을 반올림한 것이다.

Residual Standard Error=4.806, 잔차 자유도=10, Multiple R-squared=.6828, Adjusted R-squared=.6511이다. F=21.53의 자유도는 1과 10이고 모형 p=.0009223이다. 약 68.3%는 업무만족도 변동의 설명 비율이며 정답률이 아니다.

Coefficients는 회귀계수 표, Estimate는 추정값, Intercept는 절편이다. Estimate 열의 계수와 Std. Error 열의 추정 불확실성을 구분한다.

관련 강의자료 펼치기

Regression_analysis (1) · PDF 물리 25쪽
관련 영상 00:30:10 (원본 영상 · 로컬 보관)
관련 영상 00:37:30 (원본 영상 · 로컬 보관)
관련 영상 00:38:51 (원본 영상 · 로컬 보관)

핵심을 내 말로 정리하기

• Pearson 상관계수의 부호는 선형 관계의 방향을 나타낸다.
• 상관이 있다는 사실만으로 원인을 확정할 수 없다.
• 회귀 잔차는 관측값에서 예측값을 뺀 값이다.
• 최소제곱은 잔차의 제곱합을 최소화한다.
• 회귀계수와 결정계수는 다른 값이다.
• 수정 R²는 설명변수 수와 표본 수를 반영한다.
• F검정의 유의성만으로 선형모형의 모든 가정이 확인되지는 않는다.
• 단순선형회귀의 잔차 자유도는 n−2이다.