선형회귀 II: 추정의 불확실성과 기울기 검정

직선을 구한 뒤에도 남는 질문

앞 차시에서는 관측쌍을 가장 잘 맞추는 직선을 최소제곱법으로 구했다. 이번에는 한 걸음 더 나아가 다른 표본을 얻었다면 기울기가 얼마나 달라질까, 그리고 관측된 기울기가 0과 구별될 만큼 충분한 근거를 주는지를 묻는다. 직선을 계산하는 추정과 그 결과의 불확실성을 평가하는 추론을 연결하는 단원이다.

모형은 \(Y_i=\beta_0+\beta_1x_i+\varepsilon_i\)이고 적합식은 \(\hat y_i=\hat\beta_0+\hat\beta_1x_i\)다. 모집단의 모수에는 모자가 없고, 표본으로 구한 값에는 모자가 있다. 같은 모집단에서 표본을 다시 얻으면 실제 모수는 그대로지만 관측값과 적합 계수는 달라진다. 따라서 모수의 불확실성을 말할 때에는 모수가 무작위로 흔들린다는 뜻인지, 추정량이 표본에 따라 흔들린다는 뜻인지 구별해야 한다.

이 교재의 확률 계산은 입력값들을 고정해 놓거나 입력 전체에 조건을 둔 관점에서 한다. 입력의 분포까지 함께 논의하는 복잡성을 피하면서, 주어진 입력 위치에서 반응값의 변동이 계수 추정에 어떻게 전해지는지를 살핀다. 단순회귀에서 입력에 변동이 있어야 기울기를 식별할 수 있다는 앞 차시의 조건도 계속 유지된다.

추정량과 추정값, 점추정과 구간추정

추정량은 표본을 넣으면 모수의 추정치를 돌려주는 계산 규칙이다. 아직 표본을 얻기 전에는 그 규칙의 결과가 무작위이므로 추정량도 확률변수로 다룬다. 실제 데이터를 대입해 나온 숫자는 추정값이다. 관습적으로 같은 기호를 쓰기도 하지만 두 의미를 구별하면 기대값과 분산의 대상을 이해하기 쉬워진다.

여기서 입력을 고정했으므로 분모는 고정되어 있고 반응값이 들어간 분자는 표본마다 변한다. 이 식에 실제 측정한 숫자를 넣어 기울기 3.932 같은 값 하나를 얻으면 점추정이다. 점추정은 예측식에 바로 넣기 편하지만 그 숫자의 안정성은 알려주지 않는다.

구간추정은 추정값 주변에 불확실성을 반영한 범위를 만든다. 기본 구조는 추정값 ± 임계값 × 표준오차다. 같은 점추정이라도 표준오차가 크면 구간이 넓고, 작으면 좁다. 구간의 중심과 폭은 서로 다른 정보를 주므로 점추정과 구간추정은 경쟁하는 방법이라기보다 함께 보고할 정보다.

오차분산을 추정할 때 왜 n−2로 나누는가

오차분산 \(\sigma^2\)는 참 평균선 주위에서 관측값이 얼마나 흩어지는지를 나타낸다. 참 평균선을 모르므로 실제 계산에서는 적합한 선과의 잔차 \(e_i=y_i-\hat y_i\)를 사용한다. 절편과 기울기를 추정한 단순회귀의 분산 추정치는 다음과 같다.

절편 있는 OLS의 잔차는 \(\sum e_i=0\), \(\sum x_i e_i=0\)이라는 두 조건을 만족한다. 입력이 모두 같지 않으면 두 조건은 독립적이다. 잔차가 아무렇게나 움직일 수 있는 방향이 관측 수보다 둘 줄어들어 잔차 자유도는 n−2가 된다. 단순히 숫자 두 개를 뺐다는 암기보다 적합 과정에서 두 방향을 이미 사용했다는 뜻으로 이해한다.

평균 0·등분산·무상관 오차와 올바른 선형 평균 모형 아래 \(E(SSE\mid X)=(n-2)\sigma^2\)이므로 이 나눗셈은 분산에 대한 불편추정치를 준다. n으로 나누는 학습 MSE와는 목적이 다르다. 분산은 반응 단위의 제곱, s는 반응과 같은 단위다. n이 2이면 직선을 맞출 수 있어도 잔차분산을 이 식으로 추정할 자유도가 없으므로 추론에는 n>2가 필요하다.

계산에 필요한 조건과 추론에 필요한 조건

OLS 계수는 주어진 숫자로 잔차제곱합을 최소화하여 계산한다. 그 계산 자체에 정규분포를 요구하지 않는다. 그러나 추정량의 성질과 검정의 정확한 분포를 말할 때에는 조건이 필요하다. 여기서는 \(S_{xx}>0\)이고, \(E(\varepsilon_i\mid X)=0\), \(\operatorname{Var}(\varepsilon_i\mid X)=\sigma^2\), 서로 다른 오차의 조건부 공분산이 0이라고 가정한다.

평균 0은 선택한 입력을 알고도 평균적으로 남는 체계적인 오차가 없다는 뜻이다. 등분산은 입력 위치에 따라 오차의 퍼짐이 달라지지 않는다는 뜻이다. 무상관은 서로 다른 관측의 오차가 함께 커지거나 작아지는 선형적 패턴이 없다는 뜻이다. 설명변수들끼리 독립이어야 한다는 조건과 혼동하지 않는다.

뒤의 정확한 t검정에는 독립인 정규오차 \(\varepsilon_i\sim N(0,\sigma^2)\)라는 더 강한 모형을 사용한다. 평균 0이라고 표준정규분포가 되는 것은 아니다. 분산이 1이어야 표준정규다. 또한 X를 고정했을 때 \(\operatorname{Var}(Y_i\mid X)=\sigma^2\)이지만, X까지 무작위로 변화시키는 주변분산 \(\operatorname{Var}(Y)\)을 언제나 오차분산과 같다고 해서는 안 된다. 자료13쪽의 압축된 분산 표기는 이 조건부 관점으로 읽는다.

선형회귀 II 자료 p.11 · 자료 p.12 · 자료 p.13 · 검수 근거

원자료 그림 함께 보기 · p.13

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

불편성은 한 번의 정답 보장이 아니다

불편추정량이라는 말은 반복 표본에서 추정량의 평균이 참 모수와 같다는 뜻이다. \(E(\hat\beta_1\mid X)=\beta_1\)이라고 해서 이번에 계산한 숫자가 반드시 참 기울기와 일치하는 것은 아니다. 잘 맞춘 학습선이라는 사실만으로 불편성이 정의되는 것도 아니다.

기울기 식을 조금 바꾸면 이유를 볼 수 있다. \(\sum(x_i-\bar x)=0\)이므로 분자에서 반응평균 항이 사라진다. 모형을 대입하면 절편 항도 사라지고 기울기 항은 \(\beta_1S_{xx}\)가 된다.

입력에 조건부로 오차의 기대값이 0이면 오른쪽 추가항의 기대값이 0이다. 이것이 불편성의 근거다. 실제 표본에서 추가항은 양수도 음수도 될 수 있다. 따라서 불편성은 표본을 여러 번 얻을 때 한쪽으로 치우치지 않는 성질이며, 추정량이 얼마나 넓게 흩어지는지는 별도의 분산으로 판단한다.

한 추정법이 불편해도 표본마다 매우 다른 값을 낸다면 사용하기 불안정할 수 있다. 불편성과 낮은 분산을 함께 살펴보는 이유가 여기에 있다. 이 절의 대수 전개는 자료의 기대값 식을 이해하기 위한 AI 보충이다.

선형회귀 II 자료 p.12 · 자료 p.13 · 검수 근거

원자료 그림 함께 보기 · p.13

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

BLUE의 가장 좋다는 말에는 비교 범위가 있다

가우스–마르코프 정리는 앞의 선형 평균·조건부 평균 0·등분산·무상관·식별 가능성 조건 아래 OLS가 최량 선형 불편추정량, 즉 BLUE라고 말한다. Best Linear Unbiased Estimator의 각 단어를 따로 읽어야 과장하지 않는다.

Linear는 이 문맥에서 추정량이 관측 반응값들의 선형결합이라는 뜻이다. 고정된 입력에서 기울기 추정량은 \(\hat\beta_1=\sum a_iY_i\), \(a_i=(x_i-\bar x)/S_{xx}\)로 쓸 수 있다. Unbiased는 반복 표본의 기대값이 모수와 같다는 뜻이다. Best는 이 선형 불편추정량들의 집합 안에서 분산이 가장 작거나 같다는 뜻이다.

자료의 기타 불편추정량이라는 문구를 모든 가능한 비선형 추정법까지 포함한다고 확대하지 않는다. 정규오차라는 추가 가정에서 더 강한 최적성 정리를 다루는 것과 현재 정리의 범위를 구별한다. 또한 분산이 작다는 말은 잔차제곱합이 작다는 정의와 다르다. 하나는 반복 표본에서 계수의 변동이고, 다른 하나는 지금 자료에서 관측과 적합값의 차이다.

가우스–마르코프 정리에 정규성은 필수 조건이 아니다. 정규성은 이후 t·F의 정확한 유한표본 분포를 얻는 데 사용한다. 자료13쪽의 선형모형 첫 항은 절편 \(\beta_0\)로 읽어 \(Y_i=\beta_0+\beta_1x_i+\varepsilon_i\)로 일관되게 쓴다.

선형회귀 II 자료 p.12 · 자료 p.13 · 검수 근거

원자료 그림 함께 보기 · p.13

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

표준오차: 관측값의 퍼짐과 계수의 퍼짐

표준오차는 추정량의 표준편차를 추정한 값이다. 기울기 추정의 분산은 독립 또는 무상관 오차 아래 가중합 분산을 계산하여 얻는다. 앞 절의 가중치 제곱합은 \(1/S_{xx}\)이므로 다음과 같다.

표준편차 s가 크면 평균선 주위의 잡음이 커서 기울기를 정밀하게 추정하기 어렵다. 반대로 입력이 평균 주위에서 넓게 퍼져 Sxx가 커지면 기울기 정보가 많아져 표준오차가 작아진다. 같은 관측 수라도 모든 입력을 좁은 범위에 모아 놓는 것과 넓게 관측하는 것은 기울기 추정에 다른 정보를 준다.

분산 공식에는 제곱근이 없고 표준오차에는 제곱근이 있다. 자료의 수식 추출 과정에서 루트가 사라져도 이 차이는 반드시 유지한다. s의 단위가 Y라면 기울기 표준오차는 Y/X 단위다. 절편의 표준오차는 Y 단위이며 입력평균이 0에서 멀수록 절편 추정이 불안정할 수 있다. 절편이 x=0의 평균을 뜻하기 때문이다.

t분포로 기울기의 신뢰구간 만들기

정규·독립·등분산 오차의 단순회귀에서는 참 기울기와 추정 기울기의 차이를 표준오차로 나눈 통계량이 자유도 n−2의 t분포를 따른다. 모르는 오차분산을 잔차로 추정했기 때문에 표준정규 임계값을 그대로 쓰지 않고 t분포를 사용한다.

이 교재에서 \(t_{1-\alpha/2,\nu}\)는 누적확률이 \(1-\alpha/2\)인 양의 분위수다. 자료는 상측 꼬리확률 α/2로 임계값을 표기하지만 같은 양의 값을 뜻한다. 표기 관례를 확인해야 부호나 꼬리를 뒤집지 않는다.

95% 신뢰수준이면 α=0.05이고 양쪽 꼬리에 0.025씩 남긴다. 1−α는 신뢰수준, α는 검정에서 유의수준이다. 표본이 작아 자유도가 작으면 t분포의 꼬리가 두꺼워 같은 신뢰수준의 임계값이 더 커진다. 표본이 충분히 커지면 t분포는 표준정규분포에 가까워진다.

계산 순서는 기울기 추정값, SSE, 자유도, s, Sxx, 표준오차, t임계값, 오차한계의 순이다. 마지막에 추정값에서 오차한계를 빼고 더하면 된다. 표준오차 자체가 신뢰구간의 반폭은 아니며 반드시 해당 임계값을 곱한다.

95% 신뢰의 정확한 의미

빈도주의 신뢰구간에서 모수는 고정된 미지의 값이고, 구간의 양 끝점이 표본에 따라 달라진다. 동일한 조건에서 표본 추출과 구간 계산을 반복하면 만들어진 구간 중 약 95%가 참 기울기를 포함하도록 설계된 절차가 95% 신뢰구간이다.

이미 계산한 특정 구간 안에 고정된 모수가 들어갈 확률이 95%라고 단순히 말하기보다는, 그 구간을 만드는 절차의 장기적 포함률이 95%라고 설명한다. 특정 구간은 실제로 모수를 포함하거나 포함하지 않는다. 이 표현은 불확실성이 없다는 뜻이 아니라 그 불확실성을 확률로 설명하는 대상이 반복 표본의 구간이라는 뜻이다.

신뢰수준을 95%에서 99%로 올리면 같은 표준오차에서 임계값이 커져 구간이 넓어진다. 더 확실한 포함을 원할수록 허용해야 할 범위가 커지는 것이다. 반대로 표준오차를 줄이면 같은 신뢰수준에서 더 좁은 구간을 얻을 수 있다. 구간이 넓다는 것은 효과가 없다는 뜻이 아니라 효과의 크기를 정밀하게 정하지 못했다는 뜻일 수 있다.

기울기의 신뢰구간은 새 관측 한 개의 예측구간과도 다르다. 기울기의 단위는 Y/X이며 예측구간의 단위는 Y다. 계수의 불확실성과 개별 관측의 추가 오차를 하나로 혼동하지 않는 것이 중요하다.

기울기 검정의 질문과 계산

단순회귀의 양측검정은 \(H_0:\beta_1=0\)과 \(H_1:\beta_1\ne0\)을 비교한다. 귀무가설이 참이면 입력에 따라 조건부평균이 직선적으로 증가하거나 감소하지 않는다. 이것은 모든 종류의 관계가 없다는 가설과 같지 않다. 곡선 관계가 있더라도 직선 기울기가 0일 수 있다.

분자는 관측된 기울기가 가설의 값에서 얼마나 떨어져 있는지, 분모는 그 추정의 불확실성이 얼마나 큰지를 나타낸다. 따라서 t는 표준오차 몇 개만큼 떨어졌는지를 재는 무단위 수다. 같은 기울기라도 표준오차가 작으면 절댓값이 커져 0과 구별하기 쉬워진다.

유의수준 α를 미리 정한 뒤 \(|t^*|>t_{1-\alpha/2,n-2}\)이면 귀무가설을 기각한다. 양의 기울기와 음의 기울기 모두 대립가설에 포함하므로 절댓값을 쓴다. 관측한 부호를 보고 나서 유리한 단측검정으로 바꾸면 원래 계획한 오류확률 해석이 달라진다.

검정은 모수의 특정 가설과 데이터의 양립 정도를 평가한다. 기각하지 못했다는 결과는 기울기가 정확히 0임을 증명하지 않는다. 표본이 적거나 잡음이 커서 실제 차이를 잡아내지 못했을 가능성도 있다.

p값은 귀무가설이 참일 확률이 아니다

양측 p값은 귀무가설과 모형 조건이 참이라고 가정했을 때, 관측한 통계량만큼 또는 그보다 더 극단적인 값이 나올 확률이다. 정규 단순회귀에서는 다음처럼 계산한다.

t분포는 0을 중심으로 대칭이므로 한쪽 꼬리확률에 2를 곱한다. 부등호에 등호를 넣거나 빼도 연속분포에서는 값이 같다. p가 작으면 귀무가설 아래에서 지금처럼 극단적인 통계량을 얻기 어렵다는 뜻이다. 따라서 정해둔 α보다 작으면 기각한다.

p=0.03을 귀무가설이 참일 확률이 3%라고 읽거나 효과가 있을 확률이 97%라고 읽지 않는다. p값 계산은 귀무가설을 조건으로 삼은 확률이지 가설 자체에 사후 확률을 부여한 계산이 아니다. p가 작아도 효과가 실용적으로 클 필요는 없고, 매우 큰 표본에서는 작은 효과도 유의해질 수 있다.

또한 회귀의 통계적 유의성을 인과적 영향의 증거로 자동 번역하지 않는다. 관측자료의 관계에는 누락된 변수나 선택 과정이 영향을 줄 수 있다. 결과를 쓸 때는 기울기 추정값, 신뢰구간, 표본 규모와 모형 조건을 함께 적어 크기와 불확실성이 모두 드러나게 한다.

손으로 완주하는 AI 예제: 적합에서 표준오차까지

다음 숫자는 계산 연습을 위한 AI 예제다. 입력이 0,1,2,3이고 반응값이 1,2,2,4인 네 관측을 사용한다. 평균은 \(\bar x=1.5\), \(\bar y=2.25\)다. 중심화한 입력은 −1.5,−0.5,0.5,1.5이므로 \(S_{xx}=5\)다. 입력과 반응의 중심화 곱을 더하면 \(S_{xy}=4.5\)다.

적합값은 0.9,1.8,2.7,3.6이고 잔차는 0.1,0.2,−0.7,0.4다. 잔차합은 0이며 입력을 곱한 잔차합도 \(0+0.2-1.4+1.2=0\)으로 확인된다.

분산 추정치 0.35와 표준오차 0.2646은 같은 종류의 숫자가 아니다. 전자는 오차분산이고 후자는 기울기 추정량의 표준편차 추정치다. 관측 수가 4이므로 자유도는 겨우 2다. 직선이 비교적 잘 맞아 보여도 정확한 추론을 위해서는 큰 t임계값을 사용해야 한다.

AI 예제의 신뢰구간과 검정을 연결하기

앞 예제에서 자유도 2의 95% 양측 t임계값은 약 4.3027이다. 이 값은 이 AI 계산에 사용하는 분포의 분위수다. 오차한계는 \(4.3027\sqrt{0.07}\approx1.1384\)이므로 기울기의 구간은 다음과 같다.

기울기 점추정은 양수지만 구간은 0을 포함한다. 같은 가정 아래 5% 양측검정은 귀무가설을 기각하지 않는다. 실제로 \(t^*=0.9/\sqrt{0.07}\approx3.4017\)이고, 4.3027보다 절댓값이 작다. 자유도 2에서는 양측 p값이 약 0.0766으로 0.05보다 크다.

이 예제가 보여 주는 것은 양의 기울기를 구했다는 사실만으로 모집단의 양의 효과가 통계적으로 확실하다고 말할 수 없다는 점이다. 표본 수가 작아 계수의 불확실성이 남아 있다. 반대로 비유의라는 결과만으로 실제 기울기가 0이라고 결론내릴 수도 없다. 구간에는 0뿐 아니라 상당한 양의 기울기도 들어 있다.

동일한 가정과 양측 유의수준을 사용하면 95% 신뢰구간에서 0이 제외되는 것과 5% 검정의 기각은 같은 판단이다. 두 결과가 다르면 자유도, 임계값, 단측·양측 여부, 반올림, 표준오차 계산을 먼저 확인한다. 서로 다른 가정으로 만든 구간과 검정은 이 동등성이 자동으로 성립하지 않는다.

cars 결과표를 추론의 문장으로 읽기

자료의 cars 예제는 주행속도로 제동거리를 설명하는 50개 관측의 단순회귀다. 절편 추정값은 약 −17.579, 기울기는 약 3.932이며, 표준오차는 절편 6.7584와 기울기 0.4155다. 표의 Estimate와 Std. Error를 같은 값으로 읽지 않는다. 전자는 효과의 추정 크기이고 후자는 그 추정의 흔들림을 나타낸다.

자료의 더 세밀한 기울기 표시 3.9324와 표준오차 0.4155를 사용하면 t는 약 9.464로 나온다. 출력의 9.46426과 마지막 자리까지 같지 않을 수 있는 것은 입력값이 반올림되었기 때문이다. 자유도는 50−2=48이고, 양측 p값은 자료 출력에서 \(1.49\times10^{-12}\)다. 이는 아주 작은 양수이며 정확한 0은 아니다.

5% 기준에서는 기울기 0을 기각하여 이 선형모형에서 속도와 평균 제동거리의 관계가 통계적으로 유의하다고 해석한다. 모든 자동차의 실제 제동거리를 완벽히 맞힌다는 뜻은 아니다. 속도가 1단위 늘 때 적합 평균은 약 3.932단위 증가하지만 각 관측에는 잔차가 남는다.

AI 추가 계산으로 자유도48의 95% t임계값 약 2.0106을 사용하면 기울기 구간은 \(3.9324\pm2.0106(0.4155)\), 대략 [3.097,4.768]이다. 0을 제외한다는 사실은 위 양측검정의 판단과 일치한다. 반올림 수치를 사용한 근사구간임을 명시한다.

핵심을 내 말로 정리하기

• 점추정은 위치, 표준오차와 신뢰구간은 추정의 불확실성을 알려준다.
• 단순회귀 s²=SSE/(n−2), 기울기 SE=s/√Sxx다.
• 불편성은 반복표본 기대값의 성질이며 한 번의 정확성 보장이 아니다.
• BLUE의 비교대상은 선형 불편추정량이며 가우스–마르코프 조건이 필요하다.
• t검정·구간의 정확한 분포에는 정규오차 등의 추가조건이 필요하다.
• p값은 H0의확률이 아니며 비유의는 효과0의증명이 아니다.