선형회귀 III: 다중공선성, 변수선택과 영향점

다중공선성은 중복된 입력 정보의 문제다

다중회귀는 여러 입력을 동시에 사용해 반응의 평균을 설명한다. 그런데 입력들 사이에 강한 선형관계가 있으면 각 입력의 독자적인 기여를 구별하기 어려워질 수 있다. 이것이 다중공선성의 핵심이다. 설명변수가 많다는 것 자체와 다중공선성은 같지 않다. 많은 변수라도 충분히 다른 정보를 담을 수 있고, 두 변수만으로도 완전 공선성이 생길 수 있다.

완전 공선성은 어떤 입력 열이 나머지 열의 정확한 선형결합인 경우다. 설계행렬 \(X\)의 열들이 선형독립이 아니므로 \(X^TX\)의 역행렬이 없고 통상적인 계수벡터를 유일하게 정할 수 없다. 강한 공선성은 정확히 같지는 않지만 거의 선형결합인 경우다. 이때 역행렬이 존재해도 작은 자료 변화가 개별 계수를 크게 바꿀 수 있다.

예를 들어 길이를 cm로 기록한 열과 똑같은 길이를 m로 기록한 열을 동시에 넣으면 한 열이 다른 열의 100배다. 단위를 달리 썼다고 새 정보를 추가한 것은 아니다. 절편과 함께 모든 범주의 더미열을 전부 넣는 경우에도 그 더미열들의 합이 상수열이 되므로 완전 선형종속이 생긴다.

이 문제는 입력들 사이의 관계에 관한 것이다. 서로 다른 관측의 오차가 독립인지와는 다른 진단이다. 공선성을 줄였다는 이유로 시계열 오차의 자기상관이 해결되지는 않으며, 오차가 독립이라는 이유로 계수가 항상 안정적이지도 않다.

완전 공선성에서 계수는 달라도 예측은 같을 수 있다

AI 예제로 \(x_2=2x_1\)인 자료에서 \(\hat y=b_0+b_1x_1+b_2x_2\)를 적합한다고 하자. 식에 관계를 대입하면 \(\hat y=b_0+(b_1+2b_2)x_1\)이 된다. 데이터가 구별할 수 있는 것은 개별 \(b_1,b_2\)가 아니라 합 \(b_1+2b_2\)다.

세 계수쌍은 전혀 다르지만 관측된 관계 위에서는 모두 \(b_0+3x_1\)을 예측한다. 최소제곱 적합값은 정해질 수 있어도 이를 나타내는 계수는 여러 개일 수 있다는 뜻이다. 일반화역행렬이나 특정 제약으로 한 해를 선택하는 계산과, 자료가 두 개별 효과를 식별한다는 주장은 다르다.

새 자료에서도 \(x_2=2x_1\)이 유지되면 이 계수쌍들은 같은 예측을 한다. 하지만 \(x_1=1,x_2=0\)처럼 기존 관계를 벗어난 지점에서는 각각 절편에 3,1,−1을 더한다. 관측된 입력영역 안에서 예측이 안정적일 수 있어도 관계가 깨지는 외삽에서는 큰 차이를 낼 수 있다.

이 예제가 공선성의 결과를 정확히 구분해 준다. 개별 계수 해석과 외삽은 특히 주의해야 한다. 그러나 공선성이 있다는 사실만으로 모든 관측영역의 예측정확도가 반드시 하락한다고 단정할 수 없다. 자료17쪽의 정확도 하락 표현은 이런 조건과 함께 읽는다(REG-09).

표준오차가 커질 때 t값과 p값은 어느 방향인가

열이 선형독립이고 오차가 등분산·무상관인 모형에서 계수추정량의 조건부 분산행렬은 \(\sigma^2(X^TX)^{-1}\)이다. 입력의 선형의존이 강하면 이 역행렬의 일부 성분이 커질 수 있어 개별 계수 추정의 표준오차가 커진다. 표준오차는 추정값 자체의 크기가 아니라 반복 표본에서 추정값이 얼마나 흔들리는지 나타낸다.

AI 계산으로 같은 추정계수 2를 고정하고 표준오차를 0.5에서 2로 늘리면 t값은 4에서 1로 줄어든다. 같은 자유도의 양측검정에서 \(|t|\)가 작아지면 p값은 커지는 방향이다. 표준오차 증가를 p값 감소로 연결하면 방향이 반대다.

다만 실제로 변수를 넣고 뺄 때는 계수추정값과 자유도도 함께 변한다. 따라서 공선성 증가가 모든 변수의 t값을 반드시 감소시키거나 모든 검정을 비유의하게 만든다는 뜻은 아니다. 방향 설명은 다른 조건을 고정한 비교다. 수식에서 무엇을 고정했는지 분명히 해야 한다.

전체 회귀의 F검정은 여러 계수가 공동으로 0인지 묻고, 개별 t검정은 다른 입력이 이미 들어간 조건에서 한 계수가 0인지 묻는다. 입력들이 반응과 관련된 정보를 공유하면 전체 모형은 유의하지만 개별 계수의 표준오차가 커서 각각은 뚜렷하지 않을 수 있다. 두 결과가 논리적으로 모순인 것은 아니다.

산점도와 상관계수: 빠른 탐색의 장점과 한계

가장 쉬운 탐색은 설명변수 쌍의 산점도와 상관계수 행렬을 보는 것이다. 점들이 가늘고 긴 직선 모양에 모이면 강한 양 또는 음의 선형관계를 의심한다. 상관계수는 방향과 강도를 하나의 숫자로 요약하지만, 비선형 관계나 일부 극단관측의 영향까지 충분히 설명하지는 못한다.

여기서 중요한 것은 어느 두 변수를 비교했는지다. mpg와 wt의 음의 상관은 반응과 한 입력의 관계다. 그것만으로 여러 입력 사이의 다중공선성을 입증하지 못한다. 다중공선성 탐색에서는 wt와 disp처럼 설명변수들끼리의 관계를 살펴야 한다.

쌍별 상관이 크지 않아도 여러 열을 합하면 정확한 관계가 생길 수 있다. AI 예제로 서로 독립이고 분산이 같은 \(x_1,x_2\)를 두고 \(x_3=x_1+x_2\)로 만들면, \(x_3\)와 각 입력의 상관은 약 0.707이지만 세 열은 완전 선형종속이다. 어느 쌍도 상관 1이 아니어도 다변수 관계에서는 문제가 된다.

따라서 산점도는 시작점이고 VIF나 행렬의 상태를 보는 진단을 함께 사용한다. 상관이 높다는 이유만으로 기계적으로 열을 지우지 말고, 어떤 변수가 예측 시점에 이용 가능한지, 측정 신뢰도가 높은지, 해석 목적상 꼭 필요한지까지 검토한다. 선택 기준은 통계량 하나보다 넓다.

VIF는 원래 반응이 아니라 입력을 다시 예측해 계산한다

VIF는 Variance Inflation Factor, 즉 분산팽창계수다. 하나의 설명변수 \(x_j\)가 다른 설명변수들로 얼마나 잘 설명되는지 측정한 뒤 계수분산 증가와 연결한다. 원래 반응 \(Y\)를 예측한 회귀의 결정계수를 넣는 것이 아니다.

계산 순서는 다음과 같다. 첫째 관심 입력 \(x_j\)를 임시 반응변수로 둔다. 둘째 나머지 입력을 설명변수로 두고 절편을 포함한 보조회귀를 적합한다. 이때 \(x_j\) 자체를 오른쪽에 넣으면 자신으로 자신을 예측하는 무의미한 완벽적합이 된다. 셋째 그 보조회귀의 결정계수 \(R_j^2\)를 계산한다.

자료21쪽은 tolerance 설명과 극단값 해석에 혼동이 있으므로 위 정의로 정정한다. Tolerance는 \(R_j^2\) 자체가 아니다. 다른 변수들이 \(x_j\)를 완벽히 설명하면 \(R_j^2=1\), tolerance는 0이며 VIF는 발산한다. 반대로 \(R_j^2=0\)이면 tolerance와 VIF가 모두 1이다.

VIF가 8~10 이상인 변수를 주의해서 보라는 자료의 기준은 경험적인 탐색 기준이다. 9.9는 언제나 안전하고 10.1은 언제나 삭제해야 한다는 법칙이 아니다. 범주형 여러 자유도 항은 일반화 VIF와 항의 자유도까지 고려하는 별도 해석이 필요하며, 더미변수라고 완전 공선성을 무시해도 되는 것은 아니다.

VIF와 표준오차 팽창을 손으로 계산하기

다음은 AI 계산 예제다. \(x_1\)을 나머지 설명변수로 예측한 보조회귀에서 총제곱합이 100, 잔차제곱합이 20이라고 하자. 결정계수는 \(R_1^2=1-20/100=0.8\)이다. 따라서 tolerance는 0.2이고 VIF는 \(1/0.2=5\)다.

보조회귀 잔차제곱합이 4로 더 작아지면 \(R_1^2=0.96\), tolerance는 0.04, VIF는 25가 된다. 원래 반응을 더 잘 예측했다는 뜻이 아니라 다른 입력들이 \(x_1\)을 더 잘 설명한다는 뜻이다. 원래 회귀의 반응변수를 전혀 바꾸지 않아도 입력의 중복 구조로 이런 값이 정해진다.

위 식은 절편 포함, 완전열계수 설계, 등분산·무상관 오차 조건에서 성립한다. 입력 자체의 중심화 변동과 오차분산을 고정하면 VIF는 계수분산이 얼마나 팽창하는지 나타낸다. 표준오차는 분산의 제곱근이므로 VIF가 25일 때 해당 비교의 표준오차 배율은 25가 아니라 5다.

계산 후에는 세 가지를 검사한다. 첫째 보조회귀에서 목표 입력을 오른쪽에서 제외했는가. 둘째 분모가 \(1-R_j^2\)인가. 셋째 분산 배율과 표준오차 배율을 구분했는가. 이 세 가지를 확인하면 VIF 공식의 흔한 실수를 대부분 잡을 수 있다.

상태지수: 여러 입력이 함께 만드는 약한 방향

상태지수는 설계행렬의 여러 열이 함께 거의 선형종속이 되는 방향을 고유값으로 살펴본다. 자료에서는 열의 척도를 조정한 뒤 얻은 행렬의 고유값들을 사용한다. 어떤 방식으로 중심화·스케일링하고 절편을 처리했는지에 따라 값이 달라질 수 있으므로 사용한 정의를 함께 확인해야 한다.

분모의 고유값이 매우 작으면 특정 입력 조합 방향의 변동이 매우 작다는 뜻이다. 그 방향에서는 자료가 계수 조합을 구별할 정보가 적어 추정이 불안정할 수 있다. 최대 고유값을 각 고유값으로 나눈 뒤 제곱근을 취한다는 점이 중요하다. 단순 비율과 상태지수를 혼동하지 않는다.

AI 예제로 고유값이 4,1,0.01이면 상태지수는 각각 1,2,20이다. 마지막 방향의 고유값이 작기 때문에 큰 지수가 나온다. 고유값이 0이면 완전 종속 방향이 있어 해당 비율은 유한하게 정의되지 않는다.

아래첨자 k는 보통 고유값 또는 성분 방향을 가리킨다. 큰 상태지수 하나만 보고 같은 번호의 원래 변수 하나를 곧바로 삭제하는 것은 옳지 않다. 여러 입력이 함께 그 방향을 만들 수 있다. 어떤 계수들의 분산이 해당 방향과 연결되는지, 입력의 실제 의미가 무엇인지 추가로 살펴야 한다.

입력을 줄이는 방법과 계수를 안정시키는 방법

자료는 변수선택, 축소회귀, 주성분회귀를 가능한 대처로 제시한다. 변수선택은 비슷한 정보를 담는 입력 중 일부를 제외해 더 단순한 모형을 만드는 방식이다. 해석이 쉬워질 수 있지만 중요한 변수까지 삭제하면 평균식이 잘못될 수 있다. 변수 삭제의 목적을 예측, 해석, 측정비용 중 무엇으로 둘지 먼저 정한다.

Ridge는 잔차제곱합에 계수제곱합 벌점을 더해 큰 계수의 흔들림을 줄인다. Lasso는 계수절댓값합 벌점을 사용해 일부 계수를 0으로 만들 수 있다. Elastic net은 두 벌점을 결합한다. 벌점의 세기와 입력 스케일이 결과에 영향을 주며, 일반적으로 계수에 편향을 허용하는 대신 분산을 줄이는 절충이다.

이 식은 이해를 위한 AI 보충이다. 보통 절편은 벌점에서 제외하고, 입력들은 비교 가능한 척도로 바꾼다. \(\lambda\)가 커질수록 계수를 더 강하게 축소한다. 어떤 값이 좋은지는 새 자료 예측을 모사하는 검증으로 결정해야 한다.

주성분회귀는 상관된 원입력을 직교하는 성분으로 바꾸고 일부 성분을 사용한다. 입력의 큰 변동 방향이 반드시 반응을 잘 예측하는 방향은 아니므로 성분 수를 신중히 정한다. 모든 성분을 그대로 사용하면 단순히 좌표만 바꾸는 경우가 있어 차원축소의 효과를 기대할 수 없다. 어느 방법도 자료의 의미를 확인하는 일을 대신하지 않는다.

mtcars: 전체모형에서 간단한 모형으로

자료 예제는 mtcars에서 mpg를 반응으로 두고 여러 차량 특성으로 연비를 설명한다. R의 lm(mpg ~ ., data = mtcars)에서 점은 반응을 제외한 데이터의 다른 열들을 뜻한다. car는 VIF 함수를 제공하는 패키지 이름이고 mtcars는 데이터셋 이름이다.

전체모형의 출력에는 많은 개별 계수의 p값이 크게 나타나며, VIF도 일부 변수에서 크게 나타난다. 이것은 다른 입력들을 조건으로 각 계수의 정보를 분리하기 어려울 가능성을 살피게 한다. 하지만 큰 p값이 그 변수가 현실에서 전혀 쓸모없다는 증명은 아니다. 표본 수, 입력 중복, 모형 형태에 따라 결과가 달라진다.

자료의 단계적 설명은 일부 변수를 제외하고 다시 적합하면서 더 간단한 후보를 탐색한다. 최종 제시모형은 mpg ~ wt + qsec + am이다. 중간 자료32~33쪽의 제목·코드·반복 출력이 일치하지 않는 부분은 독립적으로 확인한 단계별 계산처럼 단정하지 않는다. 최종 식과 확인되는 출력은 구별해 사용한다.

이런 탐욕적 탐색은 현재 단계에서 좋아 보이는 선택을 반복한다. 가능한 모든 부분집합을 비교해 전역적으로 가장 좋은 모형임을 증명하는 방법은 아니다. 또 같은 자료를 반복해서 보고 선택한 뒤 출력된 p값은 사전에 정한 하나의 모형에서 얻은 p값과 해석 조건이 달라질 수 있다. 실전에서는 변수선택을 포함한 전체 과정을 검증자료와 분리해 평가한다.

최종 계수표를 식과 단위로 바꾸기

자료34쪽의 반올림된 최종 계수는 절편 9.6178, wt −3.9165, qsec 1.2259, am 2.9358이다. 이를 예측식으로 옮기면 다음과 같다.

다른 입력을 고정했을 때 중량이 1000파운드 증가하면 예측평균은 3.9165mpg 감소한다. 중량 100파운드 증가는 wt의 0.1증가이므로 감소량은 0.39165mpg다. 단위와 계수의 부호를 동시에 읽어야 한다.

am은 자동 0, 수동 1이다. wt와 qsec를 같은 값에 놓으면 수동에 대한 모형 예측이 자동보다 2.9358mpg 높다. 이것은 같은 조건의 모형상 차이이며 모든 실제 수동차가 자동변속차보다 그만큼 연비가 좋다거나 변속기만 바꾸면 인과적으로 그만큼 좋아진다는 뜻은 아니다.

AI 대입 예제로 wt=3, qsec=18, am=1이면 \(9.6178-11.7495+22.0662+2.9358=22.8703\)mpg다. 같은 입력에서 am=0이면 19.9345mpg다. 반올림계수를 사용했으므로 소프트웨어의 전체 정밀도 계산과 끝자리가 다를 수 있다. 절편은 wt와 qsec가 모두0인 조건의 값이라 데이터 범위 밖의 물리적 차량 해석을 강요하지 않는다.

개별 검정·전체 검정·결정계수는 서로 다른 질문

최종모형의 wt 행 p값은 \(6.95\times10^{-6}\), 즉 0.00000695다. qsec는 0.000216, am은 0.046716으로 제시되어 있다. 각 행의 t검정은 다른 입력이 모형에 포함된 조건에서 해당 계수가0인지 묻는다. 작은 p값은 계수의 효과크기가 크다는 뜻이나 귀무가설이 참일 확률 자체를 뜻하지 않는다.

자료의 전체 F검정은 F=52.75, 자유도3과28, p값 약 \(1.21\times10^{-11}\)이다. 여기서 귀무가설은 세 기울기가 모두0이라는 것이다. 절편의 p값과 같은 질문이 아니다. 절편이 유의하지 않다고 해서 자동으로 절편을 제거할 필요도 없다.

최종모형의 학습 결정계수는0.8497, 수정 결정계수는0.8336이다. 이때 84.97%는 같은 표본에서 반응의 평균 주위 총제곱변동 중 모형이 설명한 비율이다. 개별 차량의 연비를84.97% 정확하게 맞힌다는 뜻이나 새 데이터에서 같은 정확도가 보장된다는 뜻이 아니다.

전체변수 모형의 결정계수0.869보다 최종모형의 결정계수가 작아도 이상하지 않다. 같은 표본의 중첩 OLS에서 입력을 제거하면 잔차제곱합이 줄어들 수 없으므로 학습 결정계수는 증가하지 않는다. 그러나 불필요한 복잡도를 줄이면 수정 결정계수나 검증 성능은 나아질 수 있다. 평가 기준을 구분한 뒤 비교한다.

중첩모형 ANOVA: 추가한 두 입력이 필요한가

자료35쪽은 단순모형 mpg ~ am과 확장모형 mpg ~ wt + qsec + am을 비교한다. 앞 모형의 열이 뒤 모형에 포함되므로 중첩모형이다. 같은 관측과 같은 반응에 적합했을 때, wt와 qsec를 추가해 잔차제곱합이 감소한 양이 우연으로 보기 어려운지를 검정한다.

축소모형의 RSS는720.90, 잔차자유도는30이다. 확장모형의 RSS는169.29, 잔차자유도는28이다. 추가한 계수는2개다. 먼저 잔차제곱합 감소량 \(720.90-169.29=551.61\)을 구하고, 추가 계수 수로 나누어 평균적인 개선량275.805를 얻는다.

정규·독립·등분산 오차 등의 조건과 귀무가설 아래 F분포의 자유도는2와28이다. 출력의 p값은 \(1.55\times10^{-9}\)로 제시된다. 따라서 주어진 모형 비교에서는 두 입력을 함께 추가하는 개선이 통계적으로 유의하다고 해석한다.

이것은 두 모집단의 분산이 같은지 또는 자료가 균질한지 검사하는 검정이 아니다. 평균함수에 추가 설명변수가 필요한지를 잔차제곱합으로 판단하는 추가제곱합 F검정이다. 자료의 분산·균질성 문구는 REG-08 정정을 반영해 이 의미로 읽는다. 선택된 모형의 새 자료 성능까지 이 p값 하나로 보장되지는 않는다.

선형회귀 III 자료 p.35 · 검수 근거

원자료 그림 함께 보기 · p.35

원자료 화면입니다. 정정·적용 조건은 위 본문을 기준으로 함께 읽으세요.

최종모형도 네 개의 진단 그림을 다시 읽는다

변수선택을 마쳤다고 진단이 끝난 것은 아니다. 자료36쪽은 Residuals vs Fitted, Normal Q-Q, Scale-Location, Residuals vs Leverage를 함께 보여 준다. 각각 다른 질문을 하므로 한 그림이 좋아 보인다는 이유로 나머지를 생략하지 않는다.

Residuals vs Fitted에서는 평균적인 곡선 패턴과 분산의 폭을 본다. Normal Q-Q에서는 표준화 잔차와 이론적 정규 분위수의 관계를 본다. Scale-Location의 세로축은 보통 \(\sqrt{|r_i|}\), 즉 표준화 잔차 절댓값의 제곱근이다. 원래 잔차의 부호를 그대로 나타내는 축이 아니며, 예측값에 따른 잔차 규모의 변화를 쉽게 보기 위한 변환이다.

Scale-Location에서 매끄러운 선이 위로 올라가면 예측 규모가 큰 영역에서 잔차의 크기가 커지는 경향을 점검한다. 이를 입력 자체의 분산이 증가한다거나 반응평균이 상승한다는 해석으로 바꾸면 안 된다. 중심과 폭을 분리해서 살핀다는 이전 차시의 원칙이 그대로 적용된다.

Residuals vs Leverage는 입력 공간에서 드문 위치에 있는 관측과 잔차가 큰 관측의 조합을 살핀다. 그림의 점선에 붙은0.5나1은 Cook 거리의 등고선이다. 가로축 leverage가0.5를 넘으면 자동으로 이상치라는 경계가 아니다. 점의 라벨은 조사를 도와주는 표식이며 데이터 오류 판정은 별도로 해야 한다.

이상치·레버리지·영향점의 차이

잔차 이상치는 주어진 입력에서 반응이 모형 예측과 크게 다른 관측이다. 레버리지가 큰 관측은 입력공간에서 다른 관측들과 떨어진 위치에 있다. 영향점은 그 관측을 포함하거나 제외할 때 계수 또는 적합값이 크게 바뀌는 관측이다. 세 개념은 겹칠 수 있지만 동일하지 않다.

AI 비유로 대부분의 차가 중량2~4 범위에 있는데 한 차만 중량8이면 입력 위치가 드물어서 레버리지가 클 수 있다. 그 차가 기존 회귀선의 연장에 잘 놓이면 잔차는 작을 수 있다. 반대로 보통 중량3인 차의 연비만 극단적으로 다르면 잔차는 커도 레버리지는 특별히 크지 않을 수 있다.

레버리지는 \(h_{ii}\), 즉 hat 행렬의 대각성분으로 나타낸다. 절편 포함 완전열계수 OLS에서 이 값들의 합은 추정한 계수 수다. 따라서 평균 레버리지는 계수 수를 관측 수로 나눈 값이다. 레버리지 크기를 해석할 때 관측 수와 모형 크기를 함께 고려하는 이유다.

영향이 큰 점을 발견하면 먼저 입력 오류, 단위 오류, 중복기록, 다른 모집단인지 확인한다. 올바른 관측이라면 자동 삭제보다 포함·제외 분석을 비교해 결론의 민감도를 보고하는 것이 중요하다. 단지 p값을 원하는 방향으로 바꾸기 위해 관측을 제외하면 분석의 의미가 훼손된다.

Cook 거리: 변수 하나가 아니라 관측 하나를 뺀다

Cook 거리는 관측 i를 뺀 뒤 모형을 다시 적합했을 때, 원래 관측 위치들에서 적합값이 얼마나 달라졌는지를 요약한다. 여기서 삭제하는 것은 설명변수 열이 아니라 관측 한 행이다. 변수선택에서 열을 제거하는 작업과 목적부터 다르다.

\(\hat y_j\)는 모든 관측을 포함한 모형의 j번째 적합값, \(\hat y_{j(i)}\)는 관측 i를 제외하고 적합한 모형을 j번째 입력 위치에서 평가한 값이다. 이 절은 혼동을 피하려고 절편 포함 추정계수 수를 k로 쓴다. 영상의 공식은 이 수를 p라고 표기한다. 분모의 MSE는 전체 적합의 잔차제곱합을 잔차자유도로 나눈 값이다.

AI 계산으로 관측 하나를 제외했을 때 전체 적합값 차이제곱합이12이고, k=3, MSE=2라면 Cook 거리는 \(12/(3\times2)=2\)다. 분자는 원래 관측값과 예측값의 차이제곱합이 아니라 두 적합모형의 예측값 사이 차이제곱합이라는 점을 확인한다.

거리의 크기는 민감도 탐색에 사용한다.0.5나1 같은 참고선은 검토할 점을 찾게 해 주지만 보편적인 자동삭제 규칙이 아니다. 관측번호를 가로축에 놓은 Cook 거리 그래프에서 번호는 주로 행 식별자다. 번호 자체에 시간이나 순위 의미를 새로 부여하지 않는다. 자료의 차량 라벨들도 실제 관측을 찾아 검토하기 위한 안내다.

핵심을 내 말로 정리하기

• 다중공선성은 입력들의 선형중복이며 오차 독립성과 별개다.
• VIF=1/(1−Rj²), tolerance=1−Rj²이며 Rj²는 보조회귀의 값이다.
• 계수불안정과 예측성능 저하는 같은 명제가 아니다.
• 중첩 ANOVA는 추가 설명변수의 공동기여를 검정한다.
• Cook 거리는 관측 하나 삭제에 대한 적합 민감도다.