PAST EXAM · 18 QUESTIONS

중간고사 대비 연습

시험 대비 18문항 · 정답과 해설

원문과 검수 범위 안내

중간고사 대비

PDF 마지막 안내에 따르면 일부 문장은 문맥으로 보완했고 Q-Q·Cook·Ridge 그림은 다시 그렸습니다. 1~3번과 회귀표 일부 변수는 빠져 있습니다. 표 안의 2021년 날짜는 출력 생성일이며 시험연도 확인 근거가 아닙니다.

공식 정답은 제공되지 않았습니다. 아래 풀이는 자료와 수학적 조건을 대조한 AI 검토입니다. 조건이나 의도가 불명확한 O/X 문항은 근거를 적고 조건별 해설을 비교하며, 자동 정오 채점에서 제외합니다.

참고 PDF 열기 · 검수 기록

공식 정답이 없는 참고 자료입니다. 조건부 문항의 답은 단일 O/X로 확정하지 않습니다.

한 문항씩 풀고 검토 풀이를 확인한 뒤 다음으로 넘어갑니다. 조건부 O/X는 O·X 판단과 이유를 함께 적으세요. 서술형 자기평가는 자동 점수와 구분합니다.

참고 PDF의 지문·그림

원문 4번 · 절편 없는 OLS 출력

원문: 아래 결과는 R에서 선형회귀를 구축한 후 모델을 프린트해본 결과이다. 세부 문항에 답하시오.

참고 PDF의 OLS 결과표: 404개 관측, 절편 없음, 13개 변수 중 5개 표시

참고 PDF 1쪽의 복기 출력이다. CRIM~NOX 5개 행만 수록되었고 나머지 8개 항은 누락되었다. R²와 수정 R²는 uncentered(비중심화)이다. 출력의 2021년 날짜는 분석 출력 일시이며 시험 연도 근거가 아니다. 문항·그림 복기 및 누락 사항은 PDF 5쪽 안내를 따른다.

01 / 18 · PDF p.1 · 자료 누락

원문 4.1번

그림 1을 보고 적합시킨 모델에 대한 선형회귀식을 적어보세요. (변수명은 긴 경우 줄여서 써도 됩니다.)

확인 범위 5개 계수만 확인됨. 4번 배점 미확인.

PDF 원문 p.1 · 해당 페이지 이미지

나의 답안 · 판단과 근거

02 / 18 · PDF p.1 · 자료 누락

원문 4.2번

그림 1을 보고 유의수준을 0.01로 잡았을 때 각 변수의 유의함을 설명하시오.

확인 범위 표에서 생략된 변수는 검정 불가. 4번 배점 미확인.

PDF 원문 p.1 · 해당 페이지 이미지

나의 답안 · 판단과 근거

03 / 18 · PDF p.2 · 조건부 해석

원문 4.3번

그림 1을 보고 결정계수 값과 수정 결정계수 값을 적고, 수정 결정계수가 존재하는 이유를 설명하시오.

확인 범위 4.3 문장은 복기 과정에서 보완됨. 배점 미확인.

PDF 원문 p.2 · 해당 페이지 이미지

나의 답안 · 판단과 근거

04 / 18 · PDF p.2 · 조건부 해석

원문 4.4번

그림 2는 선형회귀 모델 가정 확인을 위해 Quantile-Quantile Plot을 보여준다. 이 그래프에 대해 설명하고, 이 그래프로부터 알 수 있는 정보를 쓰시오.

참고 자료에 다시 그려진 정규 Q-Q 그림 — PDF 수록 복기 그림 · 원시험의 정확한 모양은 미확인

확인 범위 문장 보완 및 그림 재작성 명시. 배점 미확인.

PDF 원문 p.2 · 해당 페이지 이미지

나의 답안 · 판단과 근거

( ) 선형회귀모델의 등분산성 문제는 상태지수(condition index)를 기준으로 발견 가능하다. (+3)

PDF 원문 p.3 · 해당 페이지 이미지

11 / 18 · PDF p.3 · 검토 완료

원문 5.7번

( ) 아래 그림은 선형회귀 모형진단(model diagnostics) 시 Cook's distance를 가시화하고 있는데, 이는 특정 관측치가 회귀계수 추정에 얼마만큼 영향력을 끼치는지 진단하며, 오차항이 서로 독립이고 평균 0의 정규분포를 따르는지 진단하는 데 효과적이다. (+3)

참고 자료에 다시 그려진 Cook 거리 그림 — PDF 수록 복기 그림 · 원시험의 정확한 모양은 미확인

확인 범위 Cook 그림은 재작성된 복기 그림.

PDF 원문 p.3 · 해당 페이지 이미지

12 / 18 · PDF p.3 · 조건부 해석

원문 6.1번

( ) 선형회귀모델은 SST = SSE + SSR을 만족하나, outliers가 다수 섞인 경우 SST ≤ SSE + SSR일 수 있다. ※ Total Sum of Squares (SST), Sum of Squares of Error (SSE), Sum of Squares Regression (SSR) (+4)

연습 안내: O/X 판단과 그 판단에 필요한 조건을 서술하세요. AI 검토 답안으로 직접 채점합니다.

확인 범위 논리적으로 모호한 ≤ 표현. 표시된 +4는 복기자가 총12점을 균등 배분한 추정치로 실제 배점 미확인.

PDF 원문 p.3 · 해당 페이지 이미지

나의 답안 · 판단과 근거

13 / 18 · PDF p.3 · 조건부 해석

원문 6.2번

( ) 선형모델 Y = f*(X) + ε where ε ~ N(0, σ²)에서 ε는 독립동일분포(independent identically distributed; iid) 조건을 만족해야 하는데, 데이터 분포의 시간변화가 발생할 경우는 보장하지 않는다. (+4)

연습 안내: O/X 판단과 그 판단에 필요한 조건을 서술하세요. AI 검토 답안으로 직접 채점합니다.

확인 범위 시간변화의 대상과 만족해야 한다는 가정의 범위가 모호함.

PDF 원문 p.3 · 해당 페이지 이미지

나의 답안 · 판단과 근거

14 / 18 · PDF p.3 · 검토 완료

원문 6.3번

( ) Bias-Variance decomposition을 통해 선형 분리한 Bias와 Variance는 각각 예측 오차와 편차를 가리키고 있으며, 이중 Bias는 실제 값 대비 평균 추정 값 간의 차이가 얼마나 큰지를 잘 설명한다. (+4)

확인 범위 공식 정답은 없으며, 제곱손실의 편향·분산 분해를 기준으로 검토합니다.

PDF 원문 p.3 · 해당 페이지 이미지

15 / 18 · PDF p.4 · 검토 완료

원문 7번

선형회귀의 목적식은 convex function에 해당하여 각 파라미터에 대해 미분의 0값을 기준으로 최적값을 찾는 과정을 설명하고 있다. 식 1과 식 2를 이용해서 \(\hat\beta_0\)와 \(\hat\beta_1\)가 식 3, 4와 같은 수식이 됨을 보이시오. (+10)

확인 범위 공식 정답은 제공되지 않았으며 해설과 자기채점 기준은 AI 보충 설명입니다.

PDF 원문 p.4 · 해당 페이지 이미지

나의 답안 · 판단과 근거

해설

공식 정답이 아닙니다. 아래 조건과 근거를 함께 확인하세요.

식 1에서 β̂₀=Ȳ−β̂₁X̄. 이를 식 2에 대입하면 ΣXᵢ(Yᵢ−Ȳ)=β̂₁ΣXᵢ(Xᵢ−X̄). 중심화한 값의 합이 0이므로 β̂₁=Σ(Xᵢ−X̄)(Yᵢ−Ȳ)/Σ(Xᵢ−X̄)². 단, Sxx>0이어야 기울기가 유일하다. SSE의 Hessian은 2ZᵀZ로 양의 준정부호여서 정상점은 전역 최소해이며, Sxx>0이면 양의 정부호여서 유일하다.

AI 보충 설명 · 공식 정답 아님

목적함수를 \(C(\beta_0,\beta_1)=\sum_{i=1}^n(Y_i-\beta_0-\beta_1X_i)^2\)로 둔다. 식 1에서

\[\sum_iY_i-n\hat\beta_0-\hat\beta_1\sum_iX_i=0\quad\Longrightarrow\quad\hat\beta_0=\bar Y-\hat\beta_1\bar X.\]

이것이 식 3이다. 식 2에 대입하고 항을 정리한다.

\[0=\sum_i X_i\{(Y_i-\bar Y)-\hat\beta_1(X_i-\bar X)\}.\]

\(\sum_i(Y_i-\bar Y)=\sum_i(X_i-\bar X)=0\)이므로

\[\sum_i X_i(Y_i-\bar Y)=\sum_i(X_i-\bar X)(Y_i-\bar Y),\qquad \sum_iX_i(X_i-\bar X)=\sum_i(X_i-\bar X)^2.\]

따라서 \(S_{xx}=\sum_i(X_i-\bar X)^2>0\)이면 식 4를 얻는다.

\[\boxed{\hat\beta_1=\frac{\sum_i(X_i-\bar X)(Y_i-\bar Y)}{\sum_i(X_i-\bar X)^2}},\qquad \boxed{\hat\beta_0=\bar Y-\hat\beta_1\bar X}.\]

미분이 0이라는 조건만으로 모든 함수의 최소점을 판정할 수 있는 것은 아니다. 이 문제에서는 설계행렬 \(Z=[\mathbf1,\mathbf X]\)에 대해 \(\nabla^2C=2Z^TZ\), 임의의 벡터 v에 대해 \(v^T\nabla^2Cv=2\|Zv\|_2^2\ge0\)이므로 볼록하다. 따라서 정상방정식의 해는 전역 최소해다. \(n>0,S_{xx}>0\)이면 Z의 두 열이 독립이어서 해도 유일하다.

모든 X가 같으면 분모가 0이고 절편과 기울기를 개별적으로 식별할 수 없다. 이때도 최소해는 존재하지만 \(\beta_0+\beta_1\bar X=\bar Y\)를 만족하는 계수쌍이 여럿이다. 이 계산에는 오차의 정규성 가정이 필요하지 않다.

자기평가 기준

식 1을 정리하여 절편 공식 도출
식 2에 절편 공식을 대입하고 중심화 합의 0 성질 사용
Sxx>0 조건과 기울기 공식 제시
볼록성에 의해 정상점이 전역 최소해임을 설명; Sxx=0에서 유일성 부재를 구분

내 답안 평가

정상방정식 유도 · 볼록성과 유일성

16 / 18 · PDF p.4 · 조건부 해석

원문 8번

정규화 선형모델인 Ridge, Lasso, Elastic net regression 중 모델 해석력(interpretation)이 좋은 모델과 일반화 성능(penalizing performance)이 높은 모델을 하나씩 정하고, 그 이유를 penalty term을 기준으로 설명하시오. (+5)

확인 범위 일반화 성능의 보편적 우승 모델은 없고 penalizing performance 표현도 모호합니다. 공식 정답 없이 조건을 명시한 예시 답안입니다.

PDF 원문 p.4 · 해당 페이지 이미지

나의 답안 · 판단과 근거

해설

공식 정답이 아닙니다. 아래 조건과 근거를 함께 확인하세요.

해석력은 Lasso를 선택할 수 있다. L1 penalty가 일부 계수를 정확히 0으로 만들어 변수 수를 줄이기 때문이다. 일반화 성능은 보편적 1위가 없다. 상관된 설명변수와 희소성을 함께 고려하는 상황이라면 L1과 L2를 결합한 Elastic net을 후보로 선택하되, 데이터에 맞춰 규제 강도와 혼합비를 교차검증해야 한다.

AI 보충 설명 · 공식 정답 아님

해석력의 답안 예: Lasso. \(\lambda\sum_{j=1}^p|\beta_j|\)라는 L1 penalty는 일부 계수를 정확히 0으로 만들어 변수선택을 수행할 수 있다. 적은 변수로 설명하는 모형이 필요할 때 유리하다. 단, 상관된 변수 중 선택이 불안정할 수 있고, 해석이 간단하다는 것이 인과관계의 증명을 뜻하지 않는다.

Ridge는 \(\lambda\sum_{j=1}^p\beta_j^2\)로 계수를 연속적으로 축소하며 대체로 변수를 그대로 유지한다. Elastic net은 예컨대 다음 penalty로 두 특성을 결합한다.

\[\lambda\left[\alpha\sum_j|\beta_j|+\frac{1-\alpha}{2}\sum_j\beta_j^2\right],\quad 0\le\alpha\le1.\]

일반화 성능의 조건부 답안 예: Elastic net. 상관된 설명변수들에 대한 L2 안정화와 L1 변수선택을 함께 원하는 상황에서 좋은 후보가 된다. 다만 세 모델 중 언제나 일반화 오차가 가장 작은 모델은 정할 수 없다. 신호가 여러 변수에 넓게 퍼져 있으면 Ridge가, 적은 변수에 집중되어 있으면 Lasso가 더 유리할 수도 있다. 검증자료 또는 교차검증으로 규제 강도와 혼합비를 선택하고, 최종 성능은 별도 평가자료로 확인한다. 변수의 척도도 penalty에 영향을 주므로 표준화를 고려한다.

원문의 penalizing performance는 일반화 성능의 표준 영어 표현이 아니다. 원문을 보존하되 여기서는 괄호 앞 한국어인 일반화 성능을 기준으로 해석했다. 공식 채점표가 없어 'Elastic net만 정답'이라고 단정하지 않는다.

외부 확인: scikit-learn Lasso 설명, ElasticNet 목적식. 이 절의 상세 정규화 비교는 수업의 공선성 대처 내용을 확장한 AI 보충 설명이다.

자기평가 기준

Lasso와 L1 penalty 및 계수 0·변수선택을 연결
Ridge의 L2와 Elastic net의 L1+L2를 구분
일반화 성능 선택에 데이터 조건과 근거 제시
보편적 성능 순위를 단정하지 않고 검증으로 선택; 합당한 조건을 제시한 Ridge/Lasso 선택도 허용

내 답안 평가

공선성 대처와 shrinkage

17 / 18 · PDF p.5 · 검토 완료

원문 9번

아래의 수식은 정규화(Regularization)의 개념을 설명하고 있다. 아래의 첫 번째 term, 두 번째 term이 각각 무엇을 의미하는가? λ의 의미는 무엇이고 이 값이 클 때와 작을 때는 어떻게 되는지 설명하시오. (+10)

확인 범위 공식 정답은 제공되지 않았으며 해설과 자기채점 기준은 AI 보충 설명입니다.

PDF 원문 p.5 · 해당 페이지 이미지

나의 답안 · 판단과 근거

해설

공식 정답이 아닙니다. 아래 조건과 근거를 함께 확인하세요.

첫 항 Σ(yᵢ−ŷᵢ)²은 훈련 잔차제곱합, 둘째 항 λΣⱼ₌₁ᵖβⱼ²은 L2 규제항이다. λ≥0은 적합과 계수 축소의 균형을 조절한다. λ가 클수록 계수 벡터의 L2 크기가 작아지고 규제가 강해진다. λ=0은 OLS이며 λ가 작으면 규제가 약하다. 일반화 오차는 λ에 따라 항상 감소하지 않는다.

AI 보충 설명 · 공식 정답 아님

그림의 최적화 대상은 다음과 같이 읽는다.

\[\min_{\beta_0,\beta_1,\ldots,\beta_p}\left\{\underbrace{\sum_{i=1}^n(y_i-\hat y_i)^2}_{\text{훈련 잔차제곱합}}+\underbrace{\lambda\sum_{j=1}^p\beta_j^2}_{\text{L2 규제항}}\right\},\quad \hat y_i=\beta_0+\sum_jx_{ij}\beta_j,\quad\lambda\ge0.\]

첫 항은 훈련 관측과 예측 사이의 오차를 제곱하여 합친 적합 손실(SSE, RSS)이다. 둘째 항은 큰 기울기 계수에 비용을 부여하는 Ridge penalty다. 원문처럼 합의 지수가 j=1부터 p까지이면 절편 β₀은 벌점에 포함하지 않는다. 절편을 쓰지 않는 모형이면 최적화 변수에서도 β₀을 제외한다.

λ는 학습된 계수가 아닌 규제 강도 하이퍼파라미터다. 동일 자료와 손실 스케일에서 λ를 키우면 최적해의 \(\sum_j\hat\beta_j^2\)는 증가하지 않고 훈련 SSE는 감소하지 않는다. 각 개별 계수의 절댓값이 모든 구간에서 반드시 단조 감소한다는 뜻은 아니다. 강한 규제는 추정 분산을 줄이는 대신 편향과 과소적합 위험을 높일 수 있다.

λ=0이면 OLS이고, 작은 양의 λ는 약한 축소다. λ→∞이면 벌점 대상 기울기들이 0으로 수렴한다. 절편을 벌점 없이 적합했다면 예측은 상수인 훈련 반응평균 쪽으로 간다. Ridge는 유한한 λ에서 일반적으로 Lasso처럼 정확한 0 계수를 만들며 변수를 선택하는 방법은 아니다.

정규화를 강화한다고 검증·시험 오차가 항상 좋아지는 것은 아니다. SSE를 MSE 또는 SSE/(2n)로 바꾸면 같은 수치의 λ라도 상대적인 규제 강도가 바뀐다. 원문은 손실함수 L과 min 표기를 함께 사용하지만, 최소화할 두 항의 의미는 위와 같다.

자기평가 기준

첫 항을 훈련 잔차제곱합으로 설명
둘째 항을 L2 계수 규제로 설명하고 절편 제외 범위 확인
λ≥0 및 큰/작은 λ의 규제 효과와 λ=0을 설명
훈련 적합과 일반화 성능을 구별; 강한 규제의 과소적합 가능성 설명

내 답안 평가

잔차제곱합 · 계수 안정화

18 / 18 · PDF p.5 · 조건부 해석

원문 10번

아래는 Ridge regression에 대한 식을 보여준다. 이때 1) λ와 t의 관계를 설명하고, 우측의 β₁, β₂ 측면의 그림에서 2) 빨간색 원이 표현하는 의미를 간단히 표현하시오. (+10)

Ridge의 벌점형·제약형 식과 원점 중심 붉은 제약 원판 및 OLS 중심의 손실 등고선

확인 범위 Ridge 그림은 복기하여 다시 그린 것으로 점의 위치를 정확한 수치나 접점으로 읽을 수 없습니다. λ–t 대응의 수학적 설명은 AI 보충 해설입니다.

PDF 원문 p.5 · 해당 페이지 이미지

나의 답안 · 판단과 근거

해설

공식 정답이 아닙니다. 아래 조건과 근거를 함께 확인하세요.

λ가 커질수록 대응하는 t=Σβ̂ⱼ(λ)²은 작아지거나 같아져 제약이 강해진다. 일반적으로 t=1/λ라는 관계는 아니다. 원점 중심의 붉게 채운 원판은 β₁²+β₂²≤t인 허용영역이며 반지름은 √t이다. OLS 주변의 붉은 타원들은 잔차 손실의 등고선이다.

AI 보충 설명 · 공식 정답 아님

\(f(\beta)=\mathrm{SSE}(\beta)\), \(g(\beta)=\sum_{j=1}^p\beta_j^2\)로 두면 벌점형은 \(\min_\beta f(\beta)+\lambda g(\beta)\), 제약형은 \(\min_\beta f(\beta)\;\text{subject to }g(\beta)\le t\)다. \(\lambda\ge0,t\ge0\)이며 절편은 통상 g에서 제외한다.

벌점형의 최적해 \(\hat\beta_\lambda\)를 구한 뒤 \(t=g(\hat\beta_\lambda)\)로 잡으면 이 해는 제약형의 최적해이기도 하다. 그 t 이하에서 더 작은 SSE를 갖는 해가 있다면 벌점형 목적함수도 더 작아져 원래 최적성에 모순되기 때문이다.

역방향은 볼록 최적화의 조건을 확인한다. t>0이면 엄격히 가능한 점(기울기 0)이 있어 KKT 조건이 적용되며, 적절한 라그랑주 승수 λ≥0에 대해

\[\nabla f(\hat\beta)+\lambda\nabla g(\hat\beta)=0,\quad g(\hat\beta)\le t,\quad \lambda\{g(\hat\beta)-t\}=0.\]

λ>0이면 제약이 활성화되어 g=t이다. t가 OLS 계수 제곱합 이상으로 충분히 크면 OLS를 허용하고 λ=0에 대응할 수 있다. t=0에서는 기울기를 정확히 0으로 제한하므로 일반적으로 λ→∞의 극한으로 이해해야 한다. 따라서 모든 t와 유한한 λ가 항상 일대일 대응한다고 쓰지 않는다.

방향은 반대지만 단순 역수는 아니다. λ₂>λ₁의 두 최적성 부등식을 더하면 \((\lambda_2-\lambda_1)\{g(\hat\beta_{\lambda_2})-g(\hat\beta_{\lambda_1})\}\le0\)이다. 즉 대응하는 t는 λ의 비증가 함수다. 관계는 자료와 손실의 스케일에 따라 달라지며 t=1/λ를 뜻하지 않는다.

그림 해석: 원점 중심의 붉게 채운 원판은 \(\beta_1^2+\beta_2^2\le t\)인 L2 제약 허용영역이다. 반지름은 t가 아니라 \(\sqrt t\)이며, 경계만은 등호를 만족한다. OLS 추정치 주위의 기울어진 붉은 타원들은 같은 SSE(또는 상수 배율의 MSE)를 갖는 손실 등고선이다. OLS가 허용영역 밖에 있으면 허용영역과 만나는 가장 낮은 손실 등고선의 경계 접점이 Ridge 해이고, 안에 있으면 OLS가 그대로 해다.

복기 그림의 한계: PDF가 밝히듯 이 그림은 다시 그린 모식도다. 그림에는 Ridge 해를 원 경계 부근에 표시했지만, 눈금과 원자료가 없어 접점의 정밀한 좌표나 λ·t의 수치를 복원할 수 없다. 수학적으로 정확한 해석은 제약식과 최적조건에 근거한다. 붉은색이라는 이유로 원판과 손실 타원을 혼동하지 않는다.

자기평가 기준

λ 증가와 대응 t 비증가 및 규제 강화 방향 설명
λ와 t가 단순 역수 또는 항상 일대일 관계가 아님을 구분
원판을 β₁²+β₂²≤t, 반지름 √t인 허용영역으로 설명
손실 타원과 제약 원판을 구분하고 OLS 안/밖에 따른 최적점 설명
벌점형과 제약형의 대응 조건 및 복기 도식의 한계를 존중

내 답안 평가

정규화와 계수 안정화 · 볼록 최적화 기초