잉여도와 정보 전달

잉여도 계산

잉여도는 최대 정보량에 비해 줄어든 정보량의 비율이다. Redundancy=(1−H/Hmax)×100%로 계산한다.

두 결과의 최대 엔트로피는 1 bit다. 확률 .9/.1의 정확한 엔트로피를 넣으면 잉여도는 약 53.10%다. 중간값을 일찍 반올림하면 마지막 결과도 달라지므로 계산 마지막에 반올림한다.

잉여도는 Redundancy다. 유효한 정보량의 비율 H/Hmax와 잉여도 1−H/Hmax를 구분하며, 백분율 표현에는 100을 곱한다. 같은 대안 수라도 발생확률이 고르지 않으면 평균 정보량이 줄어들 수 있다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 11쪽
관련 영상 00:02:07 (원본 영상 · 로컬 보관)

경고 신호 8개의 재설계

8개 경고 중 하나가 같은 확률로 발생한다고 모델링하면 Hmax=log₂8=3 bit다. 독립적인 경고 8개의 모든 켜짐·꺼짐 조합과는 다른 상황이다.

두 경고가 각각 .35, 나머지 여섯이 각각 .05이면 H=2×.35log₂(1/.35)+6×.05log₂(1/.05)≈2.35678 bit다. 잉여도는 약 21.44%이다. 빈번한 경고를 눈에 띄게 하는 설계와 사건의 확률 모형을 함께 이해한다.

8개 경고 신호의 감시(Surveillance) 문제에서는 등확률 .125씩인 조건과, 두 신호가 .35씩·여섯 신호가 .05씩인 조건을 구분한다. 후자의 확률 합도 2×.35+6×.05=1이다. 신호 수가 8개라는 사실만으로 실제 H를 언제나 3 bit로 두지 않는다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 12쪽
3._Information_Processing_updated · PDF 물리 13쪽
관련 영상 00:05:29 (원본 영상 · 로컬 보관)
관련 영상 00:08:55 (원본 영상 · 로컬 보관)

신호등 카운트다운

신호가 바뀔지 아닐지를 같은 확률의 두 대안으로 가정하면 불확실성은 1 bit다. 정확한 카운트다운은 전환 시점에 대한 예측을 가능하게 한다.

전환 여부를 완전히 알 수 있다는 모형에서는 그 변수의 엔트로피가 0이고 잉여도는 100%다. 이는 다른 차량·보행자의 행동이나 시스템의 모든 위험까지 없어졌다는 뜻이 아니다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 14쪽
관련 영상 00:13:48 (원본 영상 · 로컬 보관)

사람을 정보 전달 채널로 보기

입력 X는 자극, 출력 Y는 반응이다. 상호정보량 I(X;Y)=H(X)+H(Y)−H(X,Y)는 반응을 통해 입력에 대해 알 수 있는 정보의 양이다.

입력 중 반응으로 알 수 없는 부분은 H(X|Y)=H(X)−I(X;Y)이고, 입력으로 설명되지 않는 반응의 불확실성은 H(Y|X)=H(Y)−I(X;Y)다. 결합 엔트로피 H(X,Y)와 공유 정보량을 구분한다.

전달정보량(Transmitted Information)은 입력과 출력이 공유하는 정보다. 입력 X와 출력 Y의 결합 엔트로피는 Joint Entropy H(X,Y), 조건부 엔트로피는 Conditional Entropy다. H(X|Y)는 출력으로도 해소하지 못한 입력의 불확실성(Equivocation), H(Y|X)는 입력을 알아도 남는 출력의 불확실성(Noise)에 해당한다.

전달정보량 I(X;Y)=H(X)−H(X|Y)=H(Y)−H(Y|X)=H(X)+H(Y)−H(X,Y)이다. 기호 H(X/Y)를 쓰는 자료에서는 나눗셈이 아니라 조건부 엔트로피를 뜻하는지 문맥을 확인한다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 15쪽
3._Information_Processing_updated · PDF 물리 16쪽
관련 영상 00:16:16 (원본 영상 · 로컬 보관)
관련 영상 00:21:11 (원본 영상 · 로컬 보관)

응답표를 확률표로 바꾸기

16문항 사례의 비영점 빈도는 (X,Y)=(1,1),(2,1),(3,3),(4,4)에 각각 4다. 전체 16으로 나누면 각 결합확률은 1/4이고, X의 주변확률은 모두 1/4, Y는 1/2,0,1/4,1/4이다.

H(X)=2, H(Y)=1.5, H(X,Y)=2이므로 전달정보량은 1.5 bit, equivocation은 .5 bit, noise는 0 bit다. 답 1을 받으면 입력 1과 2를 구분할 수 없지만 각 입력의 출력 자체는 고정되어 있다.

교차표에서는 행·열의 주변확률(Marginal Probability)과 각 칸의 결합확률(Joint Probability)을 먼저 구분한다. 모든 칸의 확률 합은 1이다. 결합 엔트로피에는 각 칸의 확률을, 주변 엔트로피에는 행 또는 열의 합을 사용한다.

빈도표(Frequency Table)는 시행 횟수를, 확률표(Probability Table)는 전체 횟수로 나눈 비율을 담는다. Stimulus는 자극, Response는 반응이다. 입력 자극과 실제 반응의 대응을 보고 정보 전달을 계산한다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 17쪽
3._Information_Processing_updated · PDF 물리 18쪽
관련 영상 00:23:59 (원본 영상 · 로컬 보관)
관련 영상 00:27:50 (원본 영상 · 로컬 보관)

정답률과 전달정보량은 다르다

두 입력을 언제나 올바르게 대응시키는 경우와 언제나 반대로 대응시키는 경우 모두 입력과 출력 사이에 일대일 관계가 있다. 반전 규칙을 알면 출력을 보고 입력을 복원할 수 있다.

등확률 이진 입력의 완전 반전은 정답률이 0%여도 상호정보량이 1 bit다. 그래서 실제 시스템 평가는 정보 보존만 아니라 의미상 정확한 행동을 했는지도 함께 평가해야 한다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 19쪽
관련 영상 00:31:57 (원본 영상 · 로컬 보관)

핵심을 내 말로 정리하기

• 잉여도는 (1−H/Hmax)×100%로 계산한다.
• 8개 등확률 대안 중 하나를 고르는 모형의 Hmax는3bit다.
• .35 두 개와.05 여섯 개의 확률합은1이다.
• 카운트다운의 정보 효과는 무엇이 언제 바뀌는지에 대한 모형 전제를 가진다.
• 상호정보량은 H(X)+H(Y)−H(X,Y)다.
• H(X)=2,H(Y)=1.5,H(X,Y)=2이면 상호정보량은1.5bit다.
• 완전한 일대일 반전은 입력을 복원할 수 있는 정보를 보존한다.
• 전달정보량만으로 시스템 평가를 끝내서는 안 된다.