정보 처리와 엔트로피

정보 과부하와 사람의 처리 과정

정보가 많아져도 사람이 한 번에 처리할 수 있는 양은 제한된다. 공항 관제와 같이 입력이 복잡한 상황에서는 필요한 정보를 선별하고 적시에 반응하는 것이 중요하다.

사람을 정보 처리자로 보면 자극이라는 입력이 지각·판단을 거쳐 반응이라는 출력으로 이어진다. 정보의 양과 제시 방법을 설계하는 이유는 제한된 처리 능력 안에서 과제를 수행하도록 돕기 위해서다.

정보 과부하는 Information Overload다. 입력(Input)과 출력(Output) 사이에서 사람이 수행하는 처리 과정을 나누어 보면 정보가 많을 때 어디에서 부담과 오류가 생기는지 설명하기 쉽다.

정보 처리는 Information Processing이다. 병목(Bottleneck)은 전체 처리 과정에서 흐름을 제한하는 부분이라는 설명 용어다. 어느 단계의 부담인지 구분하지 않고 전체 수행시간만 보면 개선 지점을 놓칠 수 있다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 3쪽
3._Information_Processing_updated · PDF 물리 4쪽
3._Information_Processing_updated · PDF 물리 5쪽
관련 영상 00:03:24 (원본 영상 · 로컬 보관)
관련 영상 00:08:46 (원본 영상 · 로컬 보관)

정보 처리 모형

자극은 감각 저장을 거쳐 지각되고, 의사결정과 반응 선택, 반응 실행으로 이어진다. 작업기억과 장기기억은 지각과 판단에 필요한 정보를 제공하며, 주의 자원은 여러 처리 단계에 관여한다.

행동의 결과는 피드백으로 돌아와 다음 지각과 반응을 조정한다. 따라서 오류를 분석할 때 보지 못했는지, 의미를 잘못 해석했는지, 반응을 잘못 골랐는지, 실행에서 실패했는지를 구분할 수 있다.

모형의 영문 요소는 Short-term Sensory Store(단기 감각 저장), Perception(지각), Decision and Response Selection(의사결정·반응 선택), Response Execution(반응 실행), Attention Resources(주의 자원), Working Memory(작업기억), Long-term Memory(장기기억), Feedback(피드백)이다.

모형에 제시된 작업기억의 20–30초는 유지 조건을 함께 고려해야 하는 설명이다. 되뇌기와 과제 조건을 무시한 모든 기억의 고정 만료시간으로 해석하지 않는다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 6쪽
관련 영상 00:11:08 (원본 영상 · 로컬 보관)
관련 영상 00:16:40 (원본 영상 · 로컬 보관)

불확실성과 정보량

정보이론은 과제를 수행하기 위해 해소해야 하는 불확실성을 수량화한다. 결과가 거의 정해져 있다면 새로 알아야 할 정보가 적고, 여러 결과가 비슷하게 가능하면 정보량이 크다.

여기서 정보량은 메시지의 글자 수나 중요성을 뜻하지 않는다. 가능한 사건과 각 확률을 먼저 정해야 계산할 수 있다.

불확실성은 Uncertainty다. 카운트다운은 결과가 언제 발생할지에 관한 불확실성을 줄이는 정보 제시의 예다. 남은 시간이 표시되는 것과 모든 사용자에게 같은 기다림 경험이 생기는 것은 별개다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 7쪽
관련 영상 00:19:45 (원본 영상 · 로컬 보관)
관련 영상 00:23:05 (원본 영상 · 로컬 보관)

bit와 등확률 대안

동일한 확률의 두 대안 중 하나를 구별하는 정보량은 1 bit다. k bit는 2ᵏ개의 등확률 대안 중 하나를 구별하는 데 대응한다.

따라서 4개 대안은 2 bit, 8개는 3 bit, 16개는 4 bit다. 대안 수가 두 배가 될 때 정보량은 1 bit 증가한다.

bit는 binary digit의 줄임말이다. 등확률 대안 2개는 1 bit, 4개는 2 bit, 16개는 4 bit다. 대안 수 N과 log₂N으로 표현한 정보량을 서로 다른 값으로 구분한다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 8쪽
관련 영상 00:24:48 (원본 영상 · 로컬 보관)
관련 영상 00:32:22 (원본 영상 · 로컬 보관)

한 사건의 정보량과 평균 정보량

사건 i의 정보량은 Iᵢ=log₂(1/pᵢ)이다. 드문 사건일수록 발생했을 때 얻는 정보량이 크다. 평균 엔트로피는 H=Σpᵢlog₂(1/pᵢ)로 각 사건의 정보량을 발생확률로 가중한다.

p=.2와 .8이면 개별 정보량은 약 2.322와 .322 bit이며 평균은 .2×2.322+.8×.322≈.722 bit다. 개별 사건의 정보량을 단순히 더하지 않는다. 확률 0인 항은 극한값 0으로 처리한다.

Hartley의 등확률 정보량과 Shannon의 확률 가중 평균 정보량을 연결한다. 자기정보량(Self-information)은 −log₂p이며, 엔트로피(Entropy)는 Σpᵢ(−log₂pᵢ)이다. 드문 사건의 정보량은 크지만 전체 평균에는 발생확률을 곱해 반영한다.

Shannon 엔트로피는 확률을 가중치로 쓰는 가중평균(Weighted Average)이다. 결과마다 정보량을 구한 후 같은 비중으로 단순 평균하지 않는다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 9쪽
관련 영상 00:30:14 (원본 영상 · 로컬 보관)

동전 사례와 확률 분포

공정한 동전은 두 결과가 .5씩이므로 H=1 bit다. 확률이 .9와 .1로 치우치면 H≈.468996 bit, 소수 셋째 자리까지 .469 bit다.

대안 수가 같을 때 등확률 분포의 엔트로피가 최대다. 확률이 치우치면 평균적인 불확실성은 작아진다. 확률 .1은 열 번 시행할 때 반드시 한 번 나온다는 의미는 아니다.

공정한 동전(Fair Coin)의 앞·뒤 확률이 각각 .5이면 H=1 bit다. 치우친 동전(Bent Coin)이 .9/.1이면 H≈.469 bit다. 하나의 결과가 확실하면 불확실성은 0이며, 확률 0 항은 극한으로 0을 기여하는 것으로 처리한다.

동전의 앞면은 Heads, 뒷면은 Tails다. 두 결과의 확률 합이 1이라는 조건을 유지한 채 어느 쪽이 더 자주 나오는지와 평균 정보량을 구분한다.

관련 강의자료 펼치기

3._Information_Processing_updated · PDF 물리 10쪽
관련 영상 00:35:02 (원본 영상 · 로컬 보관)

핵심을 내 말로 정리하기

• 등확률 대안 n개의 정보량은 log₂n bit다.
• 한 사건의 정보량은 log₂(1/p)로 계산한다.
• 평균 엔트로피는 사건 정보량의 확률 가중 평균이다.
• 공정한 동전의 엔트로피는1bit다.
• 확률.9와.1의 엔트로피는 약.469bit다.
• 확률0인 사건의 엔트로피 기여는 극한으로0으로 둔다.
• 확률.2인 사건이10회 시행에서 정확히2회 일어나는 것은 보장되지 않는다.