AI Study
섀넌의 엔트로피 · 비트(Bit)와 부호화에서 딥러닝 손실함수 · LLM 차세대 토큰 예측까지

Information Theory (정보이론)

AI(인공지능) 에게 정보 이론(Information Theory) 은 데이터를 수치화하고 모델이 학습하는 방향을 결정하는 가장 핵심적인 수학적 기반입니다. 클로드 섀넌(Claude Shannon) 이 창시한 이 이론은 불확실성을 측정하고, 모델의 예측이 정답과 얼마나 다른지 계산하는 데 필수적으로 쓰입니다.

1. 핵심 개념 및 AI 적용 원리

  • • 엔트로피 (Entropy): 데이터가 가진 '불확실성'이나 '무질서도'를 측정하는 지표입니다. 의사결정 나무(Decision Tree) 모델이 데이터를 가장 깔끔하게 분류할 수 있는 기준을 찾을 때 엔트로피가 낮아지는 방향을 선택합니다.
  • • 교차 엔트로피 (Cross-Entropy): 실제 정답의 확률 분포와 AI 모델이 예측한 확률 분포 사이의 차이를 계산합니다. 딥러닝의 분류(Classification) 문제에서 오차를 줄이기 위한 손실 함수(Loss Function)로 가장 널리 사용됩니다.
  • • KL 발산 (Kullback-Leibler Divergence): 두 확률 분포가 얼마나 다른지를 나타내는 척도입니다. 생성형 AI(VAE, 확산 모델 등)나 강화학습에서 모델이 생성한 데이터 분포를 실제 데이터 분포와 비슷하게 맞출 때 핵심적으로 활용됩니다.
  • • 상호정보량 (Mutual Information): 두 변수 사이에 공유되는 정보의 양을 측정합니다. AI가 방대한 데이터에서 의미 있는 특징(Feature)을 추출하거나, 불필요한 노이즈를 제거하고 핵심 정보만 남기는 표현 학습(Representation Learning)의 원리가 됩니다.

2. AI 분야별 활용 요약

개념 주요 역할 대표 활용 분야
엔트로피 데이터의 불확실성 측정 의사결정 나무(Decision Tree), 데이터 압축
교차 엔트로피 예측값과 실제값의 오차 계산 딥러닝 분류 모델, LLM(거대언어모델) 학습
KL 발산 두 확률 분포의 차이 측정 생성형 AI(VAE), 강화학습(PPO 등)
상호정보량 변수 간 의존성 및 정보 공유량 파악 특징 선택(Feature Selection), 자기지도학습

3. 왜 AI에 필수적인가?

• 학습의 나침반 역할: AI 모델이 스스로 오차를 깨닫고 가중치를 업데이트하려면 '얼마나 틀렸는지'를 숫자로 알려주어야 하며, 정보 이론이 바로 그 기준점을 제공합니다.

• 효율적인 데이터 압축: 방대한 비정형 데이터(텍스트, 이미지 등)에서 핵심 의미만 추출해 저차원 공간에 매핑하는 과정 자체가 불필요한 정보를 버리고 정보량을 보존하는 작업입니다.

Information Theory(정보이론)은 정보의 발생, 전달, 처리, 저장 및 압축을 다루는 응용수학 및 컴퓨터 과학의 핵심 학문입니다. 1948년 벨 연구소의 클로드 섀넌(Claude Shannon)이 발표한 기념비적인 논문 《통신의 수학적 이론(A Mathematical Theory of Communication)》을 통해 정립되었으며, 오늘날 딥러닝의 교차 엔트로피(Cross-Entropy) 손실함수, 확률적 생성 모델(VAE, Diffusion), 그리고 거대언어모델(LLM)의 차세대 토큰 예측(Next-Token Prediction)과 언어 모델 압축의 이론적 절대 기준을 제공합니다.

Section 01 · Theoretical Foundations

전통적인 Information Theory 의 핵심 개념과 4대 기본 원리

일상어로서의 정보는 '어떤 사실에 관한 알림이나 소식'을 의미하지만, 정보이론에서 다루는 정보는 "불확실성(Uncertainty)을 해소하는 정량적 수학적 척도"입니다. 정보를 물질이나 에너지가 아닌 확률변수(Random Variable)로 취급하여, 내용의 주관적 의미와 무관하게 부호화(Encoding)와 전송 효율을 수학적으로 다룹니다.

핵심 원리 01 · 정보량과 불확실성의 측정

섀넌 엔트로피 (Shannon Entropy, H)와 비트(Bit)

사건 x가 일어날 확률을 P(x)라 할 때, 그 사건이 발생했을 때 얻는 자기 정보량(Self-information)은 I(x) = -log2 P(x)로 정의됩니다. 일어날 확률이 희박한 놀라운 사건일수록 더 많은 정보량을 가집니다. 시스템 전체의 평균 불확실성인 섀넌 엔트로피 H(X) = -Σ P(x) log2 P(x)는 모든 상태를 표현하는 데 필요한 최소 평균 비트(Bit) 수이자 정보의 본질적 한계를 결정합니다.

핵심 원리 02 · 무손실 데이터 압축 한계

섀넌의 제1정리 (정보원 부호화 정리, 압축 한계)

정보원에 내재된 불필요한 중복성(Redundancy)을 제거하여 본질적인 정보를 보존할 때, 아무리 이상적인 무손실 압축 알고리즘을 사용하더라도 데이터의 평균 코드 길이는 엔트로피 H(X)보다 작아질 수 없다는 불변의 수학적 정리입니다. 허프만 코딩(Huffman Coding)이나 산술 부호화(Arithmetic Coding)의 이론적 기초가 되었습니다.

핵심 원리 03 · 잡음 채널에서의 통신 한계

섀넌의 제2정리 (잡음이 있는 채널 부호화 정리, C)

잡음(Noise)이 존재하는 통신로에서도 적절한 오류 정정 부호(Error-Correcting Code)를 적용하면 전송률 R이 채널 용량 C보다 작은 한(R < C), 오류 확률을 0에 가깝게 만들 수 있다는 혁명적 발견입니다. 대역폭 B와 신호 대 잡음비(SNR)로 채널 용량 C = B log2(1 + S/N)을 도출하였습니다.

핵심 원리 04 · 중복성과 언어의 예측 가능성

리던던시 (Redundancy, 여분성)

모든 기호가 등확률로 무작위 발생할 때 엔트로피가 최대가 되며, 실제 언어나 신호는 특정 기호의 빈도가 높거나 앞선 기호에 의존(조건부 확률)하여 엔트로피가 감소합니다. 최대 엔트로피 대비 실제 엔트로피의 비율을 제외한 여분의 비율을 리던던시(Redundancy)라 부르며, 이것이 잡음 속에서도 문맥을 유추하고 복원할 수 있게 하는 핵심 완충 장치입니다.

Section 02 · Historical Experiments & Artifacts

섀넌의 트럼프 카드 맞추기 실험과 영어 알파벳 엔트로피

1. 트럼프 카드 맞추기 스무고개와 비트(Bit)의 물리적 직관

1비트(bit)는 두 가지의 동등한 확률을 가진 선택지 중 하나를 결정할 때 해소되는 불확실성의 크기입니다. 16장의 트럼프 카드 중 머릿속으로 점찍은 1장을 알아맞히는 과정을 생각해 봅시다.

트럼프 카드 16장 배치도

[보존 원본] 가로 세로 4장씩 배열된 16장의 트럼프 카드

Q1. "그 카드는 상단 8장에 있는가?" ➔ "예" (후보 16장 ➔ 8장 절반 감소)

Q2. "상단의 오른쪽 반에 있는가?" ➔ "아니오" (후보 8장 ➔ 4장 감소)

Q3. "왼쪽 반의 상단(1열)에 있는가?" ➔ "아니오" (후보 4장 ➔ 2장 감소)

Q4. "하단의 오른쪽에 있는가?" ➔ "예" (후보 2장 ➔ 1장 클로버 3 확정!)

16장의 카드 속에서 무작위로 1장을 알아맞힐 확률은 P = 1/16입니다. '예/아니오'의 2진 질문을 던져 공간을 절반씩 쪼개나갈 때 필요한 질문 횟수 n은 2n = 16이 되며, 이를 양변에 밑이 2인 로그를 취하면 다음과 같습니다.

n = log2(16) = -log2(1/16) = 4 비트(Bit)

즉, 16장의 불확실성을 완전히 해소하기 위해 정확히 4비트의 정보량이 필요함을 명쾌하게 보여줍니다.

2. 영어 알파벳(27문자)의 빈도 분포와 엔트로피 및 리던던시 계산

만일 영어의 26개 알파벳과 공백(총 27개 문자)이 모두 동일한 확률(1/27)로 무작위 발생한다면 엔트로피는 log2(27) = 4.755 비트에 달합니다. 그러나 실제 영어 텍스트는 문자마다 출현 확률이 크게 다릅니다.

문자 발생확률 문자 발생확률 문자 발생확률
공백0.1859 I0.0575 R0.0484
E0.1031 N0.0574 H0.0467
T0.0796 S0.0514 L0.0321
A0.0642 D0.0317 C0.0128
O0.0632 U0.0228 Z (최저)0.0005

각 문자의 확률 p(si)에 가중치를 두어 계산한 실제 1차 근사 엔트로피는 다음과 같습니다.

H(X) = Σ p(si) log2(1 / p(si)) = 4.08 비트

상대 엔트로피 = 4.08 / 4.755 = 0.848
리던던시(Redundancy) = 1 - 0.848 = 0.152 (15.2%)

수식 원본 이미지

[보존 원본 수식 이미지]

W.R. 베넷의 '무한 타자기 원숭이 정리' 비유처럼, 자판기의 키 크기를 알파벳의 실제 출현 빈도에 비례하게 배치하면(리던던시 부여), 무작위 타이핑에서도 의미 있는 셰익스피어 문맥이 만들어질 확률이 극적으로 높아집니다. 나아가 "th 다음 모음", "q 다음 u"처럼 문맥 조건부 확률(N-gram 및 트랜스포머 주의 집중)을 고려하면 언어의 실제 엔트로피는 문자당 1.0~1.5비트 수준까지 감소합니다.

Section 03 · AI Foundations & Mathematical Tools

AI 발전에 미친 영향과 머신러닝에서 활용되는 4대 수학 개념

정보이론은 오늘날 인공지능과 머신러닝의 "목적함수(Loss Function) 설계, 데이터 표현 학습, 그리고 모델 평가"의 공통 수학 언어로 기능합니다. 모델이 학습한다는 것은 곧 데이터의 확률 분포와 모델 예측 분포 사이의 정보학적 거리를 좁혀가는 과정입니다.

수학 도구 01 · 딥러닝 표준 손실함수

교차 엔트로피 (Cross-Entropy, H(P, Q))

실제 정답 데이터 분포 P를 모델의 예측 확률 분포 Q로 부호화할 때 필요한 평균 비트 수입니다. H(P, Q) = -Σ P(x) log Q(x)로 정의되며, 이미지 분류(Softmax Classification)부터 LLM의 다음 토큰 생성 손실까지 현대 딥러닝 최적화의 90% 이상에서 표준 손실함수로 쓰입니다.

수학 도구 02 · 확률 분포 간의 비대칭 거리

쿨백-라이블러 발산 (KL Divergence, DKL)

두 확률 분포 P와 Q 사이의 정보학적 차이(상대 엔트로피)를 측정합니다. DKL(P || Q) = Σ P(x) log [P(x) / Q(x)] = H(P, Q) - H(P). VAE(변분 오토인코더)의 잠재 공간 정규화, 확산 모델(Diffusion)의 시간역전 오차 측정, 강화학습의 정책 업데이트 제약(PPO/TRPO)에서 핵심 패널티 항으로 작동합니다.

수학 도구 03 · 변수 간 정보 공유량 측정

상호정보량 (Mutual Information, I(X; Y))

한 변수 X를 관측함으로써 다른 변수 Y에 대해 얻는 정보량의 크기입니다. I(X; Y) = H(X) - H(X|Y). 의사결정나무(Decision Tree)의 분기 기준인 정보 이득(Information Gain), 자기지도학습(Self-Supervised Learning)의 InfoNCE 손실, 특성 선택(Feature Selection)의 핵심 기준입니다.

수학 도구 04 · 심층 신경망 일반화의 이론적 틀

정보 병목 이론 (Information Bottleneck, 티쉬비 이론)

나프탈리 티쉬비(Naftali Tishby) 교수가 제안한 이론으로, 심층 신경망의 은닉 표현 T는 입력 X의 무관한 잡음 정보 I(X; T)를 최대한 압축해 버리는 동시에 목표 레이블 Y에 대한 정보 I(T; Y)는 최대한 보존하도록 학습한다는 일반화 메커니즘을 규명했습니다.

Section 04 · Cross-Disciplinary Applications

AI 분야별 정보이론의 실제 적용 사례 6선

01

의사결정나무 (ID3 / C4.5)

데이터 세트를 분할할 때 엔트로피 감소량(Information Gain, 정보 이득)이 가장 큰 특성을 탐욕적으로 선택하여 트리를 구축합니다.

02

컴퓨터 비전 & 패턴인식

의료 영상 정합(MRI-CT 융합)에서 상호정보량(MI)을 정렬 지표로 활용하며, 이미지 압축 오토인코더에서 Rate-Distortion 이론이 적용됩니다.

03

자연어처리 (NLP) & 음성

단어 간 연어 관계를 추출하는 PMI(점별 상호정보량), N-gram 언어 모델의 확률 평가 및 음성 신호의 멜 스펙트로그램 특징 압축.

04

생성 모델 (VAE & Diffusion)

변분 오토인코더(VAE)의 잠재 변수 정규화(ELBO)와 확산 모델(Diffusion)의 각 타임스텝 잡음 제거 손실을 KL Divergence로 최적화합니다.

05

안전 강화학습 (SAC / PPO)

Soft Actor-Critic(SAC)은 정책의 엔트로피를 보상에 추가(최대 엔트로피 RL)하여 조기 수렴을 방지하고 다양한 탐색(Exploration)을 유도합니다.

06

뇌과학 & 로보틱스

칼 프리스턴(Karl Friston)의 자유 에너지 원리(Free Energy Principle)는 뇌가 감각 불확실성(엔트로피)을 최소화하도록 예측 코딩을 수행한다고 설명합니다.

Section 05 · Cutting-Edge LLM Revolution

최신 LLM(거대언어모델) 혁신과 정보이론의 결정적 역할

"언어 모델은 세상에 대한 최적의 압축기인가?" — OpenAI의 창립 멤버 일리야 수츠케버(Ilya Sutskever)가 강조했듯, "비지도 텍스트 사전학습은 인터넷 데이터의 최적 무손실 압축 과정"이며, 정보이론의 척도들이 최신 LLM의 훈련, 평가, 샘플링 및 컨텍스트 제어를 전적으로 지배하고 있습니다.

LLM 핵심 01 · 자기회귀 사전학습 원리

차세대 토큰 예측 손실과 샤논 엔트로피

GPT, Claude, Gemini와 같은 디코더 전용 LLM은 주어진 이전 토큰들(x1, ..., xt-1)을 조건으로 다음 토큰 xt의 조건부 확률 분포 P(xt | x<t)를 예측합니다. 이때 모델의 손실함수는 음의 로그 가능도(Negative Log-Likelihood) = 교차 엔트로피 손실이며, 훈련이 진행될수록 언어 데이터의 샤논 엔트로피 하한선으로 손실값이 점근 수렴합니다.

LLM 핵심 02 · 모델 성능의 글로벌 표준 척도

펄플렉서티 (Perplexity, PPL) = 2H

언어 모델의 당혹감/혼란도를 측정하는 PPL(Perplexity)은 정보이론 엔트로피 H의 거듭제곱인 PPL = 2H(P, Q) = exp(Cross-Entropy Loss)로 정의됩니다. PPL이 10이라는 것은 다음 단어를 예측할 때 10개의 동등한 후보 중에서 헷갈리고 있다는 뜻이며, 엔트로피가 낮을수록 모델의 예측력이 우수함을 입증합니다.

LLM 핵심 03 · 생성 창의성과 환각 제어

온도(Temperature)와 엔트로피 조작

소프트맥스 온도는 로짓(Logit) 벡터의 엔트로피를 물리적으로 조절하는 하이퍼파라미터입니다. 온도가 0으로 수렴하면 엔트로피가 0이 되어 가장 확률이 높은 1개 토큰만 결정론적으로 출력(Greedy Search)되고, 온도를 높이면 엔트로피가 최대화되어 다양한 토큰이 샘플링됩니다. Top-p(Nucleus Sampling) 역시 누적 확률(엔트로피 질량)을 기준으로 롱테일 잡음 토큰을 잘라내는 정보학적 기법입니다.

LLM 핵심 04 · 압축이 곧 지능이다

문맥 압축, KV 캐시 양자화 및 지능의 본질

100만 토큰에 달하는 초장문 문맥을 다루는 Long-Context LLM에서는 주의 집중(Attention) 행렬의 희소성(Sparsity)을 활용해 중복 토큰을 제거하는 KV 캐시 정보 압축이 필수적입니다. 데이터의 리던던시를 최소화하여 컴팩트한 신경망 가중치에 우주의 인과율을 인코딩하는 과정 전체가 섀넌 정보이론의 궁극적 실현입니다.