⚖️ 베이즈 정리 (Bayes' Theorem)
사전 지식(Prior)에 새로운 관측 데이터나 증거(Likelihood)가 주어졌을 때 사후 확률(Posterior)을 지속적으로 갱신해나가는 통계적 추론의 기본 정리이자, 거대 언어 모델(LLM)의 인컨텍스트 러닝(In-Context Learning) 메커니즘 규명과 환각(Hallucination) 방지 불확실성 평가를 이끄는 핵심 수학적 원리
18세기 토머스 베이즈(Thomas Bayes) 목사의 유고 논문에서 출발하여 조건부 확률을 통한 불확실성 하의 의사결정, 나이브 베이즈 분류기, 현대 딥러닝 정규화(MAP), 그리고 LLM이 가중치 갱신 없이 예시 프롬프트만으로 잠재 개념을 추론하는 인컨텍스트 러닝의 수리적 기초입니다.
베이즈 정리의 기원과 확률의 개선
베이즈 정리는 영국의 수학자이자 장로교 목사였던 Thomas Bayes가 『우연이라는 원칙으로 문제를 해결하는 방법에 관한 논문』 (Essay towards solving a problem in the doctrine of chances, 1763) 에 발표한 이론입니다.
조건부 확률에서는 새로운 정보를 알았을 때 확률의 개선(Updating Belief)이 일어나게 됩니다. 가끔 우리는 어떤 실험 결과나 관측에서 나온 정보를 이용하여 어떤 사건의 처음 확률을 개선시킬 수 있는데, 여기서 처음 확률은 사전확률 (prior probability) 이라 하고, 새로운 정보가 반영되어 개선된 확률을 사후확률 (posterior probability) 이라고 하며, 이러한 확률의 갱신을 수학적으로 이룩하는 것이 바로 베이즈의 정리 (Bayes' theorem) 입니다.
확률의 개선 과정 (Prior → New Evidence → Posterior)
사전확률 (Prior)
새로운 증거가 유입되기 전, 과거의 경험이나 기존 지식을 통해 가설 C 에 부여된 초기 신념 확률.
새로운 정보 (Evidence)
실험, 센서 관측, 환자의 임상 증상 등 현실 세계에서 새롭게 획득된 관측 데이터 x 와 우도.
베이즈 정리의 응용
전체 확률의 법칙(Law of Total Probability)에 의한 정규화 상수 P(x) 로 나누어 사후 확률 합성.
사후확률 (Posterior)
새로운 정보를 합리적으로 반영하여 개선된 최종 확률. 다음 단계의 새로운 사전확률(Prior)로 순환.
수식 체계와 패턴인식 의사결정 (Earl Gose 1996)
Bayes' 정리를 이용한 의사결정은 feature(특징 변수) 값이 주어진 상태에서 가장 가능성이 있는 class(분류 범주)를 선택하는 것을 말합니다. 즉 Bayes' 정리를 이용하여 각 클래스에 속할 확률(class membership)이 엄밀하게 계산됩니다 (Earl Gose 1996).
"변수 값을 x, 분류하고자 하는 class를 C, 전체 모집단에서 변수 x 에 대한 확률분포를 P(x), 임의의 sample 이 class C 에 속할 사전확률 P(C), class C 에서 변수 값 x 가 얻어질 조건부 확률(우도) P(x|C) 이 주어집니다."
"우리가 얻고자 하는 것은 변수 값 x 가 주어진 상황에서 sample 이 class C 에 속할 사후확률 즉 P(C|x) 을 구하는 것인데, 이를 위해 P(x|C), P(C), P(x) 값이 주어집니다."
결합확률(Joint Probability)과 단일 변수 베이즈 정리
클래스 C 에 속하면서 하나의 변수값 x (single feature)를 가지는 결합확률은 조건부 확률의 정의에 의해 다음과 같이 두 가지 방식으로 전개됩니다:
위의 식을 사후확률 P(C | x) 에 대하여 정리하면 다음과 같은 베이즈 정리(Bayes' Theorem) 기본형이 완성됩니다:
(단, 분모 P(x) = ∑k P(Ck) × P(x | Ck) 는 전체 확률의 법칙에 의한 정규화 상수)
대규모 심층 연구: AI와 거대 언어 모델(LLM)에서 베이즈 정리가 왜 필수적인가?
베이즈 정리는 고전 머신러닝의 나이브 베이즈 분류기(Naive Bayes Classifier)나 스팸 필터링을 넘어, 현대 거대 언어 모델(LLM)의 가장 신비로운 능력인 인컨텍스트 러닝(In-Context Learning, ICL)의 작동 메커니즘을 규명하는 수학적 열쇠이자, 환각(Hallucination) 방지를 위한 불확실성 정량화(Uncertainty Quantification)의 핵심 이론입니다.
1. 인컨텍스트 러닝(ICL): 프롬프트를 통한 암묵적 베이지안 추론
스탠퍼드 대학교(Xie et al.)의 연구에 따르면, LLM이 사전 학습된 거대한 가중치를 전혀 수정하지 않고 단지 몇 개의 예시(Few-shot Prompt)만 보고 새로운 작업을 즉시 수행하는 원리는 "잠재 개념 공간(Latent Concept Space)에서의 암묵적 베이지안 추론(Implicit Bayesian Inference)"으로 증명되었습니다.
사전 학습을 통해 형성된 전역 사전확률 분포 P(θ)가 사용자가 제공한 프롬프트(Prompt)라는 증거(Evidence)와 결합하여, 현재 사용자가 요구하는 작업 θ 에 대한 사후확률 P(θ | Prompt)로 즉각 갱신되며 답변을 생성합니다.
2. 시맨틱 엔트로피(Semantic Entropy): 베이지안 사후 불확실성 평가
LLM이 높은 소프트맥스 확률로 자신 있게 오답을 생성하는 환각(Hallucination) 현상은 단순 토큰 확률만으로는 탐지할 수 없습니다. 옥스퍼드 대학교 연구진은 베이지안 사후 분포에서 샘플링된 답변들을 의미적 동치 클래스(Semantic Equivalence Classes)로 군집화한 후 그 엔트로피를 측정하는 기법을 발표했습니다.
표현만 다를 뿐 같은 의미를 가리키는지 베이지안 사후 확률을 계산함으로써, 모델이 실제로 확신하고 있는 정답과 그럴듯하게 날조된 거짓 답변을 90% 이상의 정확도로 사전에 식별하여 차단합니다.
3. 최대 사후확률 추정(MAP)과 Weight Decay
딥러닝에서 과적합을 막기 위해 흔히 사용하는 L2 가중치 감쇠(Weight Decay)는, 가중치 W 에 평균 0 인 가우시안 사전분포 P(W) ~ N(0, σ2I)를 부여하고 최대 사후확률 추정(MAP: Maximum A Posteriori)을 수행하는 것과 수학적으로 완벽히 동일합니다.
4. LLM 자율 에이전트의 베이지안 신념 갱신
외부 툴을 호출하고 웹을 검색하는 자율 AI 에이전트는 불완전한 환경 상태를 다룰 때, 이전 단계의 신념(Prior)에 새로운 관측 결과(Observation)를 베이즈 규칙으로 결합하여 현재 상태 사후확률 P(State | Obs)을 갱신하며 최적의 다음 행동(Action)을 결정합니다.
인포그래픽: 거대 언어 모델(LLM) 속 인컨텍스트 러닝(ICL)의 베이지안 사후 추론
🔄 가중치 고정 상태에서 프롬프트 증거를 통한 잠재 개념 사후 수렴
사전학습 지식 P(θ)
수조 개 토큰 학습을 통해 형성된 방대한 전역 개념 및 태스크 사전분포.
사용자 퓨샷 예시
"사과: 과일, 당근: 채소, 바나나: ?" 프롬프트 데모 데이터 x1:k 유입.
어텐션 사후 확률화
어텐션 헤드가 예시들의 맥락을 엮어 P(θ | Prompt)로 개념을 압축 국소화.
정답 "과일" 출력
도출된 사후 확률 분포로부터 가장 그럴듯한 다음 토큰을 단번에 추론 생성.
단일 고정 모수 최적화 (MLE)
모수는 고정된 참값이며 데이터의 반복 빈도를 기반으로 추정. 단일 점추정값에 과도하게 확신하여 데이터가 희소한 도메인에서 오버피팅 발생.
확률분포 사후 갱신 (Posterior)
모수 자체를 확률변수로 취급. 사전 지식과 새로운 증거를 유기적으로 합성하여 불확실성을 수치화하고 환각을 안전하게 제어.
핵심 연관 용어 (Term)
주요 학술 논문 및 참고 문헌 (Paper & Site)
강의 및 동영상 아카이브 (Video)
뇌과학과 통계적 추론의 관점에서 바라본 인공지능의 수리적 현주소를 깊이 있게 조망하는 박문호 박사의 정규 강좌입니다.