홈 > 수학(Mathematics) > 통계학(Statistics) > 우도 (Likelihood)

🎯 우도 (Likelihood, 尤度)

우도(Likelihood) 와 확률(Probability) 의 차이점
확률 (Probability) : 파라미터(θ)가 주어져 있을 때, 어떤 데이터(x)가 발생할 가능성을 뜻합니다. (예: "동전이 공정할 때(p = 0.5), 앞면이 나올 확률은 0.5이다.")
우도 (Likelihood) : 이미 결과(데이터, x)를 관측한 상태에서, 이 데이터가 어떤 파라미터(θ)로부터 나왔을지 역으로 추정하는 정도를 뜻합니다. (예: "앞면이 7번 나왔는데, 이 동전의 진짜 확률(p)은 얼마일까?") ........ 인공지능 모델(신경망, 머신러닝 알고리즘 등) 을 학습시킨다는 것은 주어진 데이터셋을 가장 잘 설명하는 모델의 파라미터 (Weights, Bias 등) 를 찾아내는 과정입니다 ...... 어떤 관측 결과(데이터) 가 주어졌을 때, 특정 가설이나 모델의 파라미터가 그 결과를 만들어냈을 가능성의 크기(그럴듯함) 를 나타내는 통계적 측도이자, 인공지능 신경망의 크로스 엔트로피 손실(Cross-Entropy) 과 LLM 자기회귀 사전학습(Next-Token MLE) 및 DPO 정렬을 이끄는 핵심 수학적 원리

로널드 피셔(R. A. Fisher)의 최대우도 원리(Maximum Likelihood Principle)에서 시작하여 전문가 시스템의 불확실성 추론, 패턴인식의 우도비 검정(Likelihood Ratio Test), 그리고 거대 언어 모델(LLM)의 Perplexity 최적화와 가치 정렬(DPO)에 이르는 수리 통계학의 근간입니다.

Section 01

피셔의 우도 개념과 최대우도의 원리

Ronald Aylmer Fisher가 주장하는 어떤 가설(hypothesis) H 에 대한 우도 (尤度, likelihood) 란, 어떤 시행의 결과(Evidence) E 가 주어졌다 할 때, 만일 주어진 가설 H 가 참이라면, 그러한 결과 E 가 나올 정도는 얼마나 되겠느냐 하는 것입니다. 즉 결과 E 가 나온 경우, 그러한 결과가 나올 수 있는 여러 가능한 가설들을 평가할 수 있는 측도가 곧 우도인 셈입니다.

"만일 어떤 가설에 대한 우도를 주어진 데이터가 그 가설을 지지하는 정도로 해석을 한다 하면, 여러 가설 중 그 우도가 최대가 되는 가설을 선호함은 자연스러운 일이다. 즉 만일 그 가설이 어떤 모집단의 모수 (population parameter) 에 관한 가설이라고 하면, 바로 그 추정치를 해당 모집단에 관한 가장 적절한 추정치로서 선호할 수 있다는 것이다."

피셔에 있어 이와 같은 원리를 이른바 "최대우도의 원리 (Principle of Maximum Likelihood)" 라 부르며, 이와 같은 원리에 따라 어떤 모수에 관한 가장 적절한 추정치 (Estimate) 를 구하는 방법을 이른바 "최대우도의 방법 (Method of Maximum Likelihood, MLE)" 이라 부릅니다 (전영삼 1990).

관점 1. 확률 (Probability)

P(데이터 | 모수)

모수(가설 θ)가 고정되어 있을 때, 미래에 임의의 데이터 x 가 나타날 가능성. (전체 합/적분은 1)

관점 2. 우도 (Likelihood)

L(모수 | 데이터) = P(데이터 | 모수)

이미 관측된 데이터 x 가 고정되어 있을 때, 이 데이터를 낳았을 여러 후보 모수 θ 의 그럴듯함의 정도. (합이 1이 아님)

Section 02

전문가시스템(Expert System)과 베이즈 정리에서의 우도 활용

예컨대 어떤 의학 전문가시스템 (Expert System) 은 신체 증상을 입력으로 하여 그에 해당하는 병명과 치료법을 출력으로 합니다. 그러나 의학의 끊임없는 발전으로 의학 전문지식들은 늘 새로운 추가적 정보에 의해 새로이 평가되어야 하며, 어떤 결론 역시 하나의 가설로 봄이 적절합니다. 즉 주어진 증상에 대해 제시된 병명은 하나의 가설로 볼 수 있습니다. 새로운 지식이나 증상이 발견되면 새로운 병명(가설)이 나와야 할 것입니다.

전문가시스템의 불확실성 (Uncertainty) 을 평가하기 위해 흔히 사용하는 베이즈 정리 (Bayes' Theorem) 에서는 사전확률에 새로운 증거를 대입하여 사후확률을 얻게 되는데, 사전확률을 부여함에 있어 자의성을 배제하기 어렵지만, "우도를 사용하여 그 자의성을 벗어나 훨씬 용이하게 사전확률을 계산해 내는 것이 가능합니다 (전영삼 1993)."

Section 03

우도비(Likelihood Ratio) 판별과 ELISA 항체 검사 임상 예제

1. 두 클래스 A와 B의 우도비 (Likelihood Ratio, R)

단지 두 개의 클래스 A 와 B 가 주어졌을 때의 likelihood ratio R 은 다음과 같이 정의됩니다:

R = P(A | x) / P(B | x) = [ P(A) × P(x | A) ] / [ P(B) × P(x | B) ]

R 이 1 보다 크면 샘플 x 가 속하는 클래스로 클래스 A 를 선택하고, 1 보다 작으면 클래스 B 를 선택합니다.

2. 의학 임상 예제: HIV 바이러스 항체 ELISA 검사

Earl Gose 외 패턴인식 교재 인용 →

어떤 환자가 HIV virus에 걸린 것으로 의심되면 혈액의 항체를 검사하는 ELISA test를 하게 됩니다. H 를 HIV virus를 가진 사건으로, H̅ 를 바이러스를 가지지 않은 사건으로, Pos 를 검사에서 양성으로 나온 사건, Neg 를 음성으로 나온 사건으로 둡니다. 검사에서 양성이 나왔을 때 환자가 실제로 HIV virus를 보균하고 있을 사후확률 P(H | Pos) 를 구해봅시다. 임상적으로 다음의 확률들이 주어졌다고 가정합니다:

사전확률 P(H)
0.15 (15%)
사전확률 P(H̅)
0.85 (85%)
우도 P(Pos | H)
0.95 (민감도)
우도 P(Pos | H̅)
0.02 (위양성률)
방법 A. 베이즈 정리 (Bayes' Theorem) 적용 :
P(H | Pos) = [ P(H) × P(Pos | H) ] / [ P(H) × P(Pos | H) + P(H̅) × P(Pos | H̅) ]
= (0.15 × 0.95) / [ (0.15 × 0.95) + (0.85 × 0.02) ]
= 0.1425 / (0.1425 + 0.017) = 0.1425 / 0.1595 = 0.893 (89.3%)

구해진 사후확률값이 0.5 보다 훨씬 크기 때문에 해당 환자는 HIV virus 양성일 확률이 매우 높다고 결론짓습니다.

방법 B. 우도비 (Likelihood Ratio, R) 적용 :
R = [ P(H) × P(Pos | H) ] / [ P(H̅) × P(Pos | H̅) ] = (0.15 × 0.95) / (0.85 × 0.02) = 0.1425 / 0.017 = 8.382

우도비 R 값이 1 보다 훨씬 크기 때문에(8.382 > 1) HIV virus 일 확률이 높다고 판단합니다. 여기서 얻어진 우도비 R 로부터 사후확률을 다음과 같이 직접 계산할 수 있습니다:

P(H | Pos) = R / (1 + R) = 8.382 / (1 + 8.382) = 8.382 / 9.382 = 0.893 (89.3%)

베이즈 정리로 계산한 것과 완전히 동일한 결과가 도출됨을 확인할 수 있습니다 (Earl Gose 1996).

Deep Research

대규모 심층 연구: 현대 인공지능과 거대 언어 모델(LLM) 속의 Likelihood

인공지능의 모든 학습 과정은 "관측된 학습 데이터를 가장 높은 확률로 생성해내는 파라미터 θ 를 찾는 것", 즉 최대우도추정(MLE)으로 수렴합니다. 특히 수천억 개의 파라미터를 가진 거대 언어 모델(LLM)의 사전학습, 디코딩 탐색, 환각 탐지, 그리고 최근의 DPO(Direct Preference Optimization) 가치 정렬까지 전 과정이 우도(Likelihood)에 의해 작동합니다.

핵심 엔진 01 Pre-training MLE & Perplexity

1. LLM의 다음 토큰 사전학습: 음의 로그우도(NLL) 최소화

GPT-4, Claude, LLaMA 등 모든 자기회귀 언어 모델의 사전 학습 목적식은 말뭉치 전체에 대한 결합 우도(Joint Likelihood)를 극대화하는 것입니다. 계산의 안정성과 수치적 편의를 위해 로그를 취하고 부호를 바꾼 음의 로그우도(Negative Log-Likelihood, NLL) 손실을 최소화합니다:

LNLL(θ) = - ∑t=1T log Pθ(wt | w1, ..., wt-1)

언어 모델의 대표적 평가 지표인 퍼플렉서티(Perplexity, PPL)는 토큰당 평균 음의 로그우도의 지수값 exp(LNLL / T) 으로 정의되며, 모델이 텍스트의 우도를 얼마나 높게 평가하는지를 직접적으로 대변합니다.

핵심 엔진 02 DPO & Likelihood Ratio

2. DPO(Direct Preference Optimization): 우도비(Likelihood Ratio) 기반 정렬

NeurIPS 2023에 발표된 DPO(Direct Preference Optimization)는 복잡하고 불안정한 보상 모델 훈련과 강화학습(PPO) 루프를 제거하고, 참조 모델(πref)과 정책 모델(πθ)의 우도비(Likelihood Ratio)를 사용하여 인간 선호도를 직접 최적화하는 혁신을 이루었습니다:

r(x, y) = β × log [ πθ(y | x) / πref(y | x) ]
LDPO(θ) = - E [ log σ ( β log [ πθ(y선호|x) / πref(y선호|x) ] - β log [ πθ(y비선호|x) / πref(y비선호|x) ] ) ]

선호 답변의 상대적 우도는 높이고 비선호 답변의 우도는 낮추는 단순 명쾌한 우도비 손실 함수만으로 최첨단 LLM의 가치 정렬(Alignment)을 달성합니다.

3. 빔 서치(Beam Search) 시퀀스 우도 탐색

기계 번역이나 코드 생성 시 매 단계 가장 확률이 높은 단어만 고르는 그리디(Greedy) 방식의 국소 최적점 함정을 피하기 위해, 상위 k개의 후보 시퀀스 경로 전체의 누적 로그우도 ∑ log P(wt) 를 추적하여 최적의 문맥을 탐색합니다.

4. DetectGPT: 우도 곡률(Curvature) 기반 AI 탐지

인간이 작성한 문장은 모델의 우도 곡면에서 불규칙한 위치에 놓이지만, LLM이 생성한 문장은 모델의 로그우도 극댓값(Local Maxima) 부근의 음의 곡률(Negative Curvature) 영역에 위치한다는 성질을 이용하여 AI 생성 텍스트를 제로샷으로 정밀 판별합니다 (ICML 2023).

Infographics

인포그래픽: 거대 언어 모델(LLM) 생태계를 관통하는 4대 Likelihood 아키텍처

엔진 01 Pre-training

최대우도 사전학습 (Next-Token MLE)

입력: "대한민국의 수도는"
↓ 소프트맥스 로짓 변환
P("서울") = 0.94 → -log(0.94) = 0.062 (손실 최소화)

수조 개의 웹 토큰에 대해 실제 다음 단어의 발생 우도를 극대화하여 문맥 이해와 지식을 학습합니다.

엔진 02 Alignment

우도비 기반 DPO 가치 정렬

선호 답변: [Pθ / Pref] ↑ 우도비 상승 유도
비선호 답변: [Pθ / Pref] ↓ 우도비 하락 억제

별도의 리워드 모델 없이 두 모델 간 우도비의 기울기만으로 안전하고 유익한 답변을 생성하도록 교정합니다.

엔진 03 Inference

시퀀스 결합우도 최적화 (Beam Search)

Path A: log P = -0.2 - 0.3 - 0.1 = -0.6 (최적 선택)
Path B: log P = -0.1 - 0.9 - 0.4 = -1.4 (탈락)

단일 토큰의 순간 확률이 아닌 전체 문장 완성 경로의 결합 우도가 최대인 시퀀스를 추론합니다.

엔진 04 Detection

우도 곡면 국소 곡률 (DetectGPT)

원문: log P(x) = -1.2 (피크 정상)
↓ 작은 단어 섭동(Perturbation) 가하기
변형문: log P(x~) = -2.8 → 우도 급락 감지 (AI 텍스트 확정)

인공지능이 생성한 글은 우도 함수의 로컬 피크에 정확히 놓인다는 기하학적 특성을 활용합니다.

Section 06

주요 학술 논문 및 연구 자료 (Paper)

🇰🇷 국내 학술 연구 논문 아카이브 (원문 보존)

과학철학 (PDF)
전문가시스템을 위한 우도의 활용 (PDF) : 전영삼, 고려대 철학연구 16권, 1993
전문가시스템 (PDF)
ARMA 모형의 상태공간에 의한 최대우도 적합에 관한 연구 (PDF) : 박종구, 오대호, 신호중, 원광대 공업기술개발연구지 15권, 1995
시계열 MLE (PDF)
일반화 최대우도 함수에 의해 추정된 평활모수에 대한 진단 (PDF) : 정원태, 이인석, 정혜정, 한국데이터정보과학회지 7권 2호, 1996
일반화 우도 (PDF)
토지 피복 분류에 있어 신경망과 최대우도 분류기의 비교 (PDF) : 조기성, 전형섭, 한국지형공간정보학회 지형공간정보 8권 2호, 2000
신경망 비교 (PDF)
다변량 구조 모형에서 최대우도 추정 (PDF) : 김기영, 한국통계학회 응용통계연구 1권 1호, 1987
다변량 통계 (PDF)
사후확률 결합 (PDF)
밀도 군집 (PDF)
Section 07

수학 & 머신러닝 최대우도추정(MLE) 명강의 (Video)

확률과 우도의 근본적 차이부터 가우스 분포의 평균·분산을 최대우도추정(MLE)으로 찾아내는 과정을 가장 시각적으로 명쾌하게 해설하는 강의입니다.

StatQuest with Josh Starmer 확률 vs 우도

Probability is not Likelihood. And Maximum Likelihood, Clearly Explained!

데이터가 주어졌을 때 정규분포 곡선의 평균을 조금씩 이동시키며 왜 우도가 최대화되는 지점을 선택해야 하는지 직관적으로 해설합니다.

StatQuest with Josh Starmer 미분과 로그우도

Maximum Likelihood, clearly explained! Step-by-Step

로그우도(Log-Likelihood) 함수의 미분을 통해 머신러닝 목적식의 기울기가 0이 되는 최적 모수를 유도하는 수리적 계산법을 단계별로 보여줍니다.