확률 (Probability) : 수학적 기초, AI와 LLM에서의 핵심 역할 및 확률 개념

★ Foundations of Artificial Intelligence & Statistics Probability Theory

확률론 (Probability Theory)

📌 인공지능에서 확률의 역할 ...

• 불확실성 처리: 현실의 데이터는 노이즈가 많고 완벽하지 않습니다. AI는 이 불확실성을 확률 분포로 표현하여 정답을 단정 짓는 대신 가능성이 높은 방향으로 판단합니다.

• 예측과 분류: 입력 데이터(x)가 주어졌을 때, 그것이 특정 클래스(y)일 확률(예: 소프트맥스 함수를 통한 P(y|x) 계산)을 구해 이미지를 분류하거나 다음 단어를 예측합니다.

• 학습과 손실 함수(Loss Function): 딥러닝에서 모델이 내놓은 예측값과 실제값의 오차를 줄이는 과정(최적화)도 통계적·확률적 기반(가능도 최대화 등) 위에 설계됩니다.

불확실성(Uncertainty) 속에서 일어나는 사건의 가능성을 수학적으로 정량화하는 학문입니다. 18세기 이래 수학과 철학, 통계학을 가로지르며 발전해 온 확률 이론은 오늘날 머신러닝과 딥러닝, 그리고 거대 언어모델(LLM)의 생성 엔진을 지탱하는 가장 본질적인 수학적 기초로 작동하고 있습니다.

기초 수학 체계

콜모고로프 공리계 (1933)

현대 AI 패러다임

자기회귀 조건부 결합 확률

개념 및 철학

1. Probability 의 개념과 학문적·철학적 해석

확률에 관한 학문적 탐구가 시작된 18세기 이래 다양한 이론들이 등장하였으며, 이러한 이론에 대한 분류도 여러 가지 방법으로 제시되었습니다. 확률에 관한 학문적 논의는 크게 고전적 이론(Classical Theory), 선험적 이론(A Priori Theory), 상대빈도 이론(Relative Frequency Theory), 그리고 주관주의 이론(Subjectivist Theory)으로 나뉩니다. (송하석 1998)

01. 고전적 / 선험적 이론

Classical & A Priori

라플라스(Laplace)에 의해 체계화되었으며, 일어날 수 있는 모든 경우의 수가 유한하고 각 결과가 동일한 정도로 일어날 가능성(Equally Likely)을 가질 때 성립합니다.

P(A) = n(A) / n(S)

02. 상대빈도 이론 (빈도주의)

Relative Frequency

동일한 조건 하에서 독립적인 시행을 무한히 반복할 때, 특정 사건이 출현하는 상대적 빈도의 극한값을 확률로 정의합니다 (라이헨바하, 폰 미제스).

P(A) = lim [n(A) / N]

03. 주관주의 (베이즈주의)

Bayesianism / Subjective

확률을 객관적인 물리적 빈도가 아니라, 불확실한 가설이나 명제에 대해 관찰자가 부여하는 '합리적 믿음의 정도(Degree of Belief)'로 해석합니다 (드 피네티, 램지).

P(θ|D) ∝ P(D|θ) · P(θ)

04. 논리적 & 성향적 이론

Logical & Propensity

카르납(Carnap)의 논리적 해석과 칼 포퍼(Popper)의 성향적 해석, 기어리(Giere) 및 메이요(Mayo)의 오차통계학 등이 포함되며 객관적 실재의 성향을 다룹니다.

과학적 추리와 증거 지지

"확률이 어떻게 이해되고 설명될 수 있는가라는 질문은 논리학이나 수학의 문제일 뿐만 아니라 일상언어의 의미론의 문제와도 관련된다고 할 수 있겠다. 또한 자연과학 이론이 의존하는 귀납적 일반화 (Induction)는 궁극적으로 확률의 문제이기 때문에 과학철학에 있어서도 확률 이론은 대단히 중요한 문제가 아닐 수 없다." (이영의 2003)

수학적 기초

2. 콜모고로프의 공리적 확률 (Kolmogorov's Axioms, 1933)

러시아의 수학자 안드레이 콜모고로프(Andrey Kolmogorov)는 측도론(Measure Theory)을 바탕으로 확률을 철학적 논쟁에서 분리하여 엄밀한 수학적 체계로 정립하였습니다. 표본공간 S (또는 Ω)와 사건 A에 대해 확률 측도 P는 다음의 3대 공리(Three Axioms)를 만족해야 합니다.

공리 1: 비음수성 (Non-negativity)

0 ≤ P(A) ≤ 1

임의의 사건 A에 대한 확률은 절대로 음수가 될 수 없으며, 0 이상 1 이하의 실수 값을 가집니다.

공리 2: 확실성 (Normalization)

P(S) = 1

전체 표본공간 S에서 일어날 수 있는 모든 사건의 확률 총합은 반드시 1(100% 확실성)이어야 합니다.

공리 3: 가산 가법성 (Additivity)

P(A ∪ B) = P(A) + P(B)

서로 동시에 일어날 수 없는 배반사건(A ∩ B = ∅)들의 합사건 확률은 각각의 확률을 단순히 더한 것과 같습니다.

AI & LLM 핵심

3. AI 와 LLM 에서 Probability 의 결정적 역할

인공지능(Artificial Intelligence) 분야에서 확률론 및 통계학(Statistics)의 응용은 초창기부터 지식의 불확실성(Uncertainty)을 표현하고 처리하는 핵심 방법론으로 이어져 왔습니다. 초기 전문가시스템(Expert System)인 PROSPECTOR는 베이즈확률 (Bayesian Probability)을 도입하였고, MYCIN은 확신도 (Certainty Factor)를 사용하였으며, 그 외에도 퍼지 (Fuzzy) 이론과 Dempster-Shafer 증거이론 등이 불확실성을 해결하기 위해 응용되었습니다. (신양규 1995)

🚀 현대 생성형 AI(Generative AI)와 대규모 언어모델(LLM)에 이르러 확률론은 단순한 '오차 보정 도구'를 넘어 기계가 인간 언어를 이해하고 지능적인 문장을 생성하는 근본적인 메커니즘 그 자체로 진화하였습니다.

1

LLM의 본질: 조건부 결합 확률 분포 추정

GPT-4, Claude, Gemini와 같은 최신 자기회귀(Autoregressive) LLM은 이전까지 생성된 모든 단어 문맥(Context)이 주어졌을 때, 다음에 올 가장 자연스러운 단어의 조건부 확률 분포 P(w_t | w₁, ..., w_t-1)를 계산하는 거대한 신경망 확률 분포 모델입니다.

P(w₁, w₂, ..., w_T) = ∏_t=1^T P(w_t | w₁, ..., w_t-1)

2

확률 기반 손실 함수: 교차 엔트로피와 NLL

모델 학습은 실제 정답 토큰이 나올 확률을 극대화하는 음의 로그 우도(Negative Log-Likelihood, NLL) 및 교차 엔트로피 손실(Cross-Entropy Loss)을 최소화하는 방향으로 가중치(Weights)를 역전파(Backpropagation)하여 확률 분포 간의 거리를 좁힙니다.

Loss = - ∑ log P(정답 토큰 | 문맥)

3

확률적 디코딩: Temperature, Top-k, Top-p

AI가 언제나 확률 1위인 단어만 고르면(Greedy Decoding) 문장이 획일화되고 반복 루프에 빠집니다. Temperature(온도)로 확률 분포의 첨도를 완만하게 조절하고, Top-p (Nucleus) 샘플링으로 누적 확률 상위 후보군 중에서 확률적으로 샘플링함으로써 창의성과 정확성의 균형을 맞춥니다.

4

인간 피드백 강화학습(RLHF)과 선호도 확률

RLHF 및 DPO(Direct Preference Optimization) 알고리즘은 인간 평가자가 어떤 응답(y_w)을 다른 응답(y_l)보다 선호할 확률을 브래들리-테리(Bradley-Terry) 확률 모델로 정량화하여 AI의 안전성과 윤리성을 정렬합니다.

P(y_w ≻ y_l) = σ(r(x, y_w) - r(x, y_l))

필수 개념 총람

4. AI 와 머신러닝에서 자주 사용되는 핵심 확률 개념 6선

현대 데이터 과학과 인공지능 엔지니어링에서 매일 활용되는 필수 확률 개념들을 직관적인 수식과 해설로 정리하였습니다.

개념 01

조건부 확률 (Conditional Probability)

P(A | B) = P(A ∩ B) / P(B)

사건 B가 이미 일어났다는 사전 정보(문맥)가 주어졌을 때, 사건 A가 발생할 확률입니다. LLM의 프롬프트 문맥 기반 다음 단어 예측의 수학적 토대입니다.

개념 02

베이즈 정리 (Bayes' Theorem)

P(θ | D) = [P(D | θ) · P(θ)] / P(D)

사전 확률(Prior)과 새로운 데이터 증거의 가능도(Likelihood)를 결합하여 사후 확률(Posterior)을 역추론합니다. 나이브 베이즈 분류기, 베이지안 신경망의 핵심입니다.

개념 03

결합 확률과 체인 룰 (Chain Rule)

P(X, Y) = P(Y | X) · P(X)

여러 변수가 동시에 발생할 결합 확률을 연쇄적인 조건부 확률의 곱으로 분해합니다. 수만 개 토큰으로 이어지는 자연어 문장의 결합 확률 계산의 뼈대입니다.

개념 04

기댓값(Expectation)과 분산(Variance)

E[X] = ∑ x P(x), Var(X) = E[(X - μ)²]

확률 변수의 가중 평균값(중심 위치)과 중심으로부터 흩어진 정도(불확실성/리스크의 폭)를 나타내며, 모델의 예측값과 손실 기댓값 평가에 필수적입니다.

개념 05

카테고리컬 & 가우시안 정규 분포

이산형(Categorical) vs 연속형 N(μ, σ²)

LLM의 어휘 토큰 예측은 수만 개 단어 중 하나를 택하는 카테고리컬 분포를 따르며, 확산 모델(Diffusion)의 이미지 노이즈는 가우시안 정규분포를 따릅니다.

개념 06

엔트로피와 KL 발산 (KL Divergence)

D_KL(P || Q) = ∑ P(x) log [P(x) / Q(x)]

정보 엔트로피 H는 불확실성의 크기이며, KL 발산은 실제 데이터 분포 P와 모델의 예측 분포 Q 사이의 정보 손실(거리)을 측정하는 머신러닝의 나침반입니다.

실전 테크닉

5. LLM 확률 제어 기법과 성능 평가 척도

【 LLM 확률 샘플링 파라미터 조절표 】

Temperature (온도, T):
소프트맥스 전 로짓(Logit)을 T로 나눕니다. T → 0 이면 최고 확률 토큰만 독점(결정적, 코드/수학용), T > 1 이면 확률이 균등해져 다채롭고 창의적인 문장 생성.
Top-k 샘플링:
확률 상위 k개의 토큰만을 후보로 남기고 나머지 토큰은 마스킹하여 엉뚱한 이상치(Outlier) 생성을 방지합니다.
Top-p (Nucleus) 샘플링:
고정된 개수 대신, 누적 확률이 p(예: 0.9)에 도달할 때까지의 동적인 후보군만 선택하여 문맥에 따라 유연하게 어휘 폭을 조절합니다.

LLM 표준 성능 척도