★ The Bedrock of Intelligence, Logic & Deep Learning Definition of Mathematics

수학의 정의와 인공지능(AI)의 탄생

철학자들이 인공지능 (Artificial Intelligence)의 대부분의 중요한 아이디어를 명확히 하였지만, 형식과학(Formal Science)으로의 결정적 도약은 3개의 기본 영역, 즉 논리 (Logic), 계산 (Computation), 확률 (Probability)에서의 엄밀한 수학적 형식화를 필요로 했습니다.

형식과학 3대 지주
논리 • 계산 • 확률
현대 AI 프레임워크
선형대수 • 미적분 • 최적화
기초 질문

1. 인공지능을 탄생시킨 수학의 3대 근본 질문

인공지능의 역사는 수학자들이 던진 다음의 3가지 근원적인 질문에 답을 구하는 과정에서 시작되었습니다.

수학 기초 1 Logic

유효한 결론을 이끌어내는 형식적 규칙이란 무엇인가?

명제논리와 일차논리를 통해 지식과 참/거짓의 연역적 추론을 기호화하고 체계화한 수리논리학의 기원입니다.

수학 기초 2 Computation

계산될 수 있는 것은 무엇인가?

알고리즘의 한계와 계산 가능성, 튜링 기계와 결정 불가능성, 그리고 다항 시간(P)과 난해성(NP-Complete)을 탐구한 계산 이론의 뼈대입니다.

수학 기초 3 Probability

인간은 불확실한 정보를 가지고 어떻게 추론하는가?

불완전하고 노이즈가 섞인 실세계 데이터 속에서 최선의 확률적 판단을 내리는 베이즈 추론과 통계적 학습의 원리입니다.

역사적 전개

2. 수학이 AI에 공헌한 형식과학 3대 기둥 (Logic • Computation • Probability)

제1영역

논리 (Logic)와 지식 표현의 형식화

형식논리의 개념은 고대 그리스의 철학자로 거슬러 올라갈 수 있지만, 그 수학적 개발은 사실상 George Boole (1815~1846)이 자세히 묘사한 명제논리 (Propositional Logic)(또는 Boolean logic, Boole 1847)와 함께 시작하였습니다.

1879년에 Gottlob Frege(1848~1925)는 Boole의 논리를 확장하여 객체(objects)와 관계(relations)를 포함한 일차논리 (First-order Logic)를 창조하여 오늘날 가장 기본적인 지식표현 시스템이 되었습니다. Alfred Tarski(1902~1983)는 참조 이론(Theory of reference)을 소개하여 논리 속의 객체가 실세계의 객체와 어떻게 관계하는지를 보여주었습니다. 다음 단계는 논리와 계산으로서 할 수 있는 것의 한계를 결정하는 것이었습니다.

제2영역

계산 (Computation)과 계산 가능성의 한계

최초의 증명된(nontrivial) 알고리즘은 최대공약수를 계산하는 Euclid 알고리즘으로 알려져 있습니다. 알고리즘 (Algorithm)이란 말은 9세기 페르시아 수학자 al-Khowarazmi가 유럽에 아라비아 숫자와 대수(algebra)를 소개하면서 나온 말입니다. Boole과 여러 사람들이 논리적 연역법 (Deduction)을 위한 알고리즘을 연구했고, 19세기 말까지 일반적 수학추론을 논리적 연역법으로 형식화하는 작업을 수행했습니다.

1900년에 David Hilbert (1862~1943)는 23개의 문제 리스트를 소개했습니다. 마지막 문제는 자연수를 포함하는 어떤 논리적 명제의 진위 여부를 결정하는 알고리즘이 있는지 여부를 질문하는 유명한 판정문제 (Entscheidungsproblem 또는 decision problem)입니다.

1930년에 Kurt Gödel (1906~1978)은 일차논리로 어떤 진리 문장을 증명하는 절차가 존재하지만, 수학적 귀납법 (Mathematical Induction)의 원칙을 포착할 수는 없음을 보였습니다. 이어 1931년 그의 유명한 불완전성 정리 (Incompleteness Theorem)에서, 자연수의 속성을 충분히 묘사하는 어떤 언어에서도 그 진리 여부가 알고리즘으로 결정될 수 없다는 의미에서 결정불가능한(undecidable) 진리 문장이 필연적으로 존재함을 입증했습니다.

이것이 Alan Turing (1912~1954)이 컴퓨터로 계산 가능한 함수를 정확히 정의하려 노력한 계기가 되었습니다 (계산가능성 이론 (Computability Theory)). 튜링 기계 (Turing Machine)(1936)와 처치-튜링 명제 (Church-Turing Thesis)를 통해 계산의 형식을 정의한 Turing은, 나아가 어떠한 튜링기계도 계산할 수 없는 함수들이 존재한다는 것을 보여주었습니다 (정지문제 (Halting Problem)).

💡 복잡도와 난해성(Intractability): 문제 해결 시간이 지수적(Exponential)으로 증가한다면 그 문제는 다루기 어렵습니다 (복잡성 (Complexity)). 따라서 지능적인 행동을 생성하는 난해한(intractable) 전체 문제를 다루기 쉬운(tractable) 하위 문제들로 나누어서 해결하려 해야 합니다. Stephen Cook과 Richard Karp가 정립한 비결정 완전 (NP-complete) 이론은 이러한 문제의 복잡성을 분류하는 기준을 제공하며, 컴퓨터 (Computer)의 속도가 증가하더라도 자원들을 주의깊게 사용해야만 지능적 시스템이 가능하게 될 것임을 상기시킵니다.

제3영역

확률 (Probability)과 불확실성 추론

논리와 계산 이외에, 수학 (Mathematics)이 AI에 공헌한 세 번째는 확률 (Probability) 이론입니다. 이탈리아인 Gerolamo Cardano(1501~1576)가 최초로 확률 개념의 틀을 잡았으며, Pierre Fermat(1601~1665), Blaise Pascal (1623~1662), James Bernoulli(1654~1705), Pierre Laplace (1749~1827) 등이 통계적 방법을 발전시켰습니다.

특히 Thomas Bayes (1702~1761)는 새로운 증거가 나타났을 때 기존의 확률을 업데이트하는 규칙을 제안했습니다. Bayes' rule과 그 결과로 등장한 베이즈 해석(Bayesian analysis)은 AI 시스템에서 불확실성 (Uncertainty) 추론 (Reasoning)을 수행하는 현대적 접근의 기초가 되었습니다. ... (Stuart Russell & Peter Norvig 2003)

학문적 정의

3. 수학(Mathematics)의 본질적 정의

"수학은 기호논리와 수학 표기를 사용해서 공리적으로 정의된 추상 구조(axiomatically defined abstract structures)를 조사하는 학문입니다. 구조, 변화, 공간의 패턴에 대한 탐구이며, 형식을 갖추지 않고 말하자면 '그림과 수(figures and numbers)'에 대한 학문입니다. 수학은 실험에 근거를 둔 경험적 과학(empirical science)과는 구별되며, 모든 과학과 지능적 시스템을 구축하는 궁극의 정밀 도구(Universal Tool)로 간주됩니다." ... (Wikipedia : Mathematics)

Deep Research

4. Deep Research: 수학이 현대 AI 와 거대 언어모델(LLM)에 활용되는 핵심 원리

오늘날 챗GPT, 제미나이(Gemini), 클로드(Claude)와 같은 거대 언어모델(LLM)은 컴퓨터 코드 이전에 철저한 수학적 수식과 기하학적 매핑의 결정체입니다. 현대 AI를 지탱하는 5대 수학 분과의 역할을 심층 분석합니다.

1

선형대수학 (Linear Algebra): 공간과 변환

  • 고차원 토큰 임베딩 (Embedding Space): 단어를 4,096차원 또는 8,192차원의 연속적 실수 벡터 공간(Vector Space)으로 매핑하여 단어 간 의미적 거리와 코사인 유사도를 계산합니다.
  • Self-Attention 행렬 연산: Query(Q), Key(K), Value(V) 행렬의 곱셈과 소프트맥스 정규화를 통해 문맥 속 토큰 간의 상호 연관도를 병렬 계산합니다.
  • 저순위 적응 (LoRA, Low-Rank Adaptation): 거대 가중치 행렬을 랭크가 작은 두 행렬의 곱(W = B × A)으로 분해하여 99%의 파라미터를 절감하면서 효율적인 파인튜닝을 달성합니다.
2

다변수 미적분학 (Calculus): 학습의 역전파

  • 연쇄 법칙 (Chain Rule)과 역전파: 수백 개 신경망 레이어를 거슬러 올라가며 합성함수의 편미분(Partial Derivative)을 계산하여 각 가중치의 오차 기여도를 구합니다.
  • 기울기 벡터 (Gradient Vector): 다차원 손실 함수 공간에서 오차를 가장 빠르게 줄일 수 있는 반대 방향을 탐색합니다.
  • 확산 모델 (Diffusion SDEs): 이미지 생성 AI(Stable Diffusion 등)에서 노이즈 주입 및 복원 과정을 확률 미분방정식으로 정밀하게 제어합니다.
3

확률론 및 통계학: 자기회귀적 언어 생성

  • 조건부 확률과 결합 확률: LLM은 이전 단어들이 주어졌을 때 다음 단어가 등장할 조건부 확률 P(wt | w1, ..., wt-1)을 예측하는 확률 분포 모델입니다.
  • 샘플링 기법 (Temperature & Top-p): 소프트맥스 확률 분포를 온도 매개변수로 조절하여 창의성과 일관성을 제어합니다.
  • 쿨백-라이블러 발산 (KL-Divergence): 인간 피드백 강화학습(RLHF) 및 DPO에서 모델이 기본 지식을 망각하지 않도록 확률 분포의 이탈을 제어합니다.
4

정보 이론 & 최적화 (Information & Optimization)

  • 샤논 엔트로피 & 교차 엔트로피 (Cross-Entropy): 모델이 정답 단어를 예측할 때 발생하는 정보 손실의 양을 정량화하여 훈련 목표로 사용합니다.
  • 적응적 최적화기 (AdamW, Lion): 1차 도함수의 모멘텀과 2차 모멘트(RMS)를 결합하여 수천억 개의 파라미터를 안정적으로 수렴시킵니다.
  • 양자화 정밀도 최적화: 16비트 부동소수점을 4비트 정수로 압축하면서도 양자화 오차를 수치적으로 최소화(AWQ, GPTQ)합니다.
Visual Infographic

5. 인포그래픽: 거대 언어모델(LLM)의 수학적 파이프라인 구조도

자연어 텍스트 입력이 최종적인 지능적 답변으로 변환되는 전 과정은 수학의 각 분과가 긴밀히 결합된 거대한 수리적 파이프라인입니다.

[ INFOGRAPHIC ] 거대 언어모델(LLM)의 5단계 수학적 라이프사이클
1
토큰화 & 어휘 사전
이산수학 & 정보이론
BPE 알고리즘, 문자열 분할
2
고차원 벡터 매핑
선형대수학
임베딩 공간 ℝd, 위치 인코딩 (RoPE)
3
Self-Attention 변환
선형대수 & 기하학
Q, K, V 행렬곱, FlashAttention
4
오차 역전파 학습
다변수 미적분학
합성함수 연쇄 법칙, 자동 미분
5
확률적 다음 토큰 예측
확률론 & 통계학
Softmax, Top-p 샘플링
📐 현대 생성형 AI를 지탱하는 4대 수학적 기초 계층 (Hierarchical Layers)
응용 계층 (Applications) 추론 엔진(vLLM), Graph RAG, 사후 정렬(DPO/RLHF), 에이전트 추론
엔진 계층 (Algorithms) 트랜스포머 아키텍처, 역전파(Backprop), AdamW 수치 최적화
수리적 모델 계층 (Mathematical Models) 선형대수 텐서 공간, 다변수 미분 연쇄법칙, 베이즈 확률 분포
형식 기반 계층 (Foundations) 부울 명제논리, 튜링 기계 계산 가능성, 정보 엔트로피
추천 영상

6. 시각 학습: 신경망이란 무엇인가? 수학적 모델링의 본질 (3Blue1Brown)

인공 신경망이 어떻게 선형대수학의 행렬 연산과 미적분학의 활성화 함수를 통해 복잡한 패턴을 학습하는지 직관적으로 해설합니다.

Deep Learning Chapter 1

But what is a neural network? (3Blue1Brown)

YouTube에서 보기
핵심 연구 보고서

7. 대규모 언어 모델과 인공지능의 수학적 토대: 고차원 선형대수학부터 확률적 최적화 이론까지

현대 인공지능(AI)과 대규모 언어 모델(LLM)은 컴퓨터 공학적 구현체에 앞서 엄밀한 수학적 공리계 위에 구축된 연산 체계이다. 이산적인 자연어 기호를 연속적인 고차원 다양체(Manifold)로 매핑하는 것부터 수천억 개의 파라미터를 최적화하고 확률론적 텍스트를 생성하는 일련의 과정은 선형대수학, 다변수 미적분학, 확률론 및 통계학, 정보 이론, 그리고 미분기하학의 유기적 결합을 통해 완성된다. 본 연구 보고서는 현대 거대 언어 모델 아키텍처의 기저를 이루는 핵심 수학 이론과 그 수식 체계를 기능별로 심층 분석한다.

Part 1 • Linear Algebra & Tensor Spaces

1. 고차원 표현 공간과 선형대수학적 연산 체계

자연어를 기계가 연산 가능한 수치 텐서로 변환하고 토큰 간의 맥락적 상호작용을 계산하는 전 과정은 선형대수학의 벡터 공간 모델(Vector Space Model)과 행렬 대수학에 기반한다.

① 토큰 임베딩과 벡터 공간의 의미론적 사상

자연어 처리에서 어휘 집합(Vocabulary) V 내의 각 토큰은 초기 단계에서 직교 좌표계의 기저 벡터에 해당하는 고차원 원-핫 벡터(One-hot vector) ei ∈ {0, 1}|V|로 정의된다. 이러한 표현 체계에서는 임의의 서로 다른 두 단어 벡터의 내적이 ⟨ei, ej⟩ = 0 (i ≠ j)이 되어 의미론적 거리가 전혀 반영되지 못하는 직교 희소(Sparse) 공간이 형성된다.

임베딩 계층은 선형 변환 행렬 WE ∈ ℝ|V| × d를 결합하여 이산 기호를 d차원 연속 벡터 공간 ℝd (d ≪ |V|)의 밀집 벡터(Dense vector) xi로 정사영(Projection)한다:

xi = WET ei

이 사상을 통해 고차원 내적 공간이 형성되며, 단어 간의 의미적 유사도는 유클리드 노름(Euclidean Norm)과 코사인 유사도(Cosine Similarity)를 통해 위상수학적 거리로 환원된다:

Sim(xi, xj) = ⟨xi, xj⟩ / ( ||xi||2 ||xj||2 ) = cos θ

결과적으로 고차원 선형 부분 공간(Subspace) 내에서 단어 간의 관계는 평행이동과 회전 변환으로 표현되며, 단어 간의 유추 관계가 벡터 간의 선형 결합 형태로 보존되는 분산 표상(Distributed Representation)의 기하학적 특성을 확보한다.

② 트랜스포머 셀프 어텐션의 행렬 역학

트랜스포머 아키텍처의 셀프 어텐션 메커니즘은 입력 시퀀스 행렬 X ∈ ℝN × d를 선형 투영 행렬 WQ, WK, WV ∈ ℝd × dk를 통해 각각 쿼리(Query), 키(Key), 밸류(Value) 행렬로 사상하면서 구동된다:

Q = X WQ,    K = X WK,    V = X WV

스케일링 점곱 어텐션(Scaled Dot-Product Attention)의 연산식은 다음과 같이 정의된다:

Attention(Q, K, V) = softmax( (Q KT) / √dk ) V

여기서 √dk 스케일링 인자의 도입은 확률통계적 분산 보존을 위한 필수적 장치이다. Q와 K의 개별 원소들이 평균 0, 분산 1을 갖는 독립항등분포(i.i.d.)를 따른다고 가정할 때, 임의의 두 벡터의 점곱 Sij = qiT kj = ∑r=1dk qir kjr 의 기댓값과 분산은 다음과 같이 유도된다:

E[Sij] = ∑r=1dk E[qir kjr] = ∑r=1dk E[qir] E[kjr] = 0
Var(Sij) = ∑r=1dk Var(qir kjr) = ∑r=1dk ( E[qir2] E[kjr2] - (E[qir] E[kjr])2 ) = ∑r=1dk (1 × 1 - 0) = dk

차원 dk가 증가함에 따라 내적 값의 분산은 dk에 비례하여 팽창한다. 분산이 극대화된 큰 점수는 소프트맥스 함수를 입력의 극단 영역으로 밀어 넣어 특정 원소에만 확률 질량 1을 부여하고 나머지에는 0을 할당하는 포화(Saturation) 현상을 초래한다. 이는 미분 도함수를 0에 수렴하게 만들어 역전파 시 경사 소실(Gradient Vanishing)을 유발하므로, 분산의 성질 Var(c X) = c2 Var(X)에 따라 스케일링 인자 c = 1 / √dk를 곱해 분산을 1로 복원한다:

Var( Sij / √dk ) = [ 1 / (√dk)2 ] Var(Sij) = dk / dk = 1
③ 온라인 소프트맥스와 입출력 인지 연산 구조 (FlashAttention)

표준 어텐션은 크기 N × N의 중간 행렬을 전역 메모리(HBM)에 기록해야 하므로 O(N2)의 공간 복잡도와 심각한 메모리 대역폭 병목을 수반한다. 플래시어텐션(FlashAttention)은 수치해석적 점화식을 도입하여 연산 블록을 GPU 고속 온칩 SRAM에 타일링(Tiling)함으로써 이를 해결한다.

온라인 소프트맥스(Online Softmax)는 소프트맥스의 지수 스케일 불변성을 활용하여 블록 단위로 누적 통계량을 동적으로 갱신한다. 새로운 블록의 어텐션 점수 S(i)가 유입될 때, 국소 최댓값 m과 지수 정규화 합 ℓ은 다음 점화식으로 갱신된다:

m(i) = max( m(i-1), max(S(i)) )
ℓ(i) = ℓ(i-1) exp( m(i-1) - m(i) ) + ∑ exp( S(i) - m(i) )

이에 따라 축적되는 중간 출력 행렬 O(i)는 이전 블록의 결과를 새로운 최댓값 차이에 맞추어 재스케일링(Rescaling)하는 방식으로 합성된다:

O(i) = O(i-1) [ ℓ(i-1) exp( m(i-1) - m(i) ) / ℓ(i) ] + [ exp( S(i) - m(i) ) / ℓ(i) ] V(i)

이 대수적 점화식은 거대한 N × N 어텐션 맵을 메모리에 실제로 구체화(Materialize)하지 않고도 표준 소프트맥스와 동일한 연산 결과를 보장하며, 복잡도를 O(N)으로 축소시킨다.

④ 저순위 행렬 분해와 다중 헤드 잠재 어텐션 (MLA)

초장문 문맥 추론 시 키-밸류(KV) 캐시가 기하급수적으로 팽창하는 하드웨어 한계를 극복하기 위해 다중 헤드 잠재 어텐션(Multi-Head Latent Attention, MLA)은 행렬의 저순위 근사(Low-Rank Approximation)와 행렬 곱셈의 결합 법칙을 결합한다.

입력 벡터 ht ∈ ℝd에 대해 키와 밸류를 헤드별로 개별 생성하는 대신, 하향 정사영 행렬 WDKV ∈ ℝdc × d (dc ≪ nh dh)를 사용하여 저차원 잠재 벡터 ctKV ∈ ℝdc로 압축한다:

ctKV = WDKV ht

이후 상향 정사영 행렬 WUK ∈ ℝnh dh × dc 및 WUV ∈ ℝnh dh × dc를 통해 원래의 표현 차원으로 투영된다:

ktC = WUK ctKV,    vtC = WUV ctKV

추론 시점에는 ktC를 복원하여 저장하지 않고 잠재 벡터 ctKV만을 캐싱한다. 이때 어텐션 점수의 선형 대수적 전개는 행렬 결합 법칙에 의해 WUK를 쿼리 벡터 qt 측으로 흡수시키는 형태로 변환된다:

qtT kiC = qtT ( WUK ciKV ) = ( qtT WUK ) ciKV

다만 회전 위치 임베딩(RoPE)과 결합할 경우 위치 의존적 회전 행렬이 WUK 사이에 개입하여 결합 법칙을 통한 행렬 흡수가 차단된다. MLA는 이를 해결하기 위해 위치 정보를 전담하는 분리형 헤드(Decoupled RoPE)를 별도 구성하고, 의미론적 특징 부분에 대해서만 저순위 투영과 행렬 흡수를 수행하는 분할 대수 구조를 취한다.

Part 2 • Multivariable Calculus & Optimization

2. 다변수 미적분학과 손실 곡면의 최적화 역학

수천억 개의 매개변수를 훈련하는 과정은 고차원 유클리드 공간 상에서 비볼록(Non-convex) 손실 함수를 최소화하는 다변수 미적분학의 연속적 갱신 과정이다.

① 연쇄 법칙 기반 오차 역전파와 텐서 미분

다층 신경망에서 목적 함수 스칼라 L에 대한 가중치 텐서의 기울기는 미적분학의 합성 함수 미분법인 연쇄 법칙(Chain Rule)에 의해 계산된다. 임의의 완전 연결 계층 연산 Z = XW + b (X ∈ ℝB × din, W ∈ ℝdin × dout)에서 상위 계층으로부터 역전파된 손실 기울기 ∂L / ∂Z ∈ ℝB × dout가 주어졌을 때, 행렬 미분 공식에 따른 파라미터 및 입력에 대한 편도함수는 야코비안 수축(Jacobian Contraction)에 의해 다음과 같이 도출된다:

∂L / ∂W = XT ( ∂L / ∂Z ) ∈ ℝdin × dout
∂L / ∂X = ( ∂L / ∂Z ) WT ∈ ℝB × din

소프트맥스 함수 pi = exp(si) / ∑j exp(sj)에 대한 역전파는 출력 벡터가 입력 벡터의 모든 성분과 상호 결합되어 있으므로, 야코비안 행렬 J ∈ ℝ|V| × |V|의 형태로 전개된다:

∂pi / ∂sj = pi ( δij - pj )

여기서 δij는 크로네커 델타(Kronecker Delta)이다. 벡터-야코비안 곱(Vector-Jacobian Product)을 통해 로짓 벡터 s에 대한 손실의 미분값은 다음과 같이 정리된다:

∂L / ∂s = ( diag(p) - p pT ) ( ∂L / ∂p )
② 손실 곡면의 기하학적 곡률과 헤시안 역학

1차 편미분 벡터 ∇L(θ)가 손실 곡면의 국소적 경사 방향을 제시한다면, 공간의 곡률(Curvature) 구조는 2차 편도함수로 구성된 헤시안 행렬(Hessian Matrix) H ∈ ℝD × D에 의해 지배된다:

Hij = ∂2L / ( ∂θi ∂θj )

2차 테일러 전개(Taylor Expansion)에 따른 손실 함수의 국소 근사는 다음과 같다:

L(θ + Δθ) ≈ L(θ) + ∇L(θ)T Δθ + (1/2) ΔθT H Δθ

이상적인 2차 최적화인 뉴턴-랩슨(Newton-Raphson) 갱신은 Δθ = -H-1 ∇L(θ)로 주어지며 곡률의 이방성을 보정한다. 그러나 수백억 개 이상의 파라미터 환경에서 H의 역행렬을 계산하는 복잡도는 O(D3)에 달해 실시간 적용이 불가능하다.

최적화의 불안정성은 헤시안의 최대 고윳값과 최소 고윳값의 비로 정의되는 조건수(Condition Number) κ(H) = λmax / λmin 에 기인한다. κ(H) ≫ 1인 악조건(Ill-conditioned) 상태에서는 특정 축 방향의 곡률은 매우 가파른 반면 다른 축은 극도로 완만해져 1차 경사하강법이 계곡 벽면 사이에서 진동하며 수렴이 극단적으로 지연된다. 현대 옵티마이저들은 이러한 고차원 헤시안의 비등방성을 극복하기 위해 대각 성분만을 효율적으로 추정하여 학습률을 좌표별로 조정하는 대수적 우회로를 취한다.

Part 3 • Probability & Statistical Inference

3. 확률론적 생성 모델링과 통계적 추론 역학

대규모 언어 모델은 수학적으로 토큰들의 결합 확률 분포(Joint Probability Distribution)를 추정하는 고차원 확률 밀도 추정기이다.

① 자기회귀적 생성과 결합 확률 분포 분해

길이 T의 토큰 시퀀스 X = (x1, x2, ..., xT)에 대해 결합 확률 P(X)는 확률론의 곱셈 법칙(Chain Rule of Probability)에 의해 순방향 조건부 확률의 연쇄 곱으로 분해된다:

P(x1, x2, ..., xT) = ∏t=1T P(xt | x1, x2, ..., xt-1) = ∏t=1T P(xt | x<t)

트랜스포머의 최종 출력 계층은 이전 문맥 벡터 ht를 언임베딩 행렬 WU ∈ ℝ|V| × d에 투영하여 로짓 벡터 zt = WU ht를 산출하고, 소프트맥스 연산을 통해 이를 확률 심플렉스(Probability Simplex) Δ|V|-1 상의 이산 확률 분포로 매핑한다:

P(xt = wi | x<t) = exp( zt, i ) / ∑j=1|V| exp( zt, j )
② 확률 분포의 형태 제어와 이산 샘플링 동역학

추론 과정에서는 단순히 확률이 가장 높은 토큰만을 반복 선택하는 결정론적 방식에서 벗어나, 문맥의 엔트로피를 조절하고 무작위성을 부여하기 위한 확률 변환 메커니즘이 작동한다.

통계물리학의 정준 앙상블(Canonical Ensemble)에서 유래한 온도 스케일링(Temperature Scaling)은 로짓 벡터 z를 온도 파라미터 T > 0로 스케일링하여 볼츠만 분포를 형성한다. 온도가 0에 한없이 가까워질 때(T → 0) 확률 질량은 최대 로짓 위치로 완전히 붕괴하여 디랙 델타(Dirac-delta) 함수를 형성하며, 이는 결정론적인 탐욕 탐색(Greedy Search)과 수학적으로 일치한다. 반대로 온도가 무한대로 발산할 때(T → ∞) 모든 로짓 값의 상대적 격차는 완전히 상쇄되어 어휘 집합 전체에 걸친 이산 균등 분포(Discrete Uniform Distribution)로 수렴하고, 시스템의 엔트로피는 이론적 최댓값인 log |V|에 도달한다.

지수 꼬리(Long-tail)에 위치한 비문맥적 저확률 토큰의 추출을 차단하기 위해 분포를 자르는 절단 기법이 결합된다. 상위-k (Top-k) 샘플링은 가장 높은 확률을 갖는 k개의 토큰 집합 V(k) 외의 모든 확률 질량을 0으로 설정하고 남은 토큰들에 대해 합이 1이 되도록 재정규화한다. 반면 상위-p (Top-p 또는 Nucleus) 샘플링은 고정된 개수가 아닌 누적 확률 질량 함수(CDF)가 임계치 p ∈ (0, 1] 이상이 되는 최소 집합을 동적으로 구성한다:

V(p) = arg minV' ⊆ V { |V'| : ∑w ∈ V' P(w) ≥ p }

이는 모델이 다음 단어를 강하게 확신하는 문맥에서는 후보군을 자동으로 축소하고, 다의적 문맥에서는 후보군을 자연스럽게 확장하는 적응형 확률 필터로 작용한다.

Part 4 • Information Theory & Alignment

4. 정보 이론적 손실 함수와 선호도 정렬의 대수적 유도

언어 모델의 지도 학습 및 인간 선호도 정렬(Alignment)은 정보 이론의 핵심 측도인 샤논 엔트로피, 교차 엔트로피, 그리고 쿨백-라이블러 발산(Kullback-Leibler Divergence)의 최적화 체계 위에서 작동한다.

① 샤논 엔트로피, 교차 엔트로피 및 퍼플렉서티(PPL)

정보 이론에서 사건의 불확실성을 나타내는 자기 정보량(Self-information) -log P(x)의 기댓값은 샤논 엔트로피 H(P) = -∑x P(x) log P(x)로 정의된다. 데이터의 미지 분포 P와 모델이 추정하는 예측 분포 Q 사이의 부호화 불일치는 교차 엔트로피(Cross-Entropy)로 측정된다:

H(P, Q) = -∑x ∈ χ P(x) log Q(x) = H(P) + DKL( P || Q )

원-핫 형태로 정답 라벨이 주어지는 지도 학습 사전 훈련에서 교차 엔트로피는 모델의 음의 로그 우도(Negative Log-Likelihood, NLL)를 최소화하는 문제로 환원된다:

LCE(θ) = -(1/T) ∑t=1T log Pθ( xt* | x<t )

언어 모델의 예측 효율성을 대변하는 퍼플렉서티(Perplexity, PPL)는 교차 엔트로피 손실의 지수 함수로 정의된다:

PPL(X) = exp( LCE ) = [ ∏t=1T ( 1 / Pθ( xt* | x<t ) ) ]1/T

정보 기하학적 관점에서 퍼플렉서티는 모델이 다음 토큰을 선택할 때 마주하는 유효 경우의 수(Effective Branching Factor)를 의미하며, 확률 분포의 기하학적 체적(Volume)을 나타내는 척도로 기능한다.

② 선호도 최적화에서의 KL 발산 제약과 DPO 폐쇄형 해

인간 선호도 정렬을 위한 강화학습(RLHF) 환경에서 목적 함수는 보상 r(x, y)의 기댓값을 극대화하는 동시에, 최적화 정책 πθ가 기존의 참조 정책 πref로부터 과도하게 이탈하여 모델 붕괴가 일어나는 것을 방지해야 한다. 이를 위해 역방향 쿨백-라이블러(Reverse KL) 발산 정규화 항이 부과된다:

maxπ Ex ∼ D, y ∼ π(· | x) [ r(x, y) ] - β DKL( π(y | x) || πref(y | x) )

여기서 β는 정규화 강도를 통제하는 라그랑주 승수(Lagrange Multiplier) 역할을 수행한다. 이 제약 조건부 최적화 문제는 변분법(Calculus of Variations)을 통해 다음과 같은 최적 정책 π*의 폐쇄형(Closed-Form) 해를 가진다:

π*(y | x) = [ 1 / Z(x) ] πref(y | x) exp( (1/β) r(x, y) )

여기서 Z(x) = ∑y πref(y | x) exp( (1/β) r(x, y) )는 전체 출력 공간에 대한 정규화 분배 함수(Partition Function)이다. 이 최적 정책 식의 양변에 로그를 취하고 대수적으로 재배열하면, 내재적 보상 r(x, y)를 최적 정책과 참조 정책의 로그 확률 비로 완벽히 치환할 수 있다:

r(x, y) = β log [ π*(y | x) / πref(y | x) ] + β log Z(x)

직접 선호도 최적화(Direct Preference Optimization, DPO)는 이 수식을 브래들리-테리(Bradley-Terry) 선호도 확률 모델 P(yw ≻ yl | x) = σ( r(x, yw) - r(x, yl) ) 에 직접 대입한다. 그 결과 계산 불가능한 분배 함수 항 β log Z(x)가 상쇄되어 완전히 소거된다:

r(x, yw) - r(x, yl) = β log [ π*(yw | x) / πref(yw | x) ] - β log [ π*(yl | x) / πref(yl | x) ]

이 대수적 소거를 통해 복잡한 보상 모델 학습 및 정책 경사하강법(PPO) 롤아웃 과정을 건너뛰고, 선호 데이터셋에 대해 직접적인 지도 학습 형태의 이항 교차 엔트로피 손실 함수를 유도해 낸다:

LDPO(θ; πref) = -E(x, yw, yl) ∼ D [ log σ( β log [ πθ(yw | x) / πref(yw | x) ] - β log [ πθ(yl | x) / πref(yl | x) ] ) ]

이 해법은 정보 이론적 정규화 제약이 어떻게 복잡한 동적 강화학습 문제를 단순화된 해석적 최적화 문제로 전환시킬 수 있는지를 보여주는 전형적인 사례이다.

Part 5 • Geometry & Advanced Optimization

5. 기하학적 정규화와 고급 최적화 수식 체계

최근의 초거대 언어 모델은 직교군(Orthogonal Group), 복소 평면, 리만 기하학의 불변성 원리를 모델 아키텍처 및 파라미터 최적화기에 결합하고 있다.

① 복소 평면 등거리 변환과 회전 위치 임베딩(RoPE)

기존의 트랜스포머가 채택했던 절대 위치 인코딩은 임베딩 벡터에 위치 벡터를 단순히 더하는(x + p) 가산 방식을 취하여 토큰 간의 상대적 거리 변화를 내적 공간에 온전히 보존하지 못했다. 회전 위치 임베딩(Rotary Position Embedding, RoPE)은 2차원 부분 공간 단위로 복소 평면의 회전 변환을 적용하여 상대 위치 의존성을 보존한다.

2차원 벡터 x = (x(1), x(2))T ∈ ℝ2를 복소수 z = x(1) + i x(2) ∈ ℂ로 표현할 때, 위치 m에서의 회전은 복소 지수 exp(i m θ)를 곱하는 등거리 변환(Isometry)에 해당한다:

RΘ, m(2) x = [ cos(mθ)   -sin(mθ) ;   sin(mθ)   cos(mθ) ] [ x(1) ; x(2) ] ≡ z exp(i m θ)

이를 d차원 공간 전체로 확장하면 SO(2)d/2 리 군(Lie Group)의 직교 직합 블록 대각 행렬(Orthogonal Block-Diagonal Matrix) RΘ, md이 형성된다:

RΘ, md = diag( Rθ1, m(2), Rθ2, m(2), ..., Rθd/2, m(2) ),    θi = 10000-2(i-1)/d

위치 m의 쿼리 q와 위치 n의 키 k 사이의 어텐션 스코어 내적은 복소수 내적의 성질에 의해 다음과 같이 정리된다:

⟨ RΘ, md q,   RΘ, nd k ⟩ = Re ∑j=1d/2 ( qj exp(i m θj) ) ( kj exp(i n θj) )*
= Re ∑j=1d/2 qj kj* exp(i (m - n)θj) = g(q, k, m - n)

이 연산은 벡터 자체의 노름을 완벽히 보존하면서 내적의 결과를 절대 위치 m, n이 아닌 상대적 거리 변위 (m - n)에 의존하는 주기적 조화 함수로 변환함으로써, 긴 문맥에 대한 외삽(Extrapolation) 능력을 보장한다.

② 초구면 사상과 RMSNorm의 척도 불변성

전통적인 계층 정규화(LayerNorm)는 활성화 벡터의 평균을 0으로 맞추는 중심화(Mean-Centering)와 분산 정규화를 동시에 수행한다. 그러나 신경망의 학습 안정성을 부여하는 핵심 수학적 원리는 이동(Shift) 불변성이 아니라 크기(Scale) 불변성임이 밝혀지면서, 평균 중심화를 제거한 RMSNorm(Root Mean Square Normalization)이 현대 LLM의 표준으로 자리잡았다:

RMSNorm(x) = [ x / RMS(x) ] ⊙ γ,    RMS(x) = √( (1/d) ∑i=1d xi2 + ε )

기하학적 관점에서 RMSNorm은 입력 벡터 x의 크기를 소거하고 반경이 √d인 고차원 초구면(Hypersphere) 표면 { u ∈ ℝd : ||u||2 = √d } 위로 정사영하는 등각 변환이다. 이는 임의의 양의 척도 인자 α > 0에 대해 RMSNorm(α x) = RMSNorm(x)를 만족하는 척도 불변성을 가지므로 순방향 활성화 값의 발산을 방지하고 역방향 기울기의 크기를 안정화시킨다. 또한 평균 계산과 뺄셈에 수반되는 두 번의 전역 메모리 동기화(All-Reduce) 과정을 생략하여 계산 지연 시간을 유의미하게 단축한다.

③ 2차 곡률 근사와 모멘텀 분리: Adam과 AdamW

현대 대규모 언어 모델의 훈련에 전면적으로 활용되는 Adam 및 AdamW 최적화 알고리즘은 확률적 기울기(Stochastic Gradient)의 1차 모멘트(방향성 평균)와 2차 모멘트(비중심 분산)를 지수 이동 평균(EMA)으로 추적한다. 매 타임스텝 t에서 손실 함수의 그래디언트 gt = ∇θ Lt(θt-1)가 유입될 때 모멘텀 통계량은 다음과 같이 갱신된다:

mt = β1 mt-1 + (1 - β1) gt,    vt = β2 vt-1 + (1 - β2) gt2

초기화 단계에서 m0 = 0, v0 = 0으로 인해 0 쪽으로 강하게 편향되는 현상을 수학적으로 보정하기 위해 비편향 추정량(Bias-corrected Estimators)을 계산한다:

m̂t = mt / ( 1 - β1t ),    v̂t = vt / ( 1 - β2t )

기존 Adam에 L2 가중치 규제 항 (1/2)λ ||θ||2를 목적 함수에 통합할 경우, 파라미터 감쇄 기울기 λθ가 2차 모멘텀 vt의 누적 연산에 왜곡을 일으킨다. 이에 따라 그래디언트가 큰 파라미터는 오히려 덜 감쇄되고 그래디언트가 작은 파라미터는 과도하게 감쇄되는 문제가 발생한다.

AdamW는 가중치 감쇄(Weight Decay) 연산을 적응형 학습률 스케일링으로부터 완전히 분리(Decoupling)하여 독립적으로 수행한다:

θt = θt-1 - ηt [ m̂t / ( √v̂t + ε ) + λ θt-1 ]

여기서 분모의 1 / ( √v̂t + ε ) 성분은 앞서 언급된 고비용 헤시안 행렬의 대각 성분에 대한 역수 근사 diag(H)-1/2로 기능한다. 즉, 곡률이 가파른 축에서는 보폭을 억제하고 곡률이 완만한 축에서는 보폭을 확장하는 좌표별 준-뉴턴(Quasi-Newton) 프리컨디셔너(Preconditioner)의 역할을 수행하여 비등방성 협곡 지형에서도 안정적인 수렴을 유도한다.

Part 6 • Comparative Synthesis Table

6. 수학 이론과 LLM 아키텍처 구성 요소의 비교 분석

인공지능 및 거대 언어 모델 시스템의 핵심 모듈들이 어떠한 수학적 원리를 기반으로 하드웨어 제약 및 모델 표현력을 최적화하는지 종합적으로 비교하면 아래 표와 같다.

아키텍처 구성 요소 핵심 수학 도구 주요 공식 및 대수적 메커니즘 모델 내 기능적 및 기하학적 목적
토큰 임베딩 선형대수학
(벡터 공간, 내적)
x = WET ei,
cos θ = ⟨xi, xj⟩ / (||xi|| ||xj||)
이산 기호를 연속적인 고차원 내적 공간 다양체로 매핑하여 의미적 유사도 거리화
스케일드 어텐션 확률통계학,
행렬 대수
softmax( (QKT)/√dk ) V,
Var(qTk) = dk
차원 팽창에 따른 점곱 분산 확산 억제 및 소프트맥스 포화에 의한 경사 소실 방지
플래시어텐션 수치해석,
점화식 대수
m(i) = max(m(i-1), si),
ℓ(i) = ℓ(i-1)eΔm + esi-m
지수 스케일 불변성을 활용한 온칩 SRAM 타일링 및 O(N) 메모리 입출력 최적화
잠재 어텐션 (MLA) 저순위 행렬 분해,
결합 법칙
cKV = WDKVh,
qT(WUKc) = (qTWUK)c
행렬 결합 법칙을 통한 상향 투영 행렬 흡수 및 추론 시 KV 캐시 메모리 압축
오차 역전파 다변수 미적분학
(연쇄 법칙)
∂L/∂W = XT(∂L/∂Z),
Jij = ∂pi/∂sj
야코비안 텐서 수축을 통한 다층 복합 함수의 가중치 그래디언트 역방향 전달
디코딩 제어 통계물리학,
측도론
PT(wi) ∝ exp(zi/T),
∑w ∈ V(p) P(w) ≥ p
볼츠만 분포 엔트로피 조절 및 롱테일 누적 확률 질량 임계 절단
선호도 정렬 (DPO) 정보 이론,
변분법
LDPO = -log σ( β log [πθ(yw)/πref(yw)] - β log [πθ(yl)/πref(yl)] ) 역방향 KL 제약하의 닫힌 해 도출을 통한 정규화 분배 함수 Z(x) 상쇄 소거
회전 임베딩 (RoPE) 미분기하학,
복소해석학
RΘ, m x ≡ z ei m θ,
⟨Rmq, Rnk⟩ = g(q, k, m-n)
SO(2)d/2 직교 회전 군을 통한 벡터 노름 보존 및 상대적 거리 내적 인코딩
RMSNorm 리만 기하학,
척도 불변성
RMSNorm(x) = [ x / √((1/d)∑xi2+ε) ] ⊙ γ 반경 √d 초구면 투영을 통한 활성화 노름 구속 및 평균 연산 병목 제거
AdamW 2차 최적화 근사,
지수 평균
θt = θt-1 - ηt [ m̂t / (√v̂t + ε) + λ θt-1 ] 대각 헤시안 역수 근사를 통한 비등방 곡률 보정 및 가중치 감쇄 분리 최적화

7. 결론 (Conclusion)

대규모 언어 모델의 발전사는 컴퓨터 연산 장치의 한계를 극복하기 위해 순수 수학적 정리를 정교한 공학 알고리즘으로 치환해 온 과정과 궤를 같이한다.

이산 기호의 의미적 공간화는 선형대수학의 고차원 벡터 공간 이론을 통해 성립되었으며, 어텐션의 분산 팽창 문제는 확률통계적 스케일링 인자 유도로 해소되었다. 메모리 대역폭의 한계는 소프트맥스의 대수적 스케일 불변성에 기반한 온라인 타일링(플래시어텐션)과 저순위 근사 행렬 흡수(MLA)를 통해 극복되었다. 고차원 비볼록 손실 곡면 상에서의 훈련은 미적분학의 연쇄 법칙과 헤시안 곡률의 2차 모멘트 근사를 통해 비등방성을 제어하며 수렴성을 확보한다. 마지막으로 복소 평면의 회전군을 이용한 기하학적 위치 부호화(RoPE)와 초구면 정사영(RMSNorm), 그리고 쿨백-라이블러 발산의 폐쇄형 변환을 통한 선호도 최적화(DPO)는 언어 모델이 안정적이고 긴 문맥을 추론하며 인간의 의도에 정합할 수 있는 수학적 토대를 제공한다.

향후 기초 모델 연구가 대규모 추론과 물리적 연속계 모델링으로 확장됨에 따라, 고차원 비유클리드 미분기하학, 변분 추론, 그리고 2차 준-뉴턴 최적화 이론은 차세대 파운데이션 모델의 효율성과 일반화 역량을 결정짓는 핵심적인 수학적 규범으로 지속 작용할 것이다.