"모든 조건이 동일하다면, 가장 단순한 설명이 가장 옳다." 중세 스콜라 철학자 윌리엄 오브 오캄에서 시작되어 근대 과학혁명의 나침반이 되었으며, 머신러닝의 과적합(Overfitting) 방지 정규화부터 현대 거대 언어 모델(LLM)의 프롬프트 압축, 가중치 프루닝, 과잉 추론(Overthinking) 제어까지 지배하는 지능 시스템의 영원한 황금률입니다.
💡 "Plurality should not be posited without necessity" — 필요 이상으로 복잡한 가정을 세우지 마라
"모든 것이 똑같은 조건일 때, 가장 쉬운 설명이 가장 옳은 것이다."
"어떤 현상을 설명할 때 불필요한 가정을 하지 마라."
"같은 현상을 설명하는 두 개의 주장이 있다면 간단한 쪽을 선택하라."
'불필요하게 복잡한 것을 제시해서는 안 된다 (plurality should not be posited without necessity / Entia non sunt multiplicanda praeter necessitatem).'
이것은 중세 영국의 철학자이자 프란체스코 수도원의 수도사였던 윌리엄 오브 오캄 (William of Ockham, ca. 1285-1349) 의 유명한 격언입니다.
프란체스코 수도회의 다른 많은 수도사처럼, 윌리엄은 청빈주의자(minimalist)로서 물질적 욕심을 비우고 청빈을 실천하는 인생을 보냈습니다. 그는 성 프란체스코처럼 교회의 다양한 부패와 교리 문제에 대해 교황과 날카로운 논쟁을 벌였습니다. 결국 윌리엄은 교황 요한 22세에 의해 파문당했으나, 이에 굴하지 않고 교황 요한이 오히려 이단이라는 반박 논문을 집필하여 맞섰습니다.
중세 철학의 일반적인 사유 원리였던 이 '면도날' 격언은 엄밀히 윌리엄 오브 오캄이 처음 발명해 낸 것은 아니었습니다. 그러나 윌리엄이 철학적, 신학적 논쟁에서 번잡한 개념들을 베어내는 데 이 원리를 워낙 빈번하고 날카롭게 사용했기 때문에 후세 사람들이 그의 이름을 영원히 붙이게 되었습니다.
오캄의 면도칼은 과학철학에서 '절약의 원리 (Principle of Parsimony)' 라고도 불립니다. 현대 학계에서는 '설명은 단순한 것일수록 뛰어나다', '불필요한 가정을 늘이지 마라' 등의 의미로 확고히 해석되고 있습니다.
오캄의 면도날은 존재론(Ontology)의 영역을 넘어 과학적 탐구의 전 영역에서 핵심 가설 선택 도구로 쓰입니다. 예를 들어, 과학철학자들은 비슷한 정도로 정확해 보이는 가설이 여러 개 있을 경우, 가장 적합하고 검증 가능한 가설을 골라내는 데 오캄의 면도날을 적용합니다. 무언가를 설명하기 위해 가정을 세울 때, 불필요하게 복잡한 부가 가정을 세워서는 안 됩니다.
폰 데니켄의 주장처럼 외계 생명체가 고대 지구인에게 피라미드 건축이나 예술 기술을 가르쳐 주었을지도 모릅니다. 그러나 고대인의 건축술과 유물은 인간 자신의 지혜와 노동력만으로도 충분히 설명 가능합니다. 설명에 불필요한 외계인의 존재라는 거대하고 검증 불가능한 가정을 끼워 넣을 이유가 전혀 없습니다.
우주 공간에서 빛이 전달되는 과정을 설명하기 위해 19세기 물리학자들은 '에테르'라는 가상 매질을 상정했습니다. 그러나 아인슈타인의 특수 상대성 이론은 에테르라는 가정을 전혀 도입하지 않고도 진공 속의 빛 전파를 완벽히 수학적으로 설명해 냈습니다. 결국 근거가 희박하고 불필요한 에테르 가설은 면도날에 의해 과학사에서 영구히 잘려나갔습니다.
— 출처: 오캄의 면도날 : Skeptic's Dictionary
머신러닝에서 오캄의 면도날은 단순한 철학적 격언이 아니라, 모델의 일반화 성능을 보장하는 가장 엄밀한 수학적 토대(Mathematical Foundation)입니다. 데이터를 설명할 수 있는 모델이 무수히 많다면, 가장 적은 파라미터를 사용하고 가장 단순한 함수를 선택해야 미래의 새로운 데이터(Test Data)에서 오차가 적습니다.
모델이 지나치게 복잡하면 훈련 데이터의 사소한 노이즈까지 암기하여 분산(Variance)이 폭발하는 과적합(Overfitting)이 일어납니다. 오캄의 면도날은 적절한 단순성을 유지하여 분산을 억제하고 일반화 오차를 최소화합니다.
손실 함수(Loss)에 가중치의 크기에 비례하는 벌점(Penalty)을 추가하여, 불필요하게 복잡한 파라미터를 0으로 수렴시키거나 크기를 억제함으로써 알고리즘 내에서 자동으로 면도날 가지치기를 수행합니다.
정보 이론과 솔로모노프 귀납법(Solomonoff Induction)에 기반한 원리로, "데이터를 완벽히 기술하는 모델의 길이와 데이터의 오차를 기술하는 코드 길이의 합이 가장 짧은 가설이 최선"이라는 정량적 면도날 기준입니다.
베이즈 추론에서 파라미터가 너무 많은 복잡한 모델은 가능한 모든 결과에 사전 확률을 얇게 분산시키므로, 실제 관측 데이터에 대한 한계 우도(Marginal Likelihood)가 낮아져 자연스럽게 탈락합니다.
L1/L2 페널티를 손실 함수에 부과하여 과도하게 큰 가중치를 제거하고 단순한 선형·비선형 결정 경계 형성.
신경망에서 출력에 영향이 미미한 가중치와 어텐션 헤드를 물리적으로 잘라내어 희소 네트워크(Sparse Net) 구축.
콜모고로프 복잡도 관점에서 데이터를 생성하는 '가장 짧은 프로그램 코드'를 최적의 모델로 선택.
파라미터가 불필요하게 넓은 모델에 자동으로 확률적 불이익을 주어 절약적 모델을 우대하는 수학적 자동 면도날.
수천억 파라미터 블랙박스를 다루는 최전선: "미니멀리스트 프롬프트", "가중치 프루닝", "과잉 추론(Overthinking) 제어", 그리고 "RAG 그라운딩"
많은 초보 프롬프트 작성자들이 LLM의 성능을 높이려고 장황한 페르소나 설정, 수십 개의 부정문, 복잡한 예시를 덕지덕지 붙입니다. 그러나 트랜스포머의 어텐션 메커니즘은 토큰 수가 늘어날수록 핵심 신호에 대한 집중력이 희석(Lost-in-the-Middle)되며, 이는 오히려 환각과 지시 불이행을 초래합니다.
최신 엔터프라이즈 LLM 아키텍처에서는 오캄의 면도날을 적용하여 불필요한 수식어를 과감히 잘라내고, 정확한 동사, 엄격한 제약조건, 필수 컨텍스트만 남기는 프롬프트 압축(Selective Context Pruning)을 통해 응답 지연(Latency)을 줄이고 정답률을 극대화합니다.
70B, 405B에 달하는 초거대 신경망의 수천억 개 가중치 중 실제 추론에 핵심적으로 기여하는 파라미터는 일부에 불과하다는 것이 복권 가설(Lottery Ticket Hypothesis)로 입증되었습니다.
OpenAI o1, DeepSeek-R1과 같은 추론 특화 LLM은 보이지 않는 긴 사고 사슬(Chain-of-Thought)을 생성하며 스스로 검증합니다. 그러나 이 과정에서 모델이 간단한 상식이나 사소한 산수 문제에도 불필요하게 수천 토큰을 소비하며 사유의 공회전(Overthinking)에 빠지는 치명적인 부작용이 발생합니다.
최신 강화학습 정렬(RLVR / DPO)에서는 오캄의 면도날 원리를 손실 함수에 직접 반영하여, "동일한 정답을 도출한다면 더 짧고 명확한 추론 경로를 거친 CoT에 더 높은 보상(Reward)을 부여"함으로써 불필요한 추론 토큰 낭비를 절제시킵니다.
LLM이 사실과 다른 허위 정보를 생성하는 주원인은, 주어진 사실 외에 검증되지 않은 사변적 가설이나 불필요한 배경 지식을 멋대로 끌어다 붙이기 때문입니다(폰 데니켄 외계인 가설과 동일한 오류).
RAG(검색 증강 생성) 시스템에 적용된 오캄의 원칙은 모델에게 다음과 같이 명령합니다: "제공된 검색 문서에 명시되지 않은 외부 가정을 일체 배제하라. 질문에 답하기 위한 최소한의 사실만으로 직결된 답변을 구성하라." 이를 통해 엔터프라이즈 AI의 사실 정합성을 99% 이상으로 유지합니다.
| 적용 단계 | 면도날이 제거하는 불필요한 복잡성 | 오캄의 면도날 적용 후 최적 결과 |
|---|---|---|
| 1. 프롬프트 설계 | 장황한 수식어, 불필요한 페르소나, 중복 지시문 | 간결한 행동 중심 지침, 핵심 제약만 남겨 정확도 향상 |
| 2. 모델 서빙·배포 | 수천억 파라미터의 비활성 뉴런과 부동소수점 오버헤드 | INT4/FP8 양자화 및 지식 증류를 통한 고효율 SLM |
| 3. CoT 다단계 추론 | 간단한 연산에서의 수천 토큰 과잉 생각(Overthinking) | 최단 경로 추론 유도, 토큰 비용 절감 및 속도 개선 |
| 4. RAG 지식 검색 | 검증되지 않은 외부 상식 개입 및 사변적 외삽 | 검색된 증거에만 100% 입각한 엄밀한 그라운딩(비환각) |
| 5. 자율 에이전트 | 단순 질의에 대한 10단계 이상의 불필요한 도구 호출 루프 | 최소한의 API 호출로 즉각 목표를 완수하는 절약적 계획 |
DevMento 안명호 대표(MHR)의 전문 해설을 통해 머신러닝 모델의 복잡도 제어와 오컴의 면도날 원리를 확인하세요.
채널: DevMento | 강사: 안명호 MHR 대표 (2017/04/20)