지식표현 (Knowledge Representation)
지식표현(Knowledge Representation, KR)이란 지식(Knowledge)을 컴퓨터와 사람이 동시에 이해하고 다룰 수 있는 형태로 정형화하여 나타내는 것을 말합니다. 합목적적(목적 달성에 부합)인 구조를 가져야 할 뿐만 아니라 추론의 효율성, 지식 획득의 용이성, 저장의 간결성, 표현의 정확성 및 다양성을 갖추어야 합니다. 과거 전문가 시스템에서는 기호 논리와 IF-THEN 규칙, 프레임 등 이산적 형식 체계로 표현되었으며, 현대 거대언어모델(LLM)에서는 수천 차원의 연속형 잠재 벡터 공간(Latent Space)과 피드포워드 신경망(FFN)의 키-값 메모리, 그리고 인-컨텍스트 어텐션 메커니즘을 통해 혁명적으로 진화했습니다.
문서 내 바로가기 목차 (Table of Contents)
1. 지식표현의 정의와 5대 역할 (Randall Davis & Marvin Minsky)
지식 표현방법은 인간의 일상언어(자연언어)와 컴퓨터언어의 표현구조 사이의 어느 중간에서 타협점을 결정하게 됩니다. 만약 인간의 언어, 즉 자연언어로만 표현한다면 컴퓨터의 처리가 불완전하여 구현이 어렵고, 반면 컴퓨터의 입장에서 알고리즘과 저급 자료구조로만 표현하면 인간이 이해하거나 수정하기가 불가능하기 때문입니다. 이러한 중간 절충안으로 과거에는 규칙이나 프레임, 의미망, 그래프, 전치논리 형태가 개발되었으며, 이를 위한 전용 언어로 LISP, PROLOG 등이 탄생했습니다. 즉, 지식을 책을 집필하듯 서술적으로 나타내기보다는 구조화와 체계화를 이루어야 컴퓨터에 의해 효율적으로 구현·추론·검색될 수 있습니다.
랜달 데이비스(Randall Davis, MIT) 교수가 정의한 지식표현의 5대 역할 (Roles of KR)
Classic Theory- 지식표현은 대용물(Surrogate)이다: 실세계 객체와 현상을 기계 내부에서 대리하는 표상입니다. 불완전한 대용물은 필연적으로 불완전한 추론을 야기합니다.
- 지식표현은 일련의 존재론적 약속(Ontological Commitments)이다: 세상의 수많은 측면 중 무엇에 초점을 맞추고 무엇을 무시할 것인지에 대한 설계적 결단입니다. 지식표현은 단순한 자료구조가 아닙니다.
- 지식표현은 지능적 추론의 단편적인 이론(Fragmentary Theory of Intelligent Reasoning)이다: 어떤 추론 단계가 타당한지를 규정하는 암묵적 규칙 체계입니다.
- 지식표현은 효율적인 계산(Computation)을 위한 매개체이다: 방대한 탐색 공간을 줄이고 기계가 감당 가능한 시간 내에 계산할 수 있도록 돕는 도구입니다.
- 지식표현은 인간 표현의 수단(Medium of Human Expression)이다: 지식공학자와 전문가가 지식을 쉽게 기술하고 해석할 수 있는 소통의 도구입니다.
마빈 민스키(Marvin Minsky, MIT AI Lab 창립자)의 다중 표상론
"1960, 1970년대에는 학생들이 흔히 '어떤 종류의 표현이 최선입니까?'라고 물었고 나는 연구가 더 필요하다고 답하곤 했다. 그러나 지금은 이렇게 답한다. '실제로 어려운 문제를 풀기 위해서는 몇 개의 다른 종류의 표현을 동시에 사용해야 한다.' 각각의 독특한 자료구조들은 자신들만의 장점과 단점을 가지고 있으며, 그 어떤 단일 표현도 소위 '상식'에 포함되어 있는 다양한 기능들을 충족시키기에는 불충분하기 때문이다." — Marvin Minsky
2. 전통적 지식표현의 3대 난점, 4대 요구조건, 5대 표현방법
- 실세계의 대부분의 문제들은 지식으로 표현하기에는 너무나 방대한 양의 정보를 가진 경우가 많다.
- 인간이 가진 미묘하고 애매모호한 지식을 기호로 정확하게 표현하기 극도로 어렵다.
- 대부분의 지식은 정적인 경우보다 동적인 경우가 많아 상황과 맥락에 따라 시시각각 변화한다.
-
지식표현의 정확성: 해당 문제에 있어서 객체(Object) 간의 상관관계를 정확하게 표현해야 합니다. 그러나 컴퓨터의 특성상 너무 상세한 표현은 지식표현이 용이하지 않기 때문에 지식표현의 정도(Level)가 문제가 됩니다. 즉 어느 정도 상세히, 정확하게 표현할 것인가의 문제입니다.
예시: "I love you very much" 를 Prolog로 표현할 때
• Low level:love(I, you);(객체가 적어 추론이 용이하고 메모리가 절약되지만 세부 표현이 어렵고 자연어 변환 노력 증가)
• High level:love(I, you, very_much);(더 풍부하지만 매칭 규칙 복잡도 증가) - 추론(Inference)의 정확성: 지식베이스에 저장된 사실(Fact)로부터 새로운 사실을 올바르게 유도하는 것으로, 문제의 성격에 따라 전향(Forward), 후향(Backward), 혼합(Hybrid) 추론 중에서 최적을 선택하여 정확한 결론에 도달할 수 있도록 지식을 표현해야 합니다.
- 지식 획득 및 관리의 효용성: 새로운 사실을 쉽게 삽입, 수정, 삭제(CRUD)할 수 있어야 합니다. 이를 위해 사용자가 직접 지식베이스에 접근하거나 프로그램 스스로 지식의 획득을 조정·통제할 수 있어야 합니다.
- 추론의 효용성: 추론 기법을 최적의 방향으로 이끌기 위해 사용되는 특정한 메타 정보와 지식구조를 긴밀하게 결합시키는 능력입니다.
1. 논리 (Logic)
명제 논리와 1차 술어 논리를 활용하여 엄밀한 참/거짓 연역 체계 구축. (Prolog 언어)
2. 의미망 (Semantic Network)
개념을 노드로, 개념 간의 관계(IS-A, HAS-A)를 링크로 연결한 그래프형 연상 기억망.
3. 프레임 (Frame)
슬롯(Slot)과 값(Value)으로 사물과 상황의 전형적 속성을 묶은 객체지향(Object-Oriented) 표상.
4. 생성규칙 (Production Rule)
IF <조건> THEN <행동/결론> 형태의 선언적 지식과 조건부 인과관계 표상.
5. 합성 (Hybrid)
규칙(Rule)과 객체지향 프레임(Frame)을 결합하여 복합적인 문제 해결을 도모하는 혼합형 체계.
3. 과거 전문가시스템의 KR vs 최신 LLM의 KR 심층 비교
기호주의 전문가 시스템의 이산적 기호 조작(Discrete Symbolic Manipulation)과 트랜스포머 기반 LLM의 고차원 연속 잠재 기하학(Continuous Latent Geometry)의 근본적인 차이점 분석
| 비교 차원 | 과거 전문가 시스템의 KR (Symbolic AI) | 최신 LLM의 KR (Connectionist & Latent Geometry) |
|---|---|---|
| 기본 표상 단위 | 이산적 기호(Discrete Symbols), 명제, IF-THEN 규칙, 슬롯 | 수천 차원의 연속 밀집 벡터(Dense Vector Embeddings) 및 가중치 |
| 지식 저장 매체 | 지식 베이스(KB) 파일, 텍스트 형태의 룰베이스 | 트랜스포머 FFN 계층(키-값 메모리) 및 어텐션 가중치 매개변수 |
| 의미론(Semantics) 구현 | 사전 정의된 온톨로지 링크(IS-A, CAUSES 등 명시적 레이블) | 잠재 기하학적 공간에서의 거리와 각도(코사인 유사도, 벡터 연산) |
| 모호성 및 다의성 처리 | 극도로 취약함; 모호한 지식은 규칙 충돌과 오작동 유발 | 문맥(Context)에 따라 단어 벡터가 동적으로 회전하여 다의성 자연 흡수 |
| 추론 메커니즘 | 결정론적 논리 연역 (전향/후향 체이닝, Rete 매칭) | 조건부 확률 분포 생성 및 인-컨텍스트 어텐션 활성화 흐름 |
| 설명 가능성 (XAI) | 100% 투명한 규칙 발화 경로(Trace) 및 Why/How 역추적 | 블랙박스 가중치; 사후 설명(CoT)의 환각 위험 및 해석학적 프로빙 필요 |
4. 최신 LLM에서 Knowledge Representation(지식표현)이 '정말 중요한' 이유
단순히 파라미터 수가 많다고 지능이 생기는 것이 아닙니다. 신경망 가중치와 활성화 공간 내부에서 지식이 어떻게 기하학적으로 표상되는가는 LLM의 추론력, 안전성, 지식 편집의 성패를 가릅니다.
1) 선형 표상 가설(Linear Representation Hypothesis)과 모델 조향(Steering)
최신 메커니즘 해석가능성(Mechanistic Interpretability) 연구(Anthropic의 딕셔너리 러닝, 표현 엔지니어링 등)에 따르면, LLM의 잔차 스트림(Residual Stream) 내부에서 수많은 고차원 개념(예: '진실성', '거짓말', '친절함', '특정 인물')이 단일한 선형 방향 벡터(Concept Direction Vector)로 표상됩니다. 모델 내부의 지식표현을 정확히 파악해야만 모델이 거짓말을 하려 할 때 해당 벡터를 억제하여 환각을 제어하거나 안전한 답변을 유도하는 '모델 조향(Activation Steering)'이 가능해집니다.
2) 국소적 지식 편집(Knowledge Editing)과 팩트 업데이트의 열쇠
"영국의 총리는 누구인가?"와 같은 팩트 지식은 선거 결과에 따라 바뀝니다. 모델 전체를 수조 원을 들여 재학습하지 않고 "Boris Johnson → Keir Starmer"로 수정하기 위해서는(ROME, MEMIT 알고리즘 등), 해당 팩트가 트랜스포머의 어느 계층 FFN에 어떤 키-값 쌍으로 표상되어 있는지를 역추적할 수 있어야 합니다. 즉, 지식표현 메커니즘 규명이 유지보수의 핵심입니다.
3) 다단계 복합 추론(Reasoning)과 사고의 사슬(Chain-of-Thought) 형성
지식이 단순 암기 형태가 아니라 개념 간의 인과적·논리적 관계망으로 표상되어 있어야만, LLM은 중간 추론 단계(CoT)를 전개하며 복잡한 수학 증명이나 법률 유권해석을 해결할 수 있습니다. 지식표현의 체계성이 결여된 모델은 단편적 토큰 확률만 반복할 뿐 진정한 추론에 이르지 못합니다.
5. LLM에서의 핵심 Knowledge Representation(지식표현) 4대 방식
현대 트랜스포머 아키텍처와 엔터프라이즈 AI 시스템에서 지식을 부호화하고 표상하는 4가지 최첨단 기술 방식
LLM의 핵심 지식표현 방식
-
분산 표현 (Distributed Representation / 벡터 형태) :
단어, 문장, 개념을 고차원 실수 벡터 공간상의 위치(좌표)로 변환해 표현합니다.
비슷한 의미를 가진 단어나 개념은 벡터 공간에서 서로 가까운 위치에 배치됩니다. - 파라미터 기반 암묵적 지식 (Implicit Knowledge) : LLM은 수천억 개에 달하는 신경망 파라미터(가중치) 내에 전 세계의 사실과 문맥적 관계를 압축하여 저장합니다.
- 뉴로-심볼릭 (Neuro-Symbolic) 결합 - 지식 그래프(Knowledge Graph) : LLM의 유연한 자연어 이해력과, 명확한 관계를 구조화하는 지식 그래프(주어-술어-목적어 형태의 트리플) 를 결합해 환각(Hallucinogenic) 을 줄이고 추론 능력을 높입니다.
지식표현의 주요 역할
- 의미 기반 추론 : 단순한 단어 매칭이 아니라 개념 간의 논리적·의미적 연결을 바탕으로 새로운 답을 도출합니다.
- 문맥 및 관계 파악 : A는 B의 상위 개념이다 혹은 X가 발생하면 Y가 일어난다와 같은 복잡한 인과관계를 파악합니다.
- 외부 지식 연계 (RAG 등) : 벡터화된 문서 검색(Vector DB)과 연결하여 LLM 내부 파라미터가 가지지 못한 최신 정보나 전문 지식을 실시간으로 참조합니다.
1) FFN 계층의 키-값 메모리 (Key-Value Memories)
파라미터 표상Geva et al.(2021) 연구에서 증명되었듯, 트랜스포머의 피드포워드 신경망(FFN) 2계층 구조는 과거 연상 기억 장치와 정확히 일치합니다. 첫 번째 선형 계층(W1)은 문맥 속의 주어와 개념을 감지하는 '키(Key)' 역할을 하며, 두 번째 계층(W2)은 그에 대응하는 속성과 사실을 인출하는 '값(Value)' 역할을 하여 파라미터 자체에 사실적 지식을 표상합니다.
2) 잔차 스트림(Residual Stream)과 개념 벡터
활성화 표상트랜스포머의 중심 고속도로인 잔차 스트림(Residual Stream) 속에서 지식은 선형 부분 공간(Subspace)의 방향성으로 표현됩니다. 희소 오토인코더(SAE)를 통해 수억 개의 다의적 뉴런 활성화를 인간이 해석 가능한 단일 개념 특징(Monosemantic Features)으로 분해하여 지식의 표상 상태를 실시간 검증합니다.
3) 인-컨텍스트 프롬프트 표상 (In-Context Prompting)
동적 컨텍스트지식을 정형화된 JSON, 마크다운 표, Few-shot 예시, 사고의 사슬(Chain-of-Thought) 형식으로 프롬프트에 주입하면, 트랜스포머의 어텐션 헤드(Induction Heads)가 입력된 토큰들 사이의 관계 그래프를 실시간 형성하여 모델 가중치를 건드리지 않고도 고난도 규칙을 즉시 집행합니다.
4) 지식 그래프 결합 신경기호 표상 (GraphRAG)
하이브리드 표상과거 기호주의의 최고 자산인 지식 그래프(트리플: Entity-Relation-Entity)를 현대 벡터 검색(RAG)과 융합한 표상입니다. 분산 벡터가 주는 부드러운 자연어 이해력과 지식 그래프가 제공하는 엄밀한 인과 관계 경로를 결합하여, 환각 없는 무결한 엔터프라이즈 의사결정을 완성합니다.
지식표현 명강의 및 인지심리학 동영상 강좌
컴퓨터과학이 여는 세계 - 지식표현의 확장
서울대학교(SNU) 이광근 교수 • 컴퓨터과학의 본질과 기호적 지식표현의 확장 체계 해설
고려대학교 인지심리학 지식 표상 강좌 : 남기춘 교수 (KUOCW)
인간 뇌의 기억 구조와 명제 표상, 개념 지식의 형성 원리를 다룬 정규 대학 공개강의
지식 표상 1: 뇌 부위와 사건의 의미 해석
남기춘 교수 (2014/04/03)
지식 표상 2: 명제 표상 (Propositional)
남기춘 교수 (2014/04/08)
지식 표상 3: 명제 표상과 개념 지식
남기춘 교수 (2014/04/10)
학술 문헌 및 연구자 링크
- • AI Topics : Representation & Reasoning
- • Wikipedia : Knowledge Representation
- • AI on the web : Logic & KR (Stuart Russell)
- • 지식표현이란 무엇인가? (Randall Davis 외, MIT)
- • KR Course (Leora Morgenstern, Stanford)
- • 고급 지식표현 : Thomas Dean, James Allen, John Aloimonos
- • 설계의 표상 & 설계문제의 표상 : Herbert Simon
- • 표상 (Representation) : Allen Newell
- • 지식표상 : Robert J. Sternberg
- • 지각에 기초한 표상 & 의미에 기초한 표상 : John R. Anderson
- • 의사결정지원을 위한 지식표현 및 확률추론 : 김성식, 한국수학교육학회, 1993
- • 지식경영에 있어서 지식의 표현과 메타지식의 역할 : 김홍기, 대한산업공학회, 1987
- • 인적자원 관리 분야의 지식표현 체계에 관한 연구 : 변대호, 한국경영정보학회, 1997