전문가 시스템의 병목 현상(Feigenbaum's Bottleneck)에서부터 거대 언어 모델(LLM)의 사전 학습(Pre-training), 미세 조정(Fine-tuning), RAG(검색 증강 생성)에 이르기까지 인공지능이 지식을 추출·흡수·구조화하는 전 과정을 조망합니다.
💡 도메인 전문가(Domain Expert)의 경험적 암묵지를 기계가 읽을 수 있는 형태로 변환하고, 웹 스케일 빅데이터로부터 맥락적 패턴을 획득하는 인공지능의 핵심 관문
지식획득(Knowledge Acquisition)은 지식공학자(Knowledge Engineer : KE)가 지식공학(Knowledge Engineering) 기법을 바탕으로 도메인 전문가(Domain Expert : DE)와의 깊은 상호작용을 통해 지식을 추출하고 이를 시스템에 적합한 형태로 구축하는 행위입니다.
문제 도메인에 대한 풍부한 경험과 직관적인 휴리스틱(Heuristics), 암묵지(Tacit Knowledge)를 보유하고 있는 실제 분야의 최고 권위자입니다.
전문가와의 면담, 사례 분석 등을 통해 전문 지식을 이끌어내고(Elicitation), 이를 논리나 규칙, 프레임 등의 지식표현(Knowledge Representation) 기법으로 정형화하여 지식베이스(Knowledge Base)에 구축합니다.
동일한 분야라도 여러 명의 전문가가 있을 경우 각자의 경험과 이론적 배경에 따라 의견 차이나 모순이 발생할 수 있습니다. 따라서 초기의 핵심 규칙 집합은 단 한 명의 주전문가(Chief Expert)로부터 체계적으로 추출한 뒤, 이후 다수의 보조 전문가 검토를 거쳐 지식을 확장·보완하는 것이 성공의 열쇠입니다.
지식공학의 창시자 에드워드 파이겐바움(Edward Feigenbaum)은 지식획득이야말로 전문가 시스템 구축 전체에서 가장 많은 시간과 비용이 소요되는 "핵심 병목 현상(Feigenbaum's Bottleneck)"이라고 지적했습니다. 주된 난점과 오류 요인은 다음과 같습니다.
지식 획득 초기부터 다수의 전문가가 참여하면 서로 다른 문제 해결 전략과 상충되는 규칙이 지식베이스에 유입되어 정합성을 무너뜨립니다.
해당 도메인이 전문가 시스템으로 구현하기에 기술적·경제적으로 적합한지 검토하고, 협력할 적절한 전문가와 자원을 확보합니다.
전문가 인터뷰, 프로토콜 분석(생각 말하기 기법), 현장 관찰을 통해 전문가의 머릿속에 있는 비구조화된 지식을 끌어냅니다.
추출된 지식의 핵심 개념, 엔티티, 속성, 인과관계의 흐름을 정리하여 지식 모델의 청사진을 수립합니다.
개념화된 지식을 IF-THEN 규칙, 술어 논리, 의미망, 프레임 등 컴퓨터가 이해할 수 있는 지식표현 언어로 변환합니다.
규칙과 사실을 지식베이스에 적재하고 추론 엔진(Inference Engine)과 연결하여 프로토타입 시스템을 개발합니다.
실제 현장 사례를 투입하여 시스템의 추론 결과와 전문가의 판단을 비교 평가하고, 누락되거나 왜곡된 규칙을 반복 교정합니다.
가장 전통적인 방식으로, 인터뷰와 설문 및 사례 연구를 통해 KE가 DE의 지식을 직접 청취하고 정형화합니다. 높은 품질을 보장하지만 시간과 비용이 가장 많이 듭니다.
TEIRESIAS 등과 같은 지식 습득 도구를 활용하여, 컴퓨터를 잘 모르는 전문가도 직관적인 인터페이스를 통해 직접 지식베이스에 규칙을 추가하고 모순을 진단받습니다.
ID3, C4.5와 같은 의사결정나무(Decision Tree) 알고리즘을 활용하여 대량의 정형 데이터와 사례(Case)로부터 분류 규칙을 자동으로 유도(Induction)합니다.
전문 서적, 매뉴얼, 학술 논문 등의 텍스트를 컴퓨터가 구문 분석(Parsing)하여 주어-술어-목적어의 지식 트리플(Knowledge Triple)을 자동 추출하는 방식입니다.
수동적 규칙 추출의 한계를 뛰어넘어, 웹 스케일 데이터로부터 신경망 가중치(Weights)와 실시간 맥락(Context)을 통해 지식을 획득하는 패러다임의 대전환
LLM(대규모 언어 모델)에서 지식 획득(Knowledge Acquisition)이란 모델이 세상에 대한 정보, 사실 관계, 개념, 패턴 및 언어 구조를 학습하여 내부 파라미터(가중치)에 저장하거나 외부에서 가져와 활용할 수 있는 상태로 만드는 과정을 말합니다.
인간이 책을 읽고 공부하며 지식을 쌓는 것처럼, LLM도 다양한 데이터와 방법론을 통해 지식을 습득합니다. LLM의 지식 획득은 크게 두 가지 관점(내부적 획득과 외부적 활용)으로 나뉩니다.
LLM은 모델의 생애주기에 따라 크게 세 가지 단계에서 지식을 내부화(가중치에 저장)합니다.
가장 방대한 지식을 획득하는 단계입니다. 인터넷 웹문서, 책, 위키피디아, 학술 논문 등 수조 개의 토큰으로 구성된 데이터셋을 읽으며 세상의 일반적인 상식, 문법, 과학적 사실, 역사 등을 다음 단어 예측(Next-Token Prediction)을 통한 통계적 패턴으로 학습합니다.
특정 도메인(예: 의료, 법률, 금융, 코딩 등)의 정제된 데이터를 추가로 학습하여, 사전 학습된 일반적인 지식을 특정 분야의 전문 지식 및 지시어 수행(Instruction Following) 능력으로 심화시키는 과정입니다.
획득한 지식을 바탕으로 인간이 선호하는 방식(정확성, 안전성, 유용성, 무해성)으로 답변을 출력하도록 지식의 활용 조율 방식을 배우는 단계입니다. PPO 또는 DPO 기법을 적용합니다.
최근 LLM 연구와 실무에서는 지식 획득을 파라미터에 직접 저장하는 것에만 국한하지 않고, 외부 지식을 결합하는 방식까지 넓게 포함합니다.
| 구분 | 가중치 기반 지식 (Parametric Knowledge) | 맥락 기반 지식 (Contextual Knowledge) |
|---|---|---|
| 개념 | 모델 자체의 가중치(Weights)에 저장된 지식 | 프롬프트나 외부 데이터베이스를 통해 실시간으로 주어지는 지식 |
| 획득 시점 | 학습(Training) 단계 | 추론(Inference) 단계 |
| 대표 기술 | 사전 학습 (Pre-training), 파인튜닝 (Fine-tuning) | RAG (검색 증강 생성), 인컨텍스트 러닝 (Few-shot Prompting) |
| 장점 | 별도의 외부 시스템 없이 빠르게 직접 답변 가능 | 최신 정보 반영이 가능하며, 환각(Hallucination) 현상이 현저히 적음 |
| 단점 | 학습 데이터가 멈춘 시점 이후의 최신 정보를 알지 못함 | 한 번에 입력할 수 있는 컨텍스트 창(Context Window) 용량에 제한이 있으며 검색 성능에 의존 |
LLM이 지식을 효율적으로 획득하고 활용하는 데는 몇 가지 고질적인 한계가 존재합니다.
사전 학습을 통해 획득한 지식은 학습이 끝난 시점에 영구 고정됩니다. 이후에 일어난 사건이나 수시로 변하는 최신 정보는 RAG 등 외부 검색 메커니즘 없이는 알지 못합니다.
LLM은 지식을 논리적으로 '이해'해서 기억하기보다 '확률적 언어 패턴'으로 기억하므로, 그럴듯하지만 완전히 거짓인 사실을 자신 있게 진술하는 환각 현상이 발생합니다.
잘못 저장된 사실 하나를 수정하기 위해 수천억 개의 파라미터를 다시 학습시키는 것은 막대한 비용이 들며, 한 부분을 수정했을 때 다른 온전한 지식이 망가지는 '파국적 망각(Catastrophic Forgetting)' 현상이 발생할 위험이 있습니다.
신경망이 대규모 토큰에서 어떻게 지식을 사전 학습(Pre-training)하고 지침을 획득(Fine-tuning / RAG)하는지 세계 최고 권위자의 강의를 통해 시각적으로 확인해 보세요.
인터넷 웹 코퍼스를 압축하여 사전 학습(Pre-training)하고 파인튜닝, RLHF를 거쳐 지식을 획득하는 전 사이클을 명쾌하게 해설합니다.
가중치 내재화(Fine-tuning)와 외부 검색 결합(RAG)의 아키텍처 차이, 비용, 환각 제어 효과를 명쾌하게 비교합니다.
김성만, 전평국 (한국교원대학교, 1999) - 학습자의 오류 유형 진단과 교육적 지식 획득 메커니즘 규명
김종원 (한국지능정보시스템학회, 2001) - 복잡한 법률 조항의 지식베이스화 및 전문가 인터뷰 분석
김길룡 (제어·자동화시스템공학회, 1997) - 산업 현장 오퍼레이터의 암묵지 추출 및 실시간 적용
Robert J. Sternberg - 지식 획득의 세 가지 하위 요소: 선택적 부호화, 선택적 결합, 선택적 비교
Bruce G. Buchanan et al. - 전문가 시스템 구축의 본질과 지식 획득 방법론에 관한 기념비적 논문