정답(라벨) 없는 데이터에서 내재된 구조, 클러스터, 잠재 표현(Latent Representation)을 스스로 발견하는 기계학습의 근원적 패러다임과 최신 LLM 사전학습(Pre-training)으로의 비약적 확장
자율학습 (Unsupervised Learning) 또는 비지도 학습은 인간이나 외부의 '지도자(교사, Supervisor)'가 제공하는 정답 라벨(Ground Truth Label $y$) 없이, 오직 관측 데이터(입력값 $x$) 자체만을 입력받아 데이터 내부에 숨겨진 규칙성, 패턴, 기하학적 구조(Manifold), 확률 분포(Probability Distribution)를 모델 스스로 탐색하고 파악하는 기계학습 (Machine Learning) 및 신경망 (Neural Network) 의 핵심 방법론입니다.
신경망 (Neural Network) 에서 학습기가 분류 (classification) 하려는 대상이 자갈과 모래라는 것을 미리 알고서 훈련예(training example)로서 학습시켜 어떤 대상이 자갈에 속하는지 모래에 속하는지를 분류하는 것이 지도학습 (supervised learning) 이다.
반면에 분류하려는 대상에 대한 어떤 정보도 주어지지 않고 학습기로 하여금 그것이 자갈인지 또는 모래인지 또는 그 밖의 어떤 것인지를 분류하는 것이 자율학습 (unsupervised learning) 이다.
(패턴인식 (Pattern Recognition) 에서의 분류는 학습 (Learning) 과 같은 의미이다) ....................... (홍대식 1998)
수학적으로 자율학습은 정답 쌍 $(x_i, y_i)$ 대신 $N$개의 관측치 벡터들의 집합 $\mathcal{D} = \{x_1, x_2, \dots, x_N\}$ (단, $x_i \in \mathbb{R}^D$) 만이 주어집니다. 모델의 목적은 데이터의 결합 확률 밀도(Joint Probability Density) $P(x)$를 추정하거나, 데이터를 가장 잘 요약하고 압축하는 잠재 표현(Latent Variable $z \in \mathbb{R}^d, d \ll D$)을 찾는 것입니다.
유사한 특성을 가진 데이터 샘플들을 군집(Cluster) 단위로 자동 그룹화하여 숨겨진 카테고리나 하위 집단을 발견합니다.
고차원 공간의 복잡한 데이터를 정보 손실을 최소화하면서 저차원 공간으로 매핑하여 노이즈 제거와 데이터 시각화를 수행합니다.
데이터가 생성된 확률 분포 $P(X)$ 자체를 근사하여 새로운 유사 샘플을 생성하거나 이상치(Anomaly)를 감지합니다.
위키피디아에 서술된 바와 같이, 자율학습은 다른 조건이 주어졌을 때의 조건부 확률 $P(Y \mid X)$ 을 효과적으로 계산하기 위해 베이즈 추론 (Bayesian Inference) 과 밀접하게 결합됩니다. 또한 모든 무손실/손실 압축 알고리즘은 본질적으로 입력 데이터의 결합 확률 분포에 의존하므로, 자율학습은 정보 압축 및 엔트로피 최소화 관점에서도 완벽히 설명됩니다.
테우보 코호넨(Teuvo Kohonen)이 개발한 뇌의 대뇌피질 토폴로지 구조를 모방한 신경망입니다. 고차원의 입력 공간을 2차원 그리드 평면 위에 위상(Topology) 관계를 보존하며 자율적으로 매핑합니다.
가우시안 혼합 모델(GMM)과 같이 잠재 변수(Latent Variable)가 존재하는 복잡한 확률 밀도 함수에서 파라미터의 최대 우도 추정치(MLE)를 반복적으로 계산하는 통계적 자율학습 기법입니다.
K-평균(K-Means), 계층적 군집화(Hierarchical Clustering), DBSCAN 등 데이터 공간 내에서 샘플 간의 기하학적 거리(유클리드, 코사인)를 기준으로 동질적인 그룹을 형성합니다.
데이터의 분산(Variance)이 가장 크게 보존되는 직교 축(Orthogonal Axes)을 고유값 분해(Eigendecomposition)를 통해 추출하여 고차원 데이터를 손실을 최소화하며 압축합니다. 비선형 차원 축소로는 t-SNE, UMAP 등이 널리 쓰입니다.
입력을 저차원 잠재 벡터로 압축(Encoder)한 후 이를 원래 입력으로 완벽하게 복원(Decoder)하도록 자율 훈련합니다. 변분 오토인코더(VAE), 적대적 생성 신경망(GAN), 확산 모델(Diffusion Model)로 진화했습니다.
오늘날 챗GPT, GPT-4, LLaMA, Claude, Gemini와 같은 최신 거대 언어 모델(LLM: Large Language Model)의 성공 비결은 바로 인간의 개입 없는 자율학습(자기지도학습, Self-Supervised Learning)을 통한 사전학습(Pre-training) 에 있습니다. 전체 학습 연산량의 99% 이상이 이 자율학습 단계에서 발생합니다.
GPT 계열 및 최신 디코더 기반 LLM의 핵심 원리입니다. 인간이 라벨을 붙이지 않은 수조(Trillions) 개의 인터넷 웹 문서, 학술 논문, 백과사전, 소스 코드 텍스트에서 '지금까지 주어진 이전 단어(Context)들을 보고 바로 다음 단어(Next Token)를 스스로 맞추는 방식'으로 학습합니다.
텍스트 데이터 자체가 문제이자 정답이 되므로 인간의 라벨링 비용이 '0'이며, 이 단순한 자율학습을 통해 모델은 문법, 상식, 프로그래밍 로직, 인과관계, 수학적 추론 능력까지 모델 파라미터 내부에 자율적으로 압축하여 내면화합니다.
BERT, RoBERTa 등 인코더 기반 모델에서 사용된 기법입니다. 입력 문장의 일부 토큰을 임의로 [MASK] 처리한 후, 문맥의 앞뒤(양방향) 정보를 모두 참조하여 빈칸에 들어갈 단어를 맞추도록 자율 훈련합니다.
이 과정을 통해 텍스트의 깊은 문맥적 의미와 어휘 간의 상호 참조 관계를 정밀하게 파악하는 고차원 임베딩 표현(Contextualized Representation)을 완성합니다.
LLM 및 텍스트 임베딩 모델(예: text-embedding-3)은 자율 대조 학습(Contrastive Learning)을 통해 문장의 의미론적 유사성을 다차원 벡터 공간 상의 코사인 유사도(Cosine Similarity)로 표현합니다. 이는 현대 생성형 AI의 핵심 아키텍처인 RAG(검색 증강 생성) 및 지식 베이스 검색의 토대가 됩니다.
텍스트와 이미지를 라벨 없이 대규모 웹 쌍으로 대조 학습시켜 공통된 시각-언어 잠재 공간(Shared Embedding Space)을 학습하는 CLIP, 그리고 노이즈를 스스로 제거하며 사실적 이미지를 생성하는 확산 모델(Diffusion) 역시 자율학습 원리를 극대화한 현대 AI 기술입니다.
자율학습과 지도학습은 기계학습의 상호 보완적인 양대 산맥입니다. 두 학습 방식의 철학적, 수학적, 공학적 차이점은 다음과 같습니다.
| 비교 항목 | 자율학습 (Unsupervised Learning) | 지도학습 (Supervised Learning) |
|---|---|---|
| 정답(라벨) 유무 | 정답 라벨 없음 (오직 $X$ 만 주어짐) | 입력과 정답 쌍 $(X, Y)$ 제공 (교사 신호 존재) |
| 핵심 학습 목표 | 데이터의 내재된 구조, 군집, 확률분포 $P(X)$, 차원 축소 | 미지의 $X$에 대한 정답 $Y$를 맞추는 최적 함수 $f(X) \to Y$ 사상 |
| 비유 (자갈과 모래) | 자갈인지 모래인지 모르는 상태에서 모양과 질감에 따라 스스로 묶어냄 | 자갈과 모래라는 정답을 주고 새로운 대상이 어느 쪽인지 맞추도록 훈련 |
| 데이터 수집 비용 | 매우 저렴 (인간의 라벨링 불필요, 인터넷 빅데이터 그대로 활용) | 매우 고비용 (인간 전문가의 수작업 검수 및 어노테이션 필수) |
| 주요 응용 과제 | 고객 세분화(군집화), 이상치 탐지, PCA, 추천 시스템 | 이미지 객체 인식, 질병 진단, 스팸 필터링, 주가 회귀 예측 |
| 대표 평가 척도 | 실루엣 점수, 재구성 오차, Negative Log-Likelihood, 클러스터 순도 | 정확도(Accuracy), F1-Score, ROC-AUC, 평균제곱오차(MSE) |
| 대표 알고리즘 | SOM, K-Means, EM, PCA, Autoencoder, VAE | 역전파 신경망, SVM, 의사결정나무, 로지스틱 회귀 |
| LLM 파이프라인 | [사전학습 99%] 거대한 텍스트 코퍼스의 Next-Token 예측 (파운데이션 지식 구축) | [정렬/미세조정 1%] 고품질 지시문-답변 쌍(SFT) 및 인간 선호도 라벨(RLHF/DPO) |
머신러닝의 세가지 타입
DevMento : 김승일 모두의연구소 소장 (2016/09/28)
머신러닝 알고리즘 8강 - 비지도 학습
SKtechx Tacademy (2017/07/27) ... 동영상 15개 재생목록