재귀(Recursion)의 개념과 프로그래밍 vs AI 비교
거울 두 개를 마주 보게 두었을 때 끝없이 이어지는 상(Image)이나 나뭇가지가 작은 가지를 뻗어내는 프랙탈(Fractal)처럼, 어떠한 대상이 '자기 자신(Self-Reference)'을 포함하여 정의되는 원리입니다.
재귀가 영원히 자기 자신을 부르다 파국(무한 루프)으로 치닫지 않도록 멈춤을 선언하는 가장 단순한 종착점입니다. (예: 0! = 1, 에이전트의 목표 달성 확인)
복잡한 문제를 동일한 성질을 가진 더 작은 하위 문제(n ➔ n-1)로 쪼개거나, 자신의 출력 결과를 다음 단계의 새로운 입력으로 다시 집어넣어 점진적으로 해답을 구성합니다.
| 비교 기준 | 프로그래밍에서의 재귀 (Code Recursion) | AI에서의 재귀 (Neural & Agentic Recursion) |
|---|---|---|
| 동작 주체 & 구조 | 명시적 함수가 자기 자신을 콜 스택(Call Stack)에 쌓으며 호출 | 은닉 상태(ht) 순환, 모델 자신의 사고/생성 데이터를 다시 입력으로 순환 |
| 연산 성격 | 100% 결정론적 · 기호적(Symbolic) : 입력이 같으면 경로도 100% 동일 | 확률적 · 연속적(Probabilistic) : 반복마다 의미 추론이 진화하거나 변형됨 |
| 진행 방향 | 주로 하향식 분해(Top-Down) 후 기저 조건에서 역순으로 값 복귀 | 시간/추론 축을 따라 반복 정제(Iterative Refinement) 및 자기 진화 |
| 종료 조건 (Base Case) | 프로그래머가 엄밀하게 코딩한 조건식 (예: if n == 0: return 1) |
종료 토큰(EOS), 검증 통과(Reward), 혹은 최대 깊이/추론 예산 제한 |
| 치명적 실패 양상 | 스택 오버플로우 (Stack Overflow), 메모리 고갈, 무한 루프 | 기울기 소실·폭발, 환각 증폭, 모델 붕괴 (Model Collapse) |
[인포그래픽 1] 프로그래밍 재귀(콜 스택) vs 인공지능 재귀(상태 순환 · 추론 루프 · 자기학습) 비교
AI에서 재귀(Recursion)가 활용되는 5대 방식
신경망 아키텍처의 내부 연산부터 거대언어모델(LLM)의 다단계 추론, 자율 에이전트 행동 루프, 자기 진화 학습까지 재귀는 현대 AI 전반에 깊이 스며들어 있습니다.
1. 순환 신경망 (RNN · LSTM · SSM)
시간 축 t마다 이전 타임스텝의 기억 ht-1을 자기 자신의 다음 입력으로 받아 ht = f(ht-1, xt)를 재귀적으로 갱신합니다. Mamba 같은 최신 상태공간모델(SSM) 역시 이 선형 재귀를 고속 병렬화한 형태입니다.
2. 재귀 신경망 (RvNN · Tree-LSTM)
단순 시간 일렬 순환이 아니라 문법 파싱 트리나 코드의 구문 트리(AST)를 따라 자식 노드의 벡터를 결합해 부모 노드 벡터를 계산하고, 이를 루트까지 트리 구조로 재귀 적용하여 계층적 의미를 파악합니다.
3. LLM 자기 반성 & 추론 루프 (ToT · Self-Refine)
LLM이 한 번에 답변을 끝내지 않고, 자신이 만든 중간 풀이를 다시 입력으로 넣어 비평하고 고치는 Self-Refine이나, 문제를 더 작은 하위 목표로 재귀 분해해 탐색하는 Tree of Thoughts(ToT) 및 추론 모델의 핵심 메커니즘입니다.
4. 자율 에이전트 & 서브에이전트 루프
ReAct(Reason+Act) 에이전트는 생각 ➔ 도구 실행 ➔ 결과 관찰 사이클을 목표 달성(Base Case)까지 재귀 반복합니다. 또한 복잡한 작업을 처리할 때 스스로 작은 하위 에이전트(Sub-agent)를 재귀적으로 호출해 분업을 수행합니다.
5. 재귀적 자기 개선 & 장문 요약 (Self-Play · Recursive Summarization)
AlphaZero가 스스로와 수백만 판 바둑을 두며 진화한 Self-Play, 모델이 자신의 추론 과정을 검증해 차세대 모델을 학습시키는 STaR / 합성 데이터 자가 훈련, 그리고 책 수십 권 분량의 방대한 문서를 청크별로 요약한 뒤 그 요약본들을 다시 재귀적으로 요약해 전체 맥락을 압축하는 RAPTOR(재귀 트리 요약) 등에 폭넓게 쓰입니다.
Deep Research : AI에서 재귀(Recursion)가 왜 이토록 중요한가?
고정된 크기의 신경망이 왜 재귀를 만나야만 비로소 보편적 추론(Turing Completeness)과 조합적 일반화 능력을 획득하는지 이론 컴퓨터과학 관점에서 분석합니다.
[인포그래픽 2] AI에서 재귀의 핵심 가치(추론 깊이 확장 · 조합 일반화)와 재귀 학습의 치명적 위험(모델 붕괴)
1. 고정 깊이(TC0) 한계 돌파 : 유한한 모델로 무한한 추론 깊이 확보
계산 복잡도 이론 연구에 따르면, 재귀 없이 단 1회 순전파(Forward Pass)만 수행하는 표준 트랜스포머는 레이어 깊이가 상수 O(1)로 고정되어 있어, 임의 길이의 그래프 탐색, 복잡한 다자리 곱셈, 논리 퍼즐처럼 깊은 순차 계산이 필요한 문제(TC0 클래스 밖의 문제)를 원리적으로 풀기 어렵습니다. 반면 Chain-of-Thought(CoT)로 자기 출력을 다시 입력에 이어 붙이거나 Looped Transformer(가중치를 재귀 반복 통과)를 사용하면, 파라미터 크기를 늘리지 않고도 계산 깊이를 필요에 따라 동적으로 늘려 튜링 완전(Turing Complete)한 범용 추론기 성능에 도달할 수 있습니다.
2. 조합적 일반화(Compositional Generalization)와 분할 정복(Divide & Conquer)
인간 지능은 '작은 규칙을 자기 안에 중첩해 무한히 새로운 문장과 개념을 만들어내는 능력(언어학자 촘스키와 인지과학자 호프스태터가 강조한 재귀성)'에 뿌리를 두고 있습니다. AI 역시 재귀적 구조를 학습해야만 학습 데이터에 없던 더 긴 수식이나 복잡한 코드 프로젝트를 하위 문제로 쪼개고 다시 결합하여 일관성 있게 해결하는 길이 일반화(Length Generalization)를 달성할 수 있습니다.
AI에서 재귀(Recursion) 학습과 실행의 4대 위험성
재귀는 AI에게 무한한 추론 능력을 선사하는 양날의 검입니다. 통제되지 않은 자기 참조와 재귀 학습이 초래하는 심각한 공학적·통계적 위험 요소들입니다.
1. 모델 붕괴 (Model Collapse / MAD : 자기 포식 장애)
가장 심각한 현대 AI 위험 중 하나입니다. 1세대 AI가 생성한 합성 데이터를 2세대 AI가 학습하고, 그 출력을 3세대 AI가 다시 학습하는 데이터 재귀 루프(Recursive Training on AI-generated Data)가 반복되면, 통계적 샘플링 과정에서 확률 분포의 꼬리(희귀하지만 중요한 창의적 정보)가 매 세대 소실됩니다. 수 세대만 지나도 AI는 현실 세계에 대한 다양성을 완전히 잃고 똑같은 상투어만 반복하거나 횡설수설하는 퇴행 상태(Model Collapse)로 무너집니다.
2. 기울기 소실 및 폭발 (Vanishing & Exploding Gradients)
RNN 같은 순환 신경망을 학습할 때 시간 축으로 펼쳐 역전파(BPTT)를 수행하면, 동일한 가중치 행렬 W가 단계 수만큼 거듭 곱해집니다(WT). 행렬의 고윳값이 1보다 작으면 기울기가 지수적으로 0으로 소실되어 먼 과거 문맥을 전혀 학습하지 못하고, 1보다 크면 무한대로 폭발해 가중치가 NaN으로 발산합니다.
3. 환각의 자기 증폭 (Hallucination Amplification)
외부의 객관적 검증(코드 실행, 수학 증명기, 사실 확인 DB) 없이 LLM이 자기 자신의 글만 보고 반성하는 순수 재귀(Self-Consistency without Grounding)를 돌리면, 초기 단계에 우연히 생성한 거짓 정보(환각)를 다음 단계에서 기정사실로 전제하고 논리를 정교화하여 더욱 그럴듯하고 견고한 거짓말을 양산하는 에코 체임버(Echo Chamber)에 빠집니다.
4. 에이전트 무한 재귀 루프 & 비용·자원 폭주
프로그래밍의 콜 스택 오버플로우와 유사하게, 자율 AI 에이전트가 명확한 기저 조건(Base Case)과 최대 반복 깊이(Max Iterations) 제한 없이 자기 자신을 계속 호출하거나 하위 에이전트에게 같은 과업을 무한 위임하면, 멈추지 않는 무한 루프에 빠져 막대한 API 과금 폭탄과 시스템 마비를 초래합니다.
재귀적 용법 고전 원전 사료 · 예제 & 영상 (Original & Video)
기존 문서에 수록된 강원대 재귀적 용법 강의 원문, 재귀 애니메이션 링크, 그리고 유튜브 영상을 100% 보존합니다.
재귀적 용법은 수학에서 무한한 값을 유한하게 표현하기 위한 재귀적 수식으로부터 유래한 것으로서 의미와 표현방법에 있어서 동일하다. 예를 들면 수학에서 양의 정수를 모두 표현할 수 없으나, 재귀적 함수식을 사용하면 값을 모두 정의할 수 있다.
재귀적 함수식을 사용하는 또 다른 예로 n에 대한 factorial 값은 다음과 같이 재귀적으로 정의할 수 있다.
재귀적 표현을 그대로 프로그래밍 언어로 표현한 것이 소위 재귀적 함수 (recursive function) 이다. 프로그래밍 언어에서 재귀적 함수는 두 가지 방법으로 관찰된다.
- 함수 안에서 자기 자신의 함수를 직접 호출하는 방법
- 두개의 함수가 상호간 호출하는 방법
재귀적 용법은 함수에만 국한되지 않고, 자료형에도 적용된다. 즉 구조체(레코드)에서 데이터 항목이 자신과 동일한 구조체형으로 정의되는 경우를 자료형의 재귀적 용법이라고 한다.
관련 핵심 용어 및 웹 사이트 (Terms & Sites)
기존 문서에 수록되어 있던 15개 내부 용어 링크(프랙탈, 괴델·에셔·바흐, 하노이탑 등)와 외부 백과사전 링크를 100% 보존합니다.