AI Study
유한한 규칙으로 무한한 깊이와 복잡성을 창조하는 자기 참조(Self-Reference)의 원리

재귀 (Recursion)

AI 분야에서 Recursion(재귀) 은 모델이 스스로 생성한 결과물을 다시 자신의 입력(Input) 으로 사용하여 단계적으로 사고하거나 출력을 개선하는 기법을 말합니다.
전통적인 컴퓨터 과학에서 재귀가 '함수가 자기 자신을 호출하는 것' 을 의미한다면, 최신 AI (특히 대규모 언어 모델, LLM) 에서는 이 개념이 추론 능력 강화, 장기 기억 처리, 자가 수정 등의 핵심 메커니즘으로 확장되어 사용됩니다.

1. AI에서 Recursion이 활용되는 주요 방식
  • 재귀적 추론 (Recursive Reasoning & Chain-of-Thought)
    • 복잡한 문제를 한 번에 풀지 않고, 작은 하위 문제(Sub-problem) 로 쪼갠 뒤 AI 가 스스로 만든 중간 풀이 과정을 다시 읽으며 다음 단계의 답을 도출하는 방식입니다.
    • 마치 사람이 연습장에 풀이 과정을 적어 내려가며 다음 계산을 이어가는 것과 같습니다.
  • 자가 수정 및 반복 개선 (Self-Refinement / Iterative Refinement)
    • AI 가 초안을 작성한 뒤, 그 초안을 다시 입력받아 스스로 비평하고 오류를 수정하여 더 나은 결과물을 만들어내는 과정입니다.
    • 코딩을 할 때 AI 가 코드를 작성하고, 실행 결과를 확인한 뒤, 에러가 나면 스스로 코드를 고치는 루프(Loop) 가 대표적인 예입니다.
  • 재귀적 요약 (Recursive Summarization)
    • 책 한 권처럼 모델의 입력 한도(Context Window) 를 넘어가는 방대한 텍스트를 처리할 때 사용합니다.
    • 문서를 여러 조각으로 나누어 각각 요약한 뒤, 그 요약본들을 다시 합쳐서 재요약하는 과정을 반복하여 최종 결론을 이끌어냅니다.
  • 재귀 신경망 (RNN: Recurrent Neural Network / Recursive Neural Network)
    • 딥러닝 아키텍처 관점에서는 이전 단계의 출력(은닉 상태) 이 다음 단계의 입력으로 순환되는 구조를 뜻하며, 시계열 데이터나 문장의 문맥을 이해하는 데 기초가 되었습니다.
2. AI에게 Recursion이 중요한 이유
  • 추론의 깊이 확장: 단일 응답으로는 해결하기 어려운 고난도 수학, 논리, 코딩 문제를 단계별로 해결할 수 있습니다.
  • 환각(Hallucination) 감소: 스스로 내뱉은 말을 다시 검증하는 재귀적 피드백 과정을 거치면서 사실 오류나 논리적 비약을 줄일 수 있습니다.
  • 에이전트(AI Agent) 의 핵심 원리: 목표를 달성할 때까지 '계획 → 실행 → 결과 관찰 → 수정'이라는 재귀적 루프를 스스로 돌며 자율적으로 업무를 수행하게 만듭니다.
⚠️ 주의점: 재귀적 데이터 학습의 위험성 (Model Collapse)

AI가 생성한 데이터(합성 데이터) 를 다음 세대 AI의 학습 데이터로 무분별하게 재귀적으로 반복 학습시킬 경우, 정보의 다양성이 사라지고 오류가 증폭되어 모델의 성능이 급격히 망가지는 모델 붕괴(Model Collapse) 현상이 발생할 수 있습니다.

자기 자신을 다시 정의하고 호출함으로써 거대한 문제를 가장 우아하게 정복하는 재귀(Recursion)의 본질입니다. 프로그래밍에서의 재귀 vs AI에서의 재귀 비교, AI 신경망·LLM 추론·에이전트에서의 5대 활용 방식, AI에서 재귀가 필수적인 이유(Deep Research), 그리고 재귀 학습이 부르는 치명적 위험성(Model Collapse·기울기 소실)까지 인포그래픽으로 탐구합니다.

#Recursion #Programming_vs_AI #RNN_Looped_Transformer #Recursive_Reasoning_ToT #Model_Collapse_MAD
Section 01

재귀(Recursion)의 개념과 프로그래밍 vs AI 비교

거울 두 개를 마주 보게 두었을 때 끝없이 이어지는 상(Image)이나 나뭇가지가 작은 가지를 뻗어내는 프랙탈(Fractal)처럼, 어떠한 대상이 '자기 자신(Self-Reference)'을 포함하여 정의되는 원리입니다.

🛑 1. 기저 조건 (Base Case / 종료 조건)

재귀가 영원히 자기 자신을 부르다 파국(무한 루프)으로 치닫지 않도록 멈춤을 선언하는 가장 단순한 종착점입니다. (예: 0! = 1, 에이전트의 목표 달성 확인)

🔄 2. 재귀 단계 (Recursive Step / 자기 축소·심화)

복잡한 문제를 동일한 성질을 가진 더 작은 하위 문제(n ➔ n-1)로 쪼개거나, 자신의 출력 결과를 다음 단계의 새로운 입력으로 다시 집어넣어 점진적으로 해답을 구성합니다.

비교 기준 프로그래밍에서의 재귀 (Code Recursion) AI에서의 재귀 (Neural & Agentic Recursion)
동작 주체 & 구조 명시적 함수가 자기 자신을 콜 스택(Call Stack)에 쌓으며 호출 은닉 상태(ht) 순환, 모델 자신의 사고/생성 데이터를 다시 입력으로 순환
연산 성격 100% 결정론적 · 기호적(Symbolic) : 입력이 같으면 경로도 100% 동일 확률적 · 연속적(Probabilistic) : 반복마다 의미 추론이 진화하거나 변형됨
진행 방향 주로 하향식 분해(Top-Down) 후 기저 조건에서 역순으로 값 복귀 시간/추론 축을 따라 반복 정제(Iterative Refinement) 및 자기 진화
종료 조건 (Base Case) 프로그래머가 엄밀하게 코딩한 조건식 (예: if n == 0: return 1) 종료 토큰(EOS), 검증 통과(Reward), 혹은 최대 깊이/추론 예산 제한
치명적 실패 양상 스택 오버플로우 (Stack Overflow), 메모리 고갈, 무한 루프 기울기 소실·폭발, 환각 증폭, 모델 붕괴 (Model Collapse)

[인포그래픽 1] 프로그래밍 재귀(콜 스택) vs 인공지능 재귀(상태 순환 · 추론 루프 · 자기학습) 비교

프로그래밍의 재귀 (Call Stack 분해 · 복귀) 명확한 기저 조건(Base Case)까지 문제 크기 축소 fac(3) = 3 × fac(2) fac(2) = 2 × fac(1) fac(1) ➔ 1 (Base Case) 호출(Push) 결과 반환(Pop) 1 ➔ 2 ➔ 6 • 대표 활용: 팩토리얼, 피보나치, 퀵정렬, 하노이탑, 트리 탐색(DFS) • 위험: 종료 조건 누락 시 스택 오버플로우(Stack Overflow) 인공지능의 재귀 (자기 상태 · 사고 · 데이터 순환) 출력을 다시 자신의 입력으로 넣어 지능을 심화·정제 입력 / 이전 상태 xₜ, hₜ₋₁ / 이전 추론 AI 모델 / 에이전트 RNN · Looped · LLM 자기 출력 재투입 (Feedback Loop) • 대표 활용: RNN 은닉상태, Tree-LSTM, CoT/ToT 반성, 에이전트 루프 • 위험: 기울기 소실·폭발, 환각 증폭, 모델 붕괴 (Model Collapse)
Section 02

AI에서 재귀(Recursion)가 활용되는 5대 방식

신경망 아키텍처의 내부 연산부터 거대언어모델(LLM)의 다단계 추론, 자율 에이전트 행동 루프, 자기 진화 학습까지 재귀는 현대 AI 전반에 깊이 스며들어 있습니다.

1. 순환 신경망 (RNN · LSTM · SSM)

시간 축 t마다 이전 타임스텝의 기억 ht-1을 자기 자신의 다음 입력으로 받아 ht = f(ht-1, xt)를 재귀적으로 갱신합니다. Mamba 같은 최신 상태공간모델(SSM) 역시 이 선형 재귀를 고속 병렬화한 형태입니다.

2. 재귀 신경망 (RvNN · Tree-LSTM)

단순 시간 일렬 순환이 아니라 문법 파싱 트리나 코드의 구문 트리(AST)를 따라 자식 노드의 벡터를 결합해 부모 노드 벡터를 계산하고, 이를 루트까지 트리 구조로 재귀 적용하여 계층적 의미를 파악합니다.

3. LLM 자기 반성 & 추론 루프 (ToT · Self-Refine)

LLM이 한 번에 답변을 끝내지 않고, 자신이 만든 중간 풀이를 다시 입력으로 넣어 비평하고 고치는 Self-Refine이나, 문제를 더 작은 하위 목표로 재귀 분해해 탐색하는 Tree of Thoughts(ToT) 및 추론 모델의 핵심 메커니즘입니다.

4. 자율 에이전트 & 서브에이전트 루프

ReAct(Reason+Act) 에이전트는 생각 ➔ 도구 실행 ➔ 결과 관찰 사이클을 목표 달성(Base Case)까지 재귀 반복합니다. 또한 복잡한 작업을 처리할 때 스스로 작은 하위 에이전트(Sub-agent)를 재귀적으로 호출해 분업을 수행합니다.

5. 재귀적 자기 개선 & 장문 요약 (Self-Play · Recursive Summarization)

AlphaZero가 스스로와 수백만 판 바둑을 두며 진화한 Self-Play, 모델이 자신의 추론 과정을 검증해 차세대 모델을 학습시키는 STaR / 합성 데이터 자가 훈련, 그리고 책 수십 권 분량의 방대한 문서를 청크별로 요약한 뒤 그 요약본들을 다시 재귀적으로 요약해 전체 맥락을 압축하는 RAPTOR(재귀 트리 요약) 등에 폭넓게 쓰입니다.

Section 03 · Deep Research

Deep Research : AI에서 재귀(Recursion)가 왜 이토록 중요한가?

고정된 크기의 신경망이 왜 재귀를 만나야만 비로소 보편적 추론(Turing Completeness)과 조합적 일반화 능력을 획득하는지 이론 컴퓨터과학 관점에서 분석합니다.

[인포그래픽 2] AI에서 재귀의 핵심 가치(추론 깊이 확장 · 조합 일반화)와 재귀 학습의 치명적 위험(모델 붕괴)

🚀 AI에서 재귀(Recursion)가 지니는 3대 계산론적 힘 1. 연산 깊이의 동적 확장 고정 레이어(1회 통과 = TC⁰ 한계) 돌파 Looped Transformer / CoT 재귀로 ➔ 유한 파라미터로 튜링 완전성 근접! 2. 조합적 일반화 (Compositionality) 학습 때 못 본 긴 수식·중첩 문장도 작은 단위의 재귀 규칙으로 분할 해석 ➔ 길이 일반화(Length Generalization) 3. 폐루프 자가 오류 교정 실행 결과(컴파일러/관찰)를 다시 받아 실패 원인을 스스로 진단하고 수정 ➔ 신뢰성 높은 에이전트 시스템 완성 ⚠ 경고: AI 데이터 재귀 학습이 부르는 '모델 붕괴 (Model Collapse / MAD)' 과정 Gen 0 (인간 원본 분포) 풍부한 다양성 · 꼬리 데이터 보존 Gen 1~2 (합성 재학습 시작) 분포 꼬리(희귀 지식) 소실 시작 Gen N (반복 자기 포식 붕괴) 분산 0 수렴 · 환각/횡설수설 붕괴 🛡️ 모델 붕괴 방어 해법 1. 인간 원본 데이터 축적·유지 2. 외부 수학·컴파일러 검증기 결합 3. 현실 물리 피드백 접지 (인간 데이터 + 검증 루프 필수!)

1. 고정 깊이(TC0) 한계 돌파 : 유한한 모델로 무한한 추론 깊이 확보

계산 복잡도 이론 연구에 따르면, 재귀 없이 단 1회 순전파(Forward Pass)만 수행하는 표준 트랜스포머는 레이어 깊이가 상수 O(1)로 고정되어 있어, 임의 길이의 그래프 탐색, 복잡한 다자리 곱셈, 논리 퍼즐처럼 깊은 순차 계산이 필요한 문제(TC0 클래스 밖의 문제)를 원리적으로 풀기 어렵습니다. 반면 Chain-of-Thought(CoT)로 자기 출력을 다시 입력에 이어 붙이거나 Looped Transformer(가중치를 재귀 반복 통과)를 사용하면, 파라미터 크기를 늘리지 않고도 계산 깊이를 필요에 따라 동적으로 늘려 튜링 완전(Turing Complete)한 범용 추론기 성능에 도달할 수 있습니다.

2. 조합적 일반화(Compositional Generalization)와 분할 정복(Divide & Conquer)

인간 지능은 '작은 규칙을 자기 안에 중첩해 무한히 새로운 문장과 개념을 만들어내는 능력(언어학자 촘스키와 인지과학자 호프스태터가 강조한 재귀성)'에 뿌리를 두고 있습니다. AI 역시 재귀적 구조를 학습해야만 학습 데이터에 없던 더 긴 수식이나 복잡한 코드 프로젝트를 하위 문제로 쪼개고 다시 결합하여 일관성 있게 해결하는 길이 일반화(Length Generalization)를 달성할 수 있습니다.

Section 04 · Critical Risks

AI에서 재귀(Recursion) 학습과 실행의 4대 위험성

재귀는 AI에게 무한한 추론 능력을 선사하는 양날의 검입니다. 통제되지 않은 자기 참조와 재귀 학습이 초래하는 심각한 공학적·통계적 위험 요소들입니다.

1. 모델 붕괴 (Model Collapse / MAD : 자기 포식 장애)

가장 심각한 현대 AI 위험 중 하나입니다. 1세대 AI가 생성한 합성 데이터를 2세대 AI가 학습하고, 그 출력을 3세대 AI가 다시 학습하는 데이터 재귀 루프(Recursive Training on AI-generated Data)가 반복되면, 통계적 샘플링 과정에서 확률 분포의 꼬리(희귀하지만 중요한 창의적 정보)가 매 세대 소실됩니다. 수 세대만 지나도 AI는 현실 세계에 대한 다양성을 완전히 잃고 똑같은 상투어만 반복하거나 횡설수설하는 퇴행 상태(Model Collapse)로 무너집니다.

2. 기울기 소실 및 폭발 (Vanishing & Exploding Gradients)

RNN 같은 순환 신경망을 학습할 때 시간 축으로 펼쳐 역전파(BPTT)를 수행하면, 동일한 가중치 행렬 W가 단계 수만큼 거듭 곱해집니다(WT). 행렬의 고윳값이 1보다 작으면 기울기가 지수적으로 0으로 소실되어 먼 과거 문맥을 전혀 학습하지 못하고, 1보다 크면 무한대로 폭발해 가중치가 NaN으로 발산합니다.

3. 환각의 자기 증폭 (Hallucination Amplification)

외부의 객관적 검증(코드 실행, 수학 증명기, 사실 확인 DB) 없이 LLM이 자기 자신의 글만 보고 반성하는 순수 재귀(Self-Consistency without Grounding)를 돌리면, 초기 단계에 우연히 생성한 거짓 정보(환각)를 다음 단계에서 기정사실로 전제하고 논리를 정교화하여 더욱 그럴듯하고 견고한 거짓말을 양산하는 에코 체임버(Echo Chamber)에 빠집니다.

4. 에이전트 무한 재귀 루프 & 비용·자원 폭주

프로그래밍의 콜 스택 오버플로우와 유사하게, 자율 AI 에이전트가 명확한 기저 조건(Base Case)과 최대 반복 깊이(Max Iterations) 제한 없이 자기 자신을 계속 호출하거나 하위 에이전트에게 같은 과업을 무한 위임하면, 멈추지 않는 무한 루프에 빠져 막대한 API 과금 폭탄과 시스템 마비를 초래합니다.

🛡️ 핵심 안전 장치 (Mitigation): 모델 붕괴를 막기 위해서는 ① 인간 생성 원본 데이터와 합성 데이터의 엄격한 혼합(Data Anchoring)과 ② 컴파일러·단위 테스트·물리 시뮬레이터 등 외부 객관 검증기(External Verifier)를 재귀 루프의 기저 조건으로 반드시 결합해야 합니다.
Section 05

재귀적 용법 고전 원전 사료 · 예제 & 영상 (Original & Video)

기존 문서에 수록된 강원대 재귀적 용법 강의 원문, 재귀 애니메이션 링크, 그리고 유튜브 영상을 100% 보존합니다.

재귀적 용법은 수학에서 무한한 값을 유한하게 표현하기 위한 재귀적 수식으로부터 유래한 것으로서 의미와 표현방법에 있어서 동일하다. 예를 들면 수학에서 양의 정수를 모두 표현할 수 없으나, 재귀적 함수식을 사용하면 값을 모두 정의할 수 있다.

n = 0  ⇒  f(n) = 0
n = 1  ⇒  f(n) = 1
n > 1  ⇒  f(n) = f(n - 1) + 1

재귀적 함수식을 사용하는 또 다른 예로 n에 대한 factorial 값은 다음과 같이 재귀적으로 정의할 수 있다.

n = 0  ⇒  fac(n) = 1
n = 1  ⇒  fac(n) = 1
n > 1  ⇒  fac(n) = n * fac(n - 1)

재귀적 표현을 그대로 프로그래밍 언어로 표현한 것이 소위 재귀적 함수 (recursive function) 이다. 프로그래밍 언어에서 재귀적 함수는 두 가지 방법으로 관찰된다.

  • 함수 안에서 자기 자신의 함수를 직접 호출하는 방법
  • 두개의 함수가 상호간 호출하는 방법

재귀적 용법은 함수에만 국한되지 않고, 자료형에도 적용된다. 즉 구조체(레코드)에서 데이터 항목이 자신과 동일한 구조체형으로 정의되는 경우를 자료형의 재귀적 용법이라고 한다.

— (재귀적 용법 : 강원대)
🎬 무한의 연결고리 : 2014/08/23
Section 06

관련 핵심 용어 및 웹 사이트 (Terms & Sites)

기존 문서에 수록되어 있던 15개 내부 용어 링크(프랙탈, 괴델·에셔·바흐, 하노이탑 등)와 외부 백과사전 링크를 100% 보존합니다.