AI Study
선제적 외란 예측 제어에서 다층 퍼셉트론(MLP) · 트랜스포머 FFN · MoE 전문가 지식 저장소까지

Feedforward (피드포워드)

AI 와 제어 공학(Control Engineering) 분야에서 피드포워드(Feedforward, 순방향 / 앞먹임) 는 신호나 데이터가 한쪽 방향(입력에서 출력 방향) 으로만 흐르며, 사전에 예측하거나 계산된 값을 미리 반영하여 오차를 줄이는 방식을 뜻합니다.
두 분야에서 각각 어떤 의미로 쓰이는지 나누어 보면 다음과 같습니다.

1. 인공지능(AI) 및 딥러닝 분야에서의 Feedforward

피드포워드 신경망 (FNN, Feedforward Neural Network):

  • 데이터가 입력층(Input Layer) → 은닉층(Hidden Layer) → 출력층(Output Layer) 순으로 단방향으로만 흐르는 가장 기본적인 인공신경망 구조입니다.
  • 순환 신경망(RNN)처럼 이전 상태로 돌아가는 순환 구조(Feedback loop)나 데이터의 회전이 없습니다.
  • 대표적인 예로 다층 퍼셉트론(MLP)이나 트랜스포머(Transformer) 내부의 위치별 피드포워드 신경망(Position-wise FFN) 등이 있습니다.

2. 제어 공학(Control Engineering) 분야에서의 Feedforward

피드포워드 제어 (Feedforward Control):

시스템에 이미 발생한 오차를 보고 뒤늦게 수정하는 방식(피드백 제어)과 달리, 외란(Disturbance)이나 목표값 변경을 미리 감지하여 오차가 생기기 전에 선제적으로 제어량을 조절하는 방식입니다.

피드백 제어와의 차이점:

• 피드백(Feedback): "결과를 보고 고침" (사후약방문, 오차가 난 뒤에 수정)
• 피드포워드(Feedforward): "미리 예측해서 아예 오차가 안 나게 함" (사전 대응)

실제로는 피드포워드 제어로 큰 흐름(벌크 동작)을 미리 처리하고, 완벽하게 예측하지 못한 미세한 오차는 피드백 제어가 보완하는 형태로 함께 사용됩니다.

Feedforward(피드포워드)는 제어공학과 인공지능(AI) 모두에서 중추적인 역할을 하는 패러다임입니다. 제어공학에서는 "오차가 발생하기 전에 외란(Disturbance)을 미리 측정하여 선제적으로 차단하는 사전 예방적 제어"를 뜻하며, 인공지능에서는 "되먹임 루프 없이 정보가 입력층에서 출력층으로 오직 앞 방향으로만 흐르는 순방향 신경망(Feedforward Neural Network)"을 의미합니다. 오늘날 최신 거대언어모델(LLM)인 트랜스포머(Transformer) 블록의 핵심 지식 저장소(FFN Layer)와 전문가 혼합(MoE) 구조의 핵심 토대로서 AI의 진화를 이끌고 있습니다.

Section 01 · Foundational Principles

Feedforward의 핵심 개념과 작동 원리

피드포워드의 핵심 철학은 "지연 없는 선제적 대응(Proactive Control)"과 "루프 없는 비순환 순방향 흐름(Directed Acyclic Flow)"에 있습니다. 결과가 발생한 뒤 오차를 보고 뒤늦게 교정하는 피드백(Feedback)과 달리, 입력과 원인을 사전에 파악하여 행동을 즉각 도출합니다.

핵심 원리 01 · 원인 감지와 선제 보상

선제적 인과 제어 (Proactive Pre-compensation)

사건이 일어난 '이후'에 출력을 측정하여 수정하는 피드백과 달리, 피드포워드는 사건이 발생하기 '이전'에 시스템에 유입되는 원인(외란이나 목표 입력)을 미리 계측합니다. 시스템의 수학적 전달 특성을 역으로 계산하여 외란이 출력에 나쁜 영향을 미치기 전에 상쇄 신호를 발생시킵니다.

핵심 원리 02 · 비순환 위상 구조

비순환 계층 흐름 (Loop-free Directed Topology)

신경망과 네트워크 토폴로지에서 피드포워드는 순환 루프(Recurrent Loop)나 자기 참조 연결이 전혀 존재하지 않는 유향 비순환 그래프(DAG) 형태를 뜻합니다. 정보가 오직 하위 계층에서 상위 계층으로 단방향 전파되므로, 연산의 복잡도가 유한하고 시간 지연에 따른 예측 불가능한 발진이나 불안정성 위험이 원천 차단됩니다.

Section 02 · Industrial Automation & Process Control

제어공학에서의 Feedforward Control (선제적 외란 제어)

화학 공정, 발전소, 모터 구동 등 산업 현장에서 Feedforward Control(앞먹임 제어)은 공정의 출력(온도, 압력, 수위)이 변할 때까지 기다리지 않고, 공정에 진입하는 유량 변동이나 기온 변화 같은 외란(Disturbance)을 감지하는 즉시 밸브나 히터 전력을 미리 조절하는 고성능 제어 기법입니다.

01

시간 지연(Time Lag)의 완벽한 극복

보일러처럼 열용량이 크거나 수송관이 긴 시스템은 피드백 제어만 쓰면 수 분에서 수십 분의 시간 지연이 발생해 큰 오버슈트(Overshoot)가 일어납니다. 피드포워드는 찬물이 유입되는 순간 열량을 즉각 높여 출구 수온의 변동 자체를 사전에 막습니다.

02

공정 역모델(Inverse Model)의 의존성

피드포워드가 완벽히 작동하려면 "외란이 공정에 미치는 영향"과 "제어 입력이 공정에 미치는 영향"을 나타내는 전달함수 모델이 매우 정확해야 합니다. 모델링 오차가 있으면 편차가 영구적으로 남을 수 있습니다.

03

Feedback + Feedforward 복합 제어

실제 산업계에서는 피드포워드가 측정 가능한 주요 외란의 80~90%를 선제 차단하고, 모델 오차나 측정 불가능한 미세 외란은 피드백(PID 제어기)이 뒤에서 정밀하게 마무리하는 복합 하이브리드 제어계를 구성합니다.

Section 03 · Connectionism & Deep Learning

AI 및 딥러닝에서의 Feedforward (순방향 신경망, FFN / MLP)

인공지능에서 피드포워드 신경망(Feedforward Neural Network, FFN)은 "인간 망막의 시각 피질처럼 입력 신호가 은닉층을 거쳐 출력층까지 역류하지 않고 순방향으로 직진하는 인공신경망의 가장 표준적이고 강력한 기초 형태"입니다.

다층 퍼셉트론(MLP)과 보편 근사 정리

프랑크 로젠블랫의 단층 퍼셉트론에서 발전한 다층 퍼셉트론(MLP)은 선형 변환 행렬 W와 비선형 활성화 함수(ReLU, GELU)를 층층이 결합합니다. 시벤코(Cybenko)와 호닉(Hornik)의 보편 근사 정리(Universal Approximation Theorem)에 따라, 비선형 활성화 함수를 가진 피드포워드 신경망은 충분한 은닉 노드만 갖추어지면 어떠한 복잡한 다차원 연속 함수라도 임의의 정밀도로 모사할 수 있습니다.

피드포워드망(FFN) vs 순환신경망(RNN)

피터 벤틀리(Peter J. Bentley)가 지적했듯, 순환신경망(RNN/LSTM)은 내부 루프 메모리를 가짐으로써 시계열이나 동적 제어에 강하지만 장기 의존성 학습 시 기울기 소실/폭발(Vanishing/Exploding Gradient) 문제를 겪고 병렬화가 불가능합니다. 반면 피드포워드망은 루프가 없어 수식 해석이 명쾌하고 대규모 GPU 병렬 연산에 최적화되어 현대 딥러닝과 트랜스포머의 주역이 되었습니다.

Section 04 · Cross-Disciplinary Comparison

제어공학의 Feedforward vs AI의 Feedforward 비교 분석

비교 항목 제어공학에서의 Feedforward (제어 기법) AI / 머신러닝에서의 Feedforward (모델 구조)
개념적 정체성 사전 예측적 제어 알고리즘(Action Strategy)
외란이 출력에 도달하기 전 상쇄 신호 주입
비순환 신경망 구조(Network Topology)
순환 루프 없이 입력에서 출력으로 단방향 전파
주요 입력 대상 공정에 유입되는 측정 가능한 물리적 외란(d) 및 목표값(r) 고차원 데이터 벡터(텍스트 토큰 임베딩, 이미지 픽셀)
시스템 모델링 공정의 정확한 미분방정식/전달함수 역모델 필수 데이터 주도적(Data-driven) 가중치 역전파 학습
피드백과의 관계 피드포워드로 대형 외란 선제거 + 피드백으로 미세 잔여 오차 정밀 제거 (보완적 하이브리드) 추론 시에는 순방향 피드포워드만 동작, 훈련 시에는 오차 역전파(Backprop) 피드백 사용
대표적 적용 분야 화학 반응기 유량 선제어, 드론 풍속 보상 이륙, 로봇 중력 보상 토크 다층 퍼셉트론(MLP), 트랜스포머 FFN 서브레이어, MoE 라우팅 레이어
Section 05 · Cutting-Edge Transformer & LLM Architecture

최신 LLM(거대언어모델) 발전에 미친 Feedforward의 결정적 영향

"Attention is All You Need"로 트랜스포머가 AI를 점령한 이후, 대중의 관심은 주의 집중(Self-Attention)에 쏠렸으나, 실제 LLM 파라미터의 약 67%(3분의 2)는 각 트랜스포머 블록 내부의 피드포워드 신경망(FFN Layer)에 집중되어 있습니다. 최신 연구들은 FFN이 LLM의 두뇌에서 어떤 결정적 역할을 하는지 밝혀냈습니다.

LLM 역할 01 · 사실적 지식의 영구 저장소

키-값(Key-Value) 연상 기억 장치로서의 FFN

길레바(Geva et al.) 등의 혁신적 연구에 따르면, 어텐션 레이어가 문맥 내 토큰들 사이의 관계를 라우팅(정보 전달)하는 역할을 한다면, FFN 레이어는 세상에 대한 방대한 사실적 지식(Factual Knowledge)을 영구 저장하는 연상 기억 장치(Key-Value Memory)로 작동합니다. 첫 번째 선형 계층이 입력 문맥에서 패턴(Key)을 감지하고, 두 번째 선형 계층이 대응하는 사실 정보(Value)를 출력 벡터에 주입합니다.

LLM 역할 02 · 초거대 모델의 희소 연산 혁명

전문가 혼합(MoE, Mixture of Experts)과 FFN 확장

GPT-4, Mixtral, DeepSeek-V3 등 최신 프론티어 LLM은 단일 FFN 대신 수십~수백 개의 특화된 피드포워드 전문가 블록(Sparse MoE)을 배치합니다. 라우터 신경망이 토큰마다 가장 적합한 상위 2~8개의 FFN 전문가만 선별적으로 활성화(Feedforward)함으로써, 모델 파라미터 규모는 수천억 개로 키우면서도 연산 비용과 추론 지연 시간(Latency)은 획기적으로 낮추는 인프라 혁신을 달성했습니다.

LLM 역할 03 · 게이팅 메커니즘을 결합한 비선형성

SwiGLU 게이트 피드포워드 네트워크

LLaMA, Mistral, Gemma 등 현대 최고 성능의 오픈소스 LLM들은 전통적인 ReLU/GELU FFN 대신 노암 샤지어(Noam Shazeer)가 제안한 SwiGLU(Swish-Gated Linear Unit) 피드포워드 구조를 표준으로 채택하고 있습니다. 두 개의 순방향 행렬 곱이 소소한 정보 필터(Gating) 역할을 하여 표현력을 극대화합니다.

LLM 역할 04 · 추론 서빙 최적화

텐서 병렬화(TP)와 초고속 토큰 생성

토큰 간의 상호 작용이 필요한 어텐션과 달리, FFN 레이어는 각 토큰에 대해 완전히 독립적으로(Pointwise) 연산됩니다. 따라서 GPU 클러스터 간에 토큰 또는 채널 축을 따라 통신 오버헤드 없이 완벽하게 병렬화할 수 있어 초당 수백 토큰의 실시간 서빙 성능을 가능하게 합니다.

Section 06 · Historical Archive & Links Preservation

역사적 도해 보존 및 연관 연구 네트워크

[보존 원본 도해] Feedforward and Feedback Control System for Average Level Control

피드포워드 및 피드백 복합 수위 제어 시스템 모식도

유입 유량(Disturbance)을 측정하여 밸브를 선제 제어하는 Feedforward 루프와, 최종 수위(Level)를 측정하여 오차를 보정하는 Feedback 루프의 결합도