AI Study
로봇 시스템의 중추 신경망과 실시간 모션 제어 연산 아키텍처

로봇 제어기 (Robot Controller)

로봇에서 컨트롤러(Controller) 는 사람의 '두뇌와 신경계'에 해당하는 핵심 제어 장치입니다. 센서로부터 정보를 받아 분석하고, 로봇의 모터와 관절을 움직여 원하는 작업을 수행하도록 총괄합니다.

주요 역할과 기능
  • 정보 처리 (두뇌 역할): 센서(눈·귀 역할)가 수집한 외부 환경이나 위치 데이터를 실시간으로 분석합니다.
  • 동작 제어 (신경계 역할): 계산된 결과에 맞춰 각 관절의 서보 모터나 액추에이터에 정확한 각도와 속도 명령을 전송합니다.
  • 안전 및 모니터링: 로봇의 과부하, 충돌 위험 등을 감지하고 비상 정지나 속도 제한 같은 안전 기능을 수행합니다.
  • 통신 및 프로그래밍: 외부 기기(PLC, PC 등)와 데이터를 주고받으며, 사용자가 입력한 작업 프로그램(Script)에 따라 시퀀스를 실행합니다.

로봇의 모든 관절 운동과 작업 시퀀스를 총괄하는 정보 처리 및 통신 장치. 감각 센서 피드백을 실시간(kHz) 수집하고 역기구학·역동역학을 연산하여 액추에이터를 구동하는 핵심 역할과 구성 요소, James G. Keramas 교수의 원전 사료, 그리고 최신 LLM(대규모 언어 모델)과 VLA 파운데이션 모델이 촉발한 차세대 지능 제어기 혁신을 인포그래픽과 함께 심층 분석합니다.

#Robot_Controller #Kinematics_Dynamics #Closed_Loop_Feedback #James_G_Keramas #5가지_제어기_진화 #LLM_Dual_Loop_Control #Code_as_Policies #VLA_End_to_End
1

로봇에서 제어기(Controller)의 주요 역할과 기능

작업 명령 해석, 기구학·동역학 실시간 연산 및 오차 보정 폐루프 제어

로봇 공학에서 제어기(Controller)는 사람의 대뇌(고수준 인지·계획)와 소뇌·척수 신경망(정밀 반사 및 근육 모터 제어)을 통합한 로봇의 핵심 제어 장치입니다. 상위 작업 지시를 받아들여 다자유도(Multi-DOF) 로봇 팔과 관절들이 주변 환경과 충돌하지 않고 매끄럽게 목표 지점에 도달할 수 있도록 밀리초(ms) 단위 이하로 구동 신호를 계산합니다.

1 감각-지각 실시간 수집

엔코더, 타코미터, IMU(관성측정장치), 6축 F/T(힘·토크) 센서, 카메라 등의 신호를 1,000Hz 주기로 읽어들여 로봇의 현재 관절 각도와 속도, 자세를 실시간 추정합니다.

2 기구학 & 동역학 연산

말단장치(End-Effector)의 3D 목표 좌표를 각 관절 각도로 바꾸는 역기구학(IK)과, 중력·코리올리 힘·원심력을 상쇄하는 역동역학(Inverse Dynamics) 토크를 실시간 계산합니다.

3 궤적 생성 & 보간 (Jerk 제한)

지정된 경유점들 사이를 로봇이 기계적 진동 없이 부드럽게 통과하도록 S-커브(S-curve) 가감속 프로파일과 스플라인 궤적을 실시간 보간(Interpolation) 생성합니다.

4 폐루프 보정 & 안전 감시

PID 및 임피던스 제어 루프를 통해 외란에 의한 오차를 0으로 수렴시키며, 작업자 충돌 감지 시 0.01초 내로 비상 정지(E-Stop) 및 토크 차단을 수행하는 안전(Safety) 규격을 집행합니다.

2

로봇 제어기의 핵심 구성 요소 (Hardware & Software)

마이크로프로세서 네트워크, 실시간 OS(RTOS), 모션 드라이브 및 입출력 인터페이스

🖥️ 하드웨어 구성 요소 (Hardware Stack)

물리 장치 계층
  • 1. 메인 연산 컴퓨터 (Main CPU / IPC) 산업용 PC 또는 고성능 멀티코어 임베디드 보드(Intel/ARM, NVIDIA Jetson). 전체 작업 시퀀스 해석, 고차원 경로 계획, 통신 오케스트레이션을 총괄합니다.
  • 2. 모션 서브 컨트롤러 (DSP & FPGA) 수십 개의 관절 모터를 마이크로초(μs) 단위로 정밀 동기화하는 전용 프로세서. 자속기준제어(FOC) 및 PWM 펄스를 실시간 발생시킵니다.
  • 3. 산업용 실시간 통신 버스 (Fieldbus) EtherCAT, CANopen, PROFINET 등 결정론적(Deterministic) 고속 네트워크를 통해 제어기와 모터 서보 드라이브 간 지연 없는 통신을 보장합니다.
  • 4. 입출력 인터페이스 & 메모리 (I/O & Memory) 공압 밸브, 그리퍼 구동용 디지털/아날로그 I/O 포트 및 작업 레시피와 캘리브레이션 파라미터를 영구 보존하는 반도체 메모리(Solid-state Memory).

⚙️ 소프트웨어 아키텍처 (Software Stack)

제어 알고리즘 계층
  • 1. 실시간 운영체제 (RTOS) Linux PREEMPT_RT, VxWorks, QNX. 지정된 제어 주기(예: 1ms) 내에 연산이 반드시 완료되도록 태스크 우선순위와 지터를 엄격히 통제합니다.
  • 2. 로봇 미들웨어 (ROS 2 / micro-ROS) 분산 노드 간의 비동기 메시지 교환(DDS 프로토콜)을 처리하며, 센서 데이터 브로드캐스팅 및 모듈식 노드 관리를 지원합니다.
  • 3. 피드백 제어기 라이브러리 (Control Loop) 위치·속도를 제어하는 관절 궤적 제어기(Joint Trajectory Controller), 작업 공간 제어기(Cartesian Impedance Controller) 및 중력 보상 알고리즘.
  • 4. 상태 기계 및 안전 인터락 (Interlock & FSM) 관절 한계각도 초과, 과전류 발생, 세이프티 라이트 커튼 차단 시 액추에이터 전원을 즉각 차단하고 제어 상태를 보호하는 시스템.
3

James G. Keramas 교수의 로봇 제어기 원전 사료

로봇 공학 고전 명저 《Robot Technology Fundamentals》 핵심 정의 및 5가지 제어기 형태

📖 James G. Keramas 원전 텍스트 인용

"제어기(controller)는 로봇의 운동과 시퀀스를 총괄하는 통신과 정보처리 장치이다. 제어기는 필요한 입력들을 받아, 로봇의 실제 움직임과 원하는 움직임이 일치하도록 제어모터 또는 액추에이터에 출력 구동신호들을 준다. 제어기는 복잡성과 디자인에서 매우 많은 변화를 했다. 제어기는 로봇에 기본적인 능력을 부여해야 하고 로봇이 수행해야 할 복잡한 작업들도 가능하게 해야 한다."

"제어기의 중심부는 컴퓨터이고, 반도체 메모리(solid-state memory)이다. 대부분의 로봇 제어기에는 컴퓨터가 마이크로프로세서의 네트워크를 포함하고 있다. 제어 시스템의 입력부와 출력부는 로봇 제어기인 컴퓨터와 다양한 센서, 구동 모터들과의 통신 인터페이스를 제공해야 한다."

원전 수록 도면

그림 1 : 로봇 제어기의 5가지 형태 (Five Controller Types)

로봇 제어기의 5가지 형태 (James G. Keramas)

📌 그림 1 상세 해설 (자료 : Digital Equipment Corp. / James G. Keramas) :

  • (a) 개루프 제어기 (Open-Loop Controller) : 구동 신호는 액추에이터로 전달되지만 피드백은 없음 (예: 스테핑 모터).
  • (b) 뱅뱅(Bang-bang), 온오프(On-off), 또는 비서보 제어기 : 구동 신호가 전달되지만, 지정된 위치(리미트 스위치)에 도달했을 때에만 접점 피드백 신호가 있음.
  • (c) 서보 제어기 (Servo Controller) : 액추에이터로 보내진 구동 신호가 구동축에서 측정된 실제 신호(엔코더/타코미터)와 실시간 비교되어 오차를 연속 제어함.
  • (d) 폐루프 지역 제어기 (Closed-Loop Local Controller) : 잘 조직된 방식에 의해 다자유도 축 전체를 협조 제어함.
  • (e) 지능 폐루프 제어기 (Intelligent Closed-Loop Controller) : 지역 센서뿐만 아니라 시각(Vision)과 촉각(Tactile) 등 광역 환경 센서가 통합되어 로봇의 운동과 작업을 실시간 생성·수정함. (현대 Physical AI의 뿌리!)
4

제어 방식의 본질적 분류 : 비서보(Nonservo) vs 서보(Servo) 제어기

개루프 시스템의 경제성과 폐루프 시스템의 정밀 궤적 연속 제어

개루프 / 온오프

비서보(nonservo) 제어기

중간 위치에 대한 피드백 센서가 전혀 없는 단순 시스템. 공압 또는 유압 밸브가 열리면 최대 속도로 움직이다가, 축 끝에 장착된 기계적 리미트 스위치(Limit Switch)에 도달할 때만 신호를 받아 정지합니다.

• 특징: 저비용, 단순 구조, 초고속 피크앤플레이스, 비지능적 기계 분류.
폐루프 / 연속 피드백

서보(servo) 제어기

각 관절 축에 엔코더와 타코미터가 장착되어 현재 위치를 실시간 보고하는 시스템. 목표 위치와 현재 위치의 오차 신호(Error Signal)를 감산 계산하여 모터 전류를 연속 제어합니다.

• 특징: 작업 공간 내 임의 점 정지, 고정밀 궤적 제어, 지능적 로봇 분류.
연속 경로 윤곽면

서보제어(servo-controlled)

수백, 수천 개의 3차원 위치 좌표를 제어기 메모리에 저장하고, 경로를 따라 이동하는 속도와 가속도를 정밀 제어하여 복잡한 윤곽면(Contour)을 따라 부드럽게 작업하는 완성형 서보 시스템입니다.

• 특징: 자동차 도장, 정밀 아크 용접, CNC 머시닝 등 최고난도 공정 전담.
5

최신 LLM 등장 이후 로봇 제어기(Controller)의 변화와 혁신 (Deep Research)

하드코딩된 FSM에서 VLA 파운데이션 모델과 듀얼루프(Dual-Loop) 지능 오케스트레이션으로의 대도약

과거의 로봇 컨트롤러는 엔지니어가 수작업으로 티칭 펜던트를 조작하여 작성한 고정된 유한 상태 기계(FSM)와 PID 파라미터를 맹목적으로 실행하는 폐쇄적 실행기(Closed Executor)에 불과했습니다. 그러나 최신 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)의 등장은 컨트롤러의 두뇌와 신경망 아키텍처를 근본적으로 뒤바꾸어 놓았습니다.

혁신 1 : 자율 코드 합성 Code as Policies

1. 정책으로서의 코드(CaP) : 실시간 제어 로직 합성

컨트롤러에 새로운 동작을 추가하기 위해 엔지니어가 C++ 코드를 다시 컴파일할 필요가 없어졌습니다. Google의 Code as Policies(CaP) 프레임워크에서 LLM은 자연어 지시("물건들을 크기순으로 나열하라")를 받으면, 비전 API와 모션 컨트롤러 API를 호출하는 Python 제어 코드를 즉석에서 실시간 합성하여 제어기 루프(`for`, `while`, `if/else`)에 즉각 주입·실행합니다.

혁신 2 : 계층적 듀얼 루프 Slow & Fast Loops

2. 인지(Cognition)와 모터(Motor)의 듀얼루프 계층 분리

컨트롤러는 두 가지 시간 축을 조화롭게 분리하여 구동됩니다:
• 느린 인지 루프 (Slow Loop, 1~5Hz): VLM/LLM이 카메라 영상을 보고 의미적 상황 이해, 어포던스 판별, 작업 계획 및 고수준 웨이포인트를 수립.
• 빠른 모터 루프 (Fast Loop, 500~1000Hz): RTOS 기반 임베디드 컨트롤러가 관성 보상, 접촉력 감지 및 임피던스 토크를 실시간 제어하여 안전성을 완벽 보장.

혁신 3 : VLA 통합 End-to-End Action

3. VLA 파운데이션 모델의 컨트롤러 내재화 (RT-2, OpenVLA, Pi-0)

작업 계획기, 궤적 생성기, 역기구학 모듈을 따로 두던 복잡한 고전 컨트롤러 파이프라인 대신, 단일 멀티모달 트랜스포머가 카메라 영상과 언어를 입력받아 직접 로봇 관절 모터의 서보 지령(Delta Pose / Torque 토큰)을 출력합니다. 제어기가 이제 별도의 소프트웨어 뭉치가 아니라 하나의 거대한 '체화된 인공지능 신경망'으로 융합되고 있습니다.

혁신 4 : 자율 게인 튜닝 NVIDIA Eureka

4. 제어기 게인과 보상 함수의 자율 설계 (NVIDIA Eureka)

수십 년간 제어 엔지니어의 가장 큰 고통이었던 PID 게인 튜닝과 복잡한 작업 보상 함수 설계를 LLM이 GPU 가상 시뮬레이션(Isaac Gym) 내에서 스스로 수행합니다. LLM이 강화학습 코드를 작성하고 시뮬레이션 결과 데이터를 리플렉션(Reflection)하여 인간 전문가보다 더 뛰어난 다자유도 손가락 펜 돌리기, 불규칙 지형 균형 제어기를 스스로 완성합니다.

6

핵심 인포그래픽 (Infographics) : 제어기 구조와 진화 로드맵

시각적 다이어그램으로 한눈에 파악하는 차세대 제어 아키텍처

📊 인포그래픽 1 : 전통적 로봇 컨트롤러의 하드웨어·소프트웨어 통합 블록선도 전통 아키텍처
상위 지령부
티칭 펜던트 & HMI

작업자 지령 입력, 웨이포인트 티칭, 시퀀스 레시피 저장

두뇌 연산부
IPC / 메인 CPU (RTOS)

작업 계획 해석, 역기구학(IK), S-커브 궤적 보간 생성

모션 제어부
DSP / EtherCAT 마스터

PID / FOC 전류 연산, 서보 드라이브로 1,000Hz 토크 지령 전송

피드백 구동부
모터 & 엔코더 센서

실제 각도·속도 측정 ➔ 제어기로 실시간 오차 피드백

📊 인포그래픽 2 : 로봇 제어기 60년 진화 계보 (Keramas에서 LLM까지) 1960 ~ 2026
1세대 (1960s) : 개루프 온오프 비서보 제어기 릴레이 회로, 공압 실린더, 리미트 스위치 고정 정지 (Prab 로봇)
2세대 (1980s) : 마이크로프로세서 기반 서보 제어기 엔코더 피드백, 아날로그 서보 앰프, 단일 축 PTP 위치 제어
3세대 (2000s) : 산업용 PC 및 다축 동기화 EtherCAT 제어기 RTOS(VxWorks), 6자유도 역기구학 실시간 보간, 티칭 펜던트
4세대 (2015s) : 협동로봇 임피던스 및 ROS 2 미들웨어 제어기 토크 센서 피드백, 충돌 감지 컴플라이언스, 모듈식 ROS 노드
5세대 (2024~2026 현재) : LLM·VLA 융합 차세대 Physical AI 제어기 자연어 지시 이해, 실시간 코드 합성(CaP), 종단간 토큰 모터 제어
📊 인포그래픽 3 : 2026 차세대 듀얼루프(Dual-Loop) 지능형 제어기 구조 시스템 1 & 시스템 2 결합
🧠 느린 인지 루프 (Slow Loop : 1~5Hz) 시스템 2 심사숙고

• VLM / 멀티모달 LLM이 카메라 영상을 보고 시맨틱 장면 분석
• 인간 명령 ("쓰레기를 주워 상자에 넣어라")을 단계별 과업 분해
• 파지 어포던스 및 장애물 회피 고수준 궤적 가이드 생성
• 작업 실패 시 자가 반성(Self-Reflection)을 통한 동적 재계획

⚡ 빠른 모터 루프 (Fast Loop : 1,000Hz) 시스템 1 신속 반사

• RTOS 기반 실시간 토크·위치·속도 폐루프 제어
• 토크 센서를 통한 충돌 즉시 감지 및 컴플라이언트 충격 흡수
• 1ms 주기의 관성 보상 및 역동역학(Inverse Dynamics) 피드포워드
• 작업자 접근 시 10ms 내 비상 정지 안전 규격(ISO 10218) 완벽 집행