홈 > 인공지능(AI) > 심리학(Psychology) > 지각(Perception) > 심층 연구 : 인간 지각 모방과 LLM·로봇 기술 체계
🔬 Deep Research · Native Omnimodal · Active Vision-CoT · Biomimetic Sensing · Dual-System VLA · Neuromorphic SNN

인간의 지각을 모방하는 LLM과 로봇의 핵심 기술

초기 융합 옴니모달 아키텍처, 능동적 시각 주의, 생체 모방 센서(DVS·광학촉각·e-skin), 듀얼 시스템 VLA 및 뉴로모픽 제어의 진화와 4대 구조적 병목 심층 분석

SPECIAL MONOGRAPH PERCEPTION & LLM
📑 빠른 목차 바로가기 (Quick Directory)
CHAPTER 01 · OVERVIEW

1. 총론: 다감각 통합과 폐쇄 루프 지각-행동 패러다임

인간의 지각(perception)을 모방하는 LLM과 로봇 기술은 정적인 2차원 이미지·텍스트 분류를 넘어, 다중 감각을 단일 표현 공간에 통합하고 능동적으로 시선을 옮겨 단서를 탐색하며 3차원 공간과 직관 물리학을 내재화한 뒤, 숙고와 고속 운동 반사를 하나의 폐쇄 루프로 결합하는 방향으로 발전하고 있다.

AI & MLLM 영역

소프트웨어적 지각의 네이티브화

별도 인코더를 사후 연결하던 방식에서 벗어나 모든 감각 입력을 처음부터 단일 공간에 투영하는 초기 융합(Early-Fusion) 네이티브 멀티모달 모델, 실시간 듣기·말하기를 동기화한 Thinker–Talker 스트리밍 구조, 자가 크롭과 반복 검증으로 추론하는 능동적 시각 주의(Visual-CoT), 장기 영상을 압축·회상하는 계층적 일화 기억, 잠재 표현 예측 기반의 3차원·직관 물리 모델(SpatialVLM, V-JEPA)이 핵심 축을 이룬다.

로보틱스 & 신체화 영역

물리적 체화 및 생체 모방 하드웨어

망막 신경절 세포의 비동기 발화를 본뜬 이벤트 카메라(DVS), 인간 피부의 미세 변형·힘·미끄러짐을 감지하는 광학 촉각 센서 및 유연 전자 피부(e-skin), 머리전달함수(HRTF) 기반 양이 청각과 고속 전자 코(e-nose)가 생체 모방 감각 하드웨어를 구현한다. 나아가 듀얼 시스템 VLA, 촉각 결합 VTLA, 1인칭 인간 시점 모방 학습, 뉴로모픽 칩(Loihi 2) 기반 SNN이 지각과 물리적 행동을 실시간으로 잇는다.

다만 현재의 인공 지각은 인간 수준에 비해 여전히 뚜렷한 구조적 한계를 드러낸다. CVPR 2025의 3차원 공간 지각 벤치마크(VSI-Bench)에서 인간 평가자는 평균 79% 정확도로 최고 성능 MLLM을 33% 앞섰고(Gemini-1.5 Pro 48.8%), 산업 분석 리포트(Pebblous)에 인용된 제로샷 평가에서 최첨단 VLA 모델(π0.5)조차 평균 42.3%의 과제 진척률(약 57.7% 미완료)에 머물렀다. 또한 전이중(full-duplex) 옴니모달 스트리밍의 안정화, 촉각 센서의 시뮬레이션-현실 격차 해소, 감각 열화 환경에서의 강건성 확보 역시 여전히 풀어야 할 핵심 난제로 남아 있다.

CHAPTER 02 · EARLY-FUSION ARCHITECTURE

2. LLM과 MLLM의 통합 감각 처리 및 실시간 옴니모달 아키텍처

초기 MLLM은 사전 학습된 시각 인코더(ViT 등)와 텍스트 LLM 백본을 어댑터나 교차 어텐션으로 사후 결합하는 "볼트온(bolt-on)" 방식의 중기·후기 융합에 의존했다. 그러나 독립적으로 동결된 단일 모달 인코더에 기대는 비대칭 구조는 모달리티 간 정보 병목을 일으켜 세밀한 시각·청각-언어 상호작용을 제약한다.

이를 극복하기 위해 부상한 초기 융합(Early-Fusion) 네이티브 멀티모달 모델(NMM)은 별도의 동결 인코더를 거치지 않고 단일 변환 연산자를 통해 텍스트, 이미지 패치, 오디오, 비디오 토큰을 처음부터 하나의 공유 임베딩 공간에 동등한 토큰으로 투영해 단일 트랜스포머 백본으로 처리한다. Chameleon, Transfusion, AnyGPT, Emu3, Show-o, Llama 4 등이 대표적이며, 이는 감각 이해(M2T)와 다중모달 생성(M2G, M2M)을 단일 모델 안에서 대칭적으로 수행하는 통합 세계 모델러(unified world modeler)를 지향한다.

🔬 EMNLP 2026 네이티브 멀티모달 로드맵 분석 : 초기 융합의 학습 안정화 기전

EMNLP 2026 네이티브 멀티모달 로드맵 논문과 이를 분석한 기술 해설에 따르면, 초기 융합은 단순한 구조 변경이 아니라 중기 융합과 전혀 다른 학습 안정화 조건을 요구하는 별도의 학습 체제다. Chameleon의 절제 실험에서는 어텐션 발산을 막는 QK-Norm이 없으면 학습 약 20% 시점에서 모델이 발산했으며, 이질적인 어휘 분포에서 로짓 폭주를 제어하는 z-loss 정규화가 필수 전제조건으로 확인되었다.

아울러 연속적 감각 신호를 이산 토큰으로 변환할 때 발생하는 정보 손실과 이해-생성 능력 간 충돌을 완화하기 위해, Transfusion처럼 자기회귀 다음 토큰 예측(NTP) 손실과 확산(DDPM) 손실을 결합하거나 Show-o처럼 이미지 영역에 마스크 토큰 예측을 적용하고, 인코더별 차등 학습률 대신 배치 내 모달리티 혼합 비율 스케줄링으로 기울기 방향을 조절하는 전략이 활용된다.

실시간 감각-발화 동기화 : Thinker–Talker 아키텍처

인간이 상대방의 말을 듣고 장면을 보면서 동시에 발화를 준비·생성하는 실시간 감각-발화 동기화를 모방한 대표적 설계는 알리바바 Qwen 팀의 Thinker–Talker 아키텍처(Qwen2.5-Omni, Qwen3-Omni 등)다.

  • • Thinker (두뇌 역할): 텍스트, 이미지(약 6억 7,500만 파라미터 ViT), 16 kHz 128채널 멜-스펙트로그램 오디오(프레임당 약 40 ms), 동적 프레임률 비디오를 통합해 고차원 은닉 표현과 텍스트 생성.
  • • Talker (입술 역할): 이중 트랙 자기회귀 디코더로서, Thinker의 고차원 표현을 스트리밍 방식으로 넘겨받아 문장 생성이 끝나기 전부터 이산 음성 토큰을 실시간 출력.
  • • 시간적 결속(Temporal Binding): 오디오-비디오 시간축 정렬 위치 임베딩인 TMRoPE, 2초 단위 인터리빙 청킹, 슬라이딩 윈도우 확산 트랜스포머(DiT) 결합으로 오디오 지연 시간을 기존 대비 40% 단축.

한편 Moshi(12.5 Hz 프레임 단위 텍스트-오디오 인터리빙, 의미 코드북 손실 가중치 100 대 음향 코드북 1 적용), FireRedChat, ELLSA 같은 전이중 프레임워크는 인간 대화처럼 동시 청취·응답·끼어들기를 구현하려 시도하고 있으나, EMNLP 2026 서베이는 모든 모달리티에서 일관된 품질을 내는 안정적 저지연 전이중 시스템이 여전히 산업계의 미해결 과제라고 진단한다. 실제로 최근 옴니모달 평가 연구에서도 최상위 Omni-LLM의 평균 정확도가 62.6%에 그쳐 교차 장면 추론(cross-scene reasoning)에서 상당한 개선 여지를 남겼다.

CHAPTER 03 · ACTIVE PERCEPTION & 3D PHYSICS

3. 능동적 시각 주의, 일화적 기억, 3차원 직관 물리 모델링

인간의 시각 지각은 화면 전체를 한 번에 수동적으로 판독하는 과정이 아니라, 의문이 생기는 지점으로 시선을 이동하고(안구 도약, saccade) 국소 부위를 확대·확인하며 가설을 검증하는 능동적 순환 과정이다. 이를 MLLM에서 모방한 핵심 기법이 "이미지로 생각하기(Thinking with Images)" 패러다임이다.

DeepEyes는 사전 구축된 추론 궤적 지도학습(SFT)이나 외부 특수 모델 없이 종단간 에이전트 강화학습(GRPO)과 조건부 도구 보상을 결합한 인터리브 멀티모달 사고 연쇄(iMCoT)를 학습한다. 모델은 추론 과정에서 세부 확인이 필요하다고 판단하면 스스로 바운딩 박스를 생성해 이미지의 특정 영역을 크롭·확대하고, 잘라낸 영역을 관찰 토큰으로 다시 추론 맥락에 편입함으로써 고해상도 세부 인식 성능을 높이고 환각을 줄인다. 같은 맥락에서 프롬프트 기반 초기 접근인 VCTP는 보기(See)–생각하기(Think)–확인하기(Confirm)의 반복 루프를 통해 시각적 근거 일치성을 검증하며, AVA-VLA는 이러한 능동적 시각 주의를 로봇 제어 모델로 확장한다.

🎞️ Flash-VStream : 계층적 일화 기억을 통한 장시간 시각 스트림 압축 (ICCV 2025)

연속적으로 유입되는 장시간 시각 스트림을 처리할 때 인간은 모든 프레임을 그대로 저장하지 않고 장기 맥락의 요약과 결정적 장면의 세부를 계층적으로 분리해 기억한다. ICCV 2025에 발표된 Flash-VStream은 인간의 일화 기억을 모방해 스트리밍 프레임을 연속 인코딩하는 프레임 핸들러(Frame Handler)와 사용자 질의에 비동기 응답하는 질문 핸들러(Question Handler)를 두 개의 독립 프로세스로 분리하고, 두 프로세스 사이에 이중 구조의 Flash Memory를 배치했다.

Flash Memory 내부에서는 먼저 맥락 요약 기억(Context Synopsis Memory, CSM)이 저해상도 프레임 특징들을 K-means 군집화 중심(centroid)으로 압축·병합해 긴 시간 축의 사건 전이와 정보 밀도 분포를 보존하고, 이어 세부 보강 기억(Detail Augmentation Memory, DAM)이 CSM의 핵심 군집에 대응하는 대표 키프레임을 최근접 이웃 검색으로 선별해 고해상도 공간 특징을 유지한다.

여기에 시공간 위치 임베딩(AM-RoPE)을 결합하고 시각 토큰 수를 실시간 임계치(12,000토큰 이하)로 제한한 결과, Flash-VStream은 EgoSchema에서 68.2%, Video-MME(자막 포함)에서 67.0%를 기록하며 1초 내외의 실시간 응답을 달성했다.

한편, 2차원 웹 이미지 중심으로 학습된 VLM의 공간 감각 결여를 보완하기 위해 SpatialVLM(CVPR 2024)은 1,000만 장의 실세계 2D 이미지를 미터 스케일의 3차원 포인트 클라우드로 복원해 20억 개 규모의 3D 공간 VQA 데이터를 자동 합성·학습함으로써, 모델이 실제 단위로 정량적 거리를 추정하고(인간 주석 참값의 0.5배~2배 범위 내 예측 비율 37.2%) 로봇 강화학습의 보상 신호 생성기로 활용될 수 있음을 보였다.

직관 물리학(intuitive physics) 모방에서는 픽셀 복원 대신 추상 잠재 표상 공간의 예측을 택한 V-JEPA가 중요한 단서를 제공한다. 영상의 큰 시공간 블록을 가린(Block Masking) 뒤 픽셀이 아니라 학습된 표현 공간에서 가려진 영역을 예측하도록 학습된 V-JEPA는, 추론 시 인과적 미래 예측 오차의 최댓값("놀람 정도", maximum surprise)을 측정해 물리 법칙 위반 여부를 판별한다. IntPhys 평가 연구에 따르면, 단순 무작위 마스킹 대비 추상 표현 공간에서의 예측 그 자체가 직관 물리 이해 발현의 핵심 동인으로 입증되었다.

⚠️ VSI-Bench 및 Spatial-DISE가 드러낸 공간 지각의 한계:
CVPR 2025 구두 발표작인 VSI-Bench에서 인간 평가자는 평균 79.2% 정확도로 최고 MLLM(Gemini-1.5 Pro 48.8%, GPT-4o 34.0%)을 30~45% 이상 압도했다. 오류의 약 71%는 1인칭 시점(egocentric)을 전역 공간(allocentric) 배치로 변환하는 관계 추론 병목에서 발생했다. 특히 Zero-Shot CoT와 ToT를 적용하면 평균 정확도가 오히려 4%(방·물체 크기 추정은 8~21%) 하락했는데, 이는 언어적 사고 연쇄를 늘리는 방식이 내재적 공간 지도를 대체하지 못하고 오히려 판단을 교란함을 뜻한다. 반대로 명시적 인지 지도(cognitive map)를 먼저 구축하는 2단계 프롬프팅은 상대 거리 정확도를 46%에서 56%로 끌어올렸다.

CHAPTER 04 · BIOMIMETIC SENSING HARDWARE

4. 인간의 오감을 재현하는 로봇의 생체 모방 센서 기술

소프트웨어적 인지 모델이 물리 환경과 정교하게 상호작용하려면 감각 수용기 단계부터 생물학적 신호 포착 방식과 시간 해상도를 모방해야 한다. 현재 최전선 로봇 연구는 주로 인간의 시각·촉각·청각·후각과 고유수용 감각을 모방하는 데 집중되어 있으며, 하드웨어와 신호 처리 알고리즘의 공동 설계(co-design)가 빠르게 진전되고 있다.

시각 (뉴로모픽 이벤트 카메라, DVS): 일반 프레임 카메라가 30~60 fps 고정 주기로 정적인 배경 픽셀까지 전부 읽어 들이며 약 16,000 µs의 지연과 모션 블러를 겪는 반면, DVS는 망막 신경절 세포처럼 각 픽셀이 독립적으로 로그 밝기 변화량이 임계치를 넘을 때만 비동기 스파이크 이벤트를 발화한다. 그 결과 µs 수준의 시간 해상도(지연 <10 µs, 동적 범위 120 dB 이상)와 모션 블러 소거, 초저전력을 구현해 500 km/h 이상 FPV 드론 레이싱, 4족 보행 로봇(Spot, ANYmal)의 고속 장애물 회피에 적용된다. CVPR 2025의 ActiveEventNet은 적외선 패턴 프로젝터를 통합해 어두운 환경에서도 최대 150 FPS의 고속 3D 깊이 지도를 복원했다.

촉각 (광학 촉각 센서 및 전자 피부): 상용 GelSight Mini나 DIGIT 같은 광학 촉각 센서는 접촉 형상, 법선·전단력, 미끄러짐(slip), 표면 질감을 정밀 측정한다. 2024년 10월 Meta FAIR와 GelSight가 공개한 Digit 360은 18가지 이상의 감지 기능과 약 830만 택셀을 탑재해 7 µm의 공간 세부와 1 mN의 미세 압력을 감지하고 온디바이스 AI로 인간보다 최대 30배 빠르게 촉각을 처리한다. 아울러 일본 XELA Robotics의 uSkin과 Touchlab의 TACTO 전자 피부가 다자유도 로봇 핸드(Tesollo DG-5F, Shadow Hand)에 상용 통합되었으며, 46만 장의 촉각 이미지로 사전 학습된 Sparsh 모델이 범용 특징 추출을 이끌고 있다.

청각 및 후각 (HRTF 및 고속 전자 코): KAIST 연구진의 BiSELD 모델은 인간 양쪽 귀와 머리 굴절 특성인 머리전달함수(HRTF)를 활용해 휴머노이드 로봇의 음향 사건 탐지와 음원 위치 추정을 동시에 수행한다. 후각 영역에서는 2024년 11월 보고된 초소형 고속 전자 코가 10 ms 단발 펄스와 2~60 Hz 변조 주파수를 구분해 포유류 후각 시간 해상도에 필적하는 냄새 기둥(odor plume) 추적을 1.2~1.5 W 저전력으로 구현했다.

[표 1] 생체 모방 로봇 감각 양식 비교표 (시각, 촉각, 청각, 후각)

모방 감각 양식 인간 생물학적 기제 대표 로봇 센서 및 모델 핵심 성능 및 사양 주요 공학적 한계
시각 (Vision) 망막 신경절 세포 비동기 발화, 안구 폭주 및 중심와 주시 DVS 이벤트 카메라, ActiveEventNet (CVPR 2025) µs급 시간 해상도(<10 µs 지연, >120 dB HDR); 능동 스테레오 최대 150 FPS 고해상도 정적 질감 부족(하이브리드 센서 병용 필요), 전용 비동기 연산·FPGA 코디자인 요구
촉각 (Touch) 피부 기계수용기(형상·힘·진동·미끄러짐) 및 온도 감각 Digit 360, GelSight Mini, DIGIT, XELA uSkin, Touchlab TACTO, Sparsh Digit 360(Meta FAIR 발표 기준): ~830만 택셀, 7 µm 정밀도, 1 mN 감도, 18+ 특징 탄성체 마모·보정 드리프트, 연성체·스틱-슬립 마찰 시뮬레이션 및 이종 센서 간 표현 전이 난제
청각 (Audition) 양이 시간차·강도차 및 외이·머리 기반 HRTF 음향 단서 BiSELD (KAIST 휴머노이드 양이 음원 탐지·위치 추정) 음향 사건 탐지와 음원 위치 추정의 동시 수행 로봇 구동 자아 소음(ego-noise) 및 복잡한 실내 잔향 환경에서의 일반화 검증 필요
후각 (Olfaction) 후각 수용체 조합 부호화 및 고속 냄새 농도 변조 감지 교차 감응 VOC 전자 코(e-nose), 고속 소형 전자 코(PMC 2024) 10 ms 펄스·2~60 Hz 변조 해독, 1.2~1.5 W 저전력 냄새 기둥 추적 기류 난류 변화와 센서 드리프트, 범용 조작·언어 정책과의 통합 초기 단계
CHAPTER 05 · PERCEPTION-ACTION COUPLING

5. 지각과 행동의 결합: 듀얼 시스템 VLA, VTLA, 인간 시점 모방, 뉴로모픽 제어

고도화된 지각을 물리적 행동으로 전환하기 위해 최신 로봇 파운데이션 모델은 인간의 이중 인지 과정과 유사한 듀얼 시스템(Dual-System) VLA 아키텍처를 채택하고 있다. 느리지만 언어 이해와 장면 맥락 추론에 능한 인터넷 규모 VLM을 System 2로 두고, 그 잠재 표현을 입력받아 연속적인 관절 토크·위치 제어 신호를 고주파로 생성하는 시각-운동 정책(Flow Matching 또는 확산 트랜스포머)을 System 1으로 비동기 분리하는 설계다.

  • • Figure AI의 Helix (2025년 2월): 약 500시간의 원격조작 데이터로 학습되어 System 2의 장면 이해를 System 1의 200 Hz 고주파 상체 전신 제어로 연결, 2대의 휴머노이드 협동 장기 작업 입증.
  • • NVIDIA GR00T N1 / N1.5: System 2에 Eagle VLM을, System 1에 DiT와 미래 잠재 표현 정렬 손실(FLARE)을 결합. 실물 휴머노이드 언어 추종 성공률을 43.3%에서 83.0%로 향상, 미학습 물체 제로샷 조작 55.0% 달성.
  • • Google DeepMind Gemini Robotics: 네이티브 멀티모달 Gemini 2.0 위에 저수준 행동을 결합해 정교한 종이접기 및 이기종 로봇 전이 구현.
  • • Physical Intelligence π0 / π0.5: 50 Hz Flow Matching과 대규모 웹 데이터 공동 학습 적용 (Pebblous 인용 제로샷 진척률 42.3%).

✋ 촉각 융합 VTLA (Vision-Tactile-Language-Action)와 OpenViTac 벤치마크

시각과 언어만으로는 물체에 손이 가려지는 차폐(occlusion)나 정밀 접촉 힘 조절이 필요한 작업을 풀 수 없다. Tactile-VLA는 시각·언어·고유수용·촉각 입력을 사전 학습 VLM에 깊게 융합하고, 촉각 인식 행동 전문가가 목표 위치와 목표 힘을 동시 생성해 하이브리드 위치-힘 제어기로 전달한다.

2026년 OpenViTac 벤치마크 평가 결과, 시뮬레이션 성공률에서 최고 순수 VLA가 51.5%에 머문 반면 OpenVTLA는 68.7%를 달성했고, 실세계 평가에서도 순수 VLA 43.1% 대비 OpenVTLA가 54.6%를 기록해 촉각 피드백 융합 정책의 압도적 우위가 확인되었다.

로봇 데이터 수집 병목을 해소하기 위해 인간의 1인칭 시점(egocentric) 영상 모방도 본격화되었다. Ego4D 및 Ego-Exo4D를 기반으로 한 EgoMimic은 스마트 안경으로 찍은 인간 손 영상과 로봇 손목 카메라 영상을 마스킹 정렬해 외형 간극을 메웠으며, 로봇 데이터 2시간에 인간 손 영상 1시간을 공동 학습한 모델이 로봇 데이터 3시간 단독 학습 모델을 크게 상회했다.

나아가 뇌과학의 예측 부호화(Predictive Coding)와 능동 추론(Active Inference)을 실리콘으로 구현한 Intel Loihi 2 기반 뉴로모픽 SNN은, OpenLORIS 연속 학습 실험에서 최상위 엣지 GPU 대비 지연 시간 113배 단축(0.33 ms 대 37.3 ms), 에너지 소비 6,600배 절감(0.05 mJ 대 333 mJ)이라는 경이로운 효율을 기록했다.

[표 2] 인간 모방 지각-행동 결합 아키텍처 및 모델 비교표

분류 대표 아키텍처·모델 인간 모방 지각·제어 메커니즘 핵심 정량 성과 및 사양 한계 및 전제 조건
듀얼 시스템 VLA Figure Helix, NVIDIA GR00T N1/N1.5, Gemini Robotics, π0.5, SmolVLA System 2(대형 VLM 의미·언어 추론) + System 1(고속 Flow Matching / DiT 연속 운동 제어; π0 50 Hz, Helix 200 Hz) GR00T N1.5: 실물 언어 추종 43.3%→83.0%; π0.5 제로샷 진척 42.3% 촉각·힘 피드백 부재 시 가림과 접촉 제어에 취약; 비정형 현실 제로샷 실패율 높음
촉각 융합 VTLA Tactile-VLA, OpenVTLA, FTP-1 VLM 내부에 시각·언어·촉각·고유수용 감각 직접 통합 및 하이브리드 위치-힘 제어 OpenViTac 기준 OpenVTLA 시뮬레이션 68.7%(최고 VLA 51.5%), 실세계 54.6%(최고 VLA 43.1%) 접촉 물리 시뮬레이션-현실 격차 및 이종 촉각 센서 간 표현 전이 어려움
인간 시점 전이 EgoMimic, FLARE (GR00T N1.5), Ego-Exo4D-HM 1인칭 인간 손-물체 상호작용 영상과 미래 잠재 표상 정렬을 통한 수동적 기술 습득 로봇 2h + 인간 손 1h 공동 학습이 로봇 3h 단독 ACT 성능 상회; GR00T N1.5 미학습 제로샷 55.0% 인간-로봇 간 기구학·외형(embodiment) 차이 보정 및 정밀 4D 포즈 복원 필요
뉴로모픽 SNN CLP-SNN on Intel Loihi 2, SDNN 희소 이벤트 스파이크, WTA·신규성 탐지 뉴런, 국소 가소성 기반 비재학습 연속 학습 OpenLORIS 기준 엣지 GPU 대비 지연 113배 단축(0.33 ms), 에너지 6,600배 절감(0.05 mJ), 소비전력 <1 W 저전력 엣지 지각·연속 적응에 특화되어 있으며, 범용 오픈 어휘 추론을 직접 대체하지는 못함
CHAPTER 06 · STRUCTURAL BOTTLENECKS

6. 종합 진단: 인간 수준 지각 도달을 가로막는 4대 구조적 병목

인간의 지각을 모방한 LLM과 로봇 기술은 개별 감각 인식과 단기 실험 과제에서 빠르게 성숙했으나, 실제 물리 환경에서 인간 수준의 강건성과 유연성을 발휘하기까지는 네 가지 구조적 병목을 넘어야 한다.

1. 다중모달 이해-생성의 딜레마 및 전이중 지연 문제

초기 융합 네이티브 모델은 단일 백본 안에서 모든 감각을 통합할 수 있는 이론적 우위를 지니지만, 연속 감각의 이산화 손실, 자기회귀와 확산 목적함수 간 균형, 모달리티 비율 편향에 따른 무조건부 생성 붕괴 위험을 동시에 제어해야 하며, 산업계에서 일관된 품질을 유지하는 실시간 전이중 상호작용 시스템은 아직 정착 단계에 이르지 못했다.

2. 내재적 3차원 인지 지도 부재와 비시각적 편법 의존

VSI-Bench와 Spatial-DISE가 보여주듯 현재 MLLM은 언어 유창성에 비해 시점 변환과 동적 3차원 공간 시뮬레이션 능력이 현저히 뒤처지며, VLABench 평가에서도 테스트된 모든 VLM이 체화 환경의 합격 점수에 도달하지 못했다. 텍스트 사고 연쇄를 늘리는 접근이 오히려 공간 추론을 해칠 수 있다는 실증은, 언어 토큰이 아닌 물리적으로 일관된 잠재·공간 세계 모델의 내재화가 필수적임을 가리킨다.

3. 촉각 물리 시뮬레이션 난제와 감각 단계 열화 취약성

작동 원리가 서로 다른 촉각 센서들 간에 통일된 표현 체계를 세우기 어렵고, 탄성체의 점탄성·히스테리시스·스틱-슬립 마찰을 실시간으로 정밀 모사하는 시뮬레이션 기술이 미성숙하다. 더욱이 실세계 VLA 모델의 지각 파이프라인은 조명 변화, 미지의 물체, 예상치 못한 외란과 같은 감각 입력 단계의 열화 조건에서 급격히 무너지는 취약성을 보인다.

4. 실험실 성능과 비정형 현실 세계 간의 일반화 및 데이터 병목

제로샷 환경에서 절반 이상의 실패율을 보이는 로봇 조작 정책과 60%대 정확도에 머무르는 옴니모달 교차 장면 추론의 현실은, 단일 기술의 점진적 개선만으로는 한계가 있음을 시사한다. 결국 향후 돌파구는 DVS와 Loihi 2 기반의 초저전력 비동기·연속 적응 감각 처리, 대규모 1인칭 인간 영상 및 추상 물리 세계 모델(V-JEPA, Cosmos)을 통한 사전 학습, 그리고 능동적 시각 주의와 촉각-힘 피드백을 폐쇄 루프로 묶은 통합 체화 아키텍처의 결합에서 나올 전망이다.