스파이킹 신경망(SNN) 발전 역사와 패러다임 진화 심층 총람

🧬

1. 인공신경망 3세대의 계보와 SNN의 본질적 차별성

인공지능 연구의 역사는 뇌의 작동 원리를 컴퓨터로 모델링하려는 부단한 시도였습니다. 1997년 컴퓨터 과학자 볼프강 마스(Wolfgang Maass)는 뉴런 단위의 정보 표현 방식과 신호 전달 메커니즘을 기준으로 인공신경망의 진화 과정을 3개의 세대로 명확히 구분하였습니다.

제1세대 (1940~1960s)

이진 임계 논리 단위

• 대표 모델: 매컬럭-피츠 뉴런 (1943), 로젠블랫 퍼셉트론 (1958)
• 신호 형태: 이산적인 이진 불리언 값 ({0, 1})
• 동작 원리: 입력 신호의 가중합이 임계값을 넘으면 1, 아니면 0을 출력하는 계단 함수(Heaviside Step Function) 사용.
• 한계: 출력이 불연속적이라 역전파 미분이 불가능하며, 선형 분리 가능 문제(XOR 한계)만 해결 가능.

제2세대 (1980~현재)

연속 활성화 인공신경망 (ANN)

• 대표 모델: 다층 퍼셉트론(MLP), CNN, RNN, 트랜스포머(Transformer)
• 신호 형태: 연속적인 실수 스칼라 값 (Floating-point)
• 동작 원리: Sigmoid, Tanh, ReLU 등 매끄러운 연속 활성화 함수를 도입하여 오차 역전파(Backpropagation) 경사하강법으로 훈련.
• 한계: 뉴런의 출력을 '평균 발화율(Rate)' 실수로 추상화하여 시간 축 차원이 제거되었으며, 매 계층마다 거대한 부동소수점 행렬 곱셈(MAC)으로 천문학적 전력 소모.

제3세대 (1997~현재)

스파이킹 신경망 (SNN)

• 대표 모델: LIF, Izhikevich, Spikformer, Spike-Driven Transformer
• 신호 형태: 시간 축 상의 불연속 스파이크 펄스 열 (Spike Trains)
• 동작 원리: 개별 스파이크의 도착 시점(Spike Timing)과 시간차(Inter-Spike Interval)에 정보를 압축 코딩. 뉴런 막전위가 임계값을 넘을 때만 비동기적으로 스파이크 방출.
• 핵심 이점: 신호가 없을 때 연산하지 않는 사건 구동형(Event-driven) 희소 연산, 곱셈(MAC) 없는 순수 덧셈 누적(AC)으로 100배 이상의 초저전력 달성.

📊 [인포그래픽 1] 제1·2·3세대 인공신경망 메커니즘 및 LIF 스파이크 막전위 동역학 비교

연속적 실수 곱셈(MAC) 중심의 2세대 ANN에서 시간 축 사건 구동형 덧셈(AC) 중심의 3세대 SNN으로의 아키텍처 전환

⏳

2. 70년 SNN 발전 역사의 6대 핵심 진화 단계

스파이킹 신경망의 발전사는 생체 신경생리학의 이온 역학 규명에서 출발하여, 수학적 전산 능력의 입증, 미분 불가능성의 극복을 거쳐 최첨단 초거대 모델로 도약한 지적 투쟁의 역사입니다.

1952년 ~ 1980년대

제1단계: 생체 이온 동역학의 수식화와 신경세포 전산 모델 태동

• 호지킨-헉슬리(Hodgkin-Huxley) 모델 (1952): 앨런 호지킨과 앤드루 헉슬리는 오징어 거대 축삭(Giant Axon) 실험을 통해 세포막의 나트륨(Na⁺)과 칼륨(K⁺) 전압 개폐 이온 채널 거동을 4개의 비선형 상미분방정식으로 수식화했습니다. 생물학적 활동전위 펄스를 물리화학적으로 완벽히 설명하여 1963년 노벨 생리의학상을 수상했으나, 수치 해석적 계산 복잡도가 극도로 높아 수천 개 이상의 뉴런망으로 확장하기에는 계산량이 과도했습니다.
• 피츠휴-나구모(FitzHugh-Nagumo, 1961) & 모리스-레카(1981): 4차원 호지킨-헉슬리 모델을 2차원 위상 평면(Phase Plane)으로 단순화하여, 발화와 불응기 회복 변수를 직관적인 비선형 기하학적 궤적으로 축약 분석하는 이론적 전기를 마련했습니다.
• LIF(Leaky Integrate-and-Fire) 모델의 정립: 1907년 루이 라픽(Louis Lapicque)의 적분-발화 아이디어를 RC 전기 회로로 체계화하여, 저항(R)을 통한 연속적 전위 누수 감쇠(Leak)와 축전기(C)를 통한 시냅스 전류 적분(Integrate), 그리고 임계 전압 도달 시 펄스 방출 및 리셋(Fire & Reset)을 단순 명쾌한 1계 선형 미분방정식으로 정립했습니다. 이 LIF 모델은 현대 딥 SNN의 표준 뉴런으로 자리 잡았습니다.

1997년 ~ 2002년

제2단계: 볼프강 마스(Wolfgang Maass)의 제3세대 신경망 수학적 정립

• 제3세대 인공신경망 정의 (1997): 오스트리아 그라츠 공과대학교의 볼프강 마스(Wolfgang Maass) 교수는 획기적인 논문 "Networks of Spiking Neurons: The Third Generation of Neural Network Models"를 발표하여, 인공신경망을 3개 세대로 공식 분류하고 SNN의 이론적 계산 한계를 규명했습니다.
• 계산 복잡도와 원소 식별 함수(ED_n) 증명: 마스 교수는 불연속적인 스파이크 타이밍 코딩을 채택한 SNN이 단 하나의 스파이킹 뉴런만으로도 2세대 시그모이드 뉴런 여러 개가 필요한 복잡한 비선형 불리언 연산을 처리할 수 있음을 엄밀히 증명했습니다. 특히 n개의 입력을 구분하는 원소 식별 문제에서 SNN이 기존 2세대 망에 비해 지수적으로 적은 수의 뉴런으로 범용 튜링 완전성(Turing Completeness)을 달성할 수 있음을 입증했습니다.
• 액체 상태 기계 (Liquid State Machine, LSM, 2002): 마스 교수는 복잡하게 얽힌 무작위 스파이킹 뉴런 집단(액체 저장소)이 시계열 입력 신호를 고차원 시공간 궤적으로 투영하는 LSM을 제안하여, 훗날 저장소 컴퓨팅(Reservoir Computing)의 근간을 세웠습니다.

2000년대 초반

제3단계: 생물학적 가소성(STDP) 규명과 이지케비치(Izhikevich) 모델

• STDP (Spike-Timing-Dependent Plasticity, 1998~2001): Bi와 Poo 등 신경생리학자들은 시냅스 전 뉴런이 시냅스 후 뉴런보다 수 밀리초 먼저 발화하면 연결 강도가 강화(장기 강화, LTP)되고, 반대로 발화 순서가 뒤바뀌면 연결이 약화(장기 억제, LTD)된다는 시냅스 시간 가소성을 실험적으로 증명했습니다. 이는 1949년 헵의 학습 규칙(Hebbian Rule)에 엄밀한 시간 축 인과성을 부여한 발견이었습니다.
• 이지케비치 모델 (Eugene Izhikevich, 2003): 복잡한 4차원 호지킨-헉슬리 모델의 생물학적 풍부함과 단순한 LIF 모델의 전산 효율성을 절충한 획기적인 2차원 비선형 미분방정식 모델을 고안했습니다. 단 4개의 튜닝 파라미터(a, b, c, d)만으로 대뇌 피질 뉴런의 주요 20여 가지 발화 패턴(Tonic Spiking, Phasic Bursting, Chattering 등)을 정밀하게 재현하여 대규모 뇌 신경망 시뮬레이션의 길을 열었습니다.
• SpikeProp (2002) & Tempotron (2006): 단일 스파이크 방출 시점을 미분하여 가중치를 조정하려는 초기 지도학습 알고리즘인 SpikeProp(Bohte et al.)과 막전위 극대값을 활용한 Tempotron(Gütig & Sompolinsky)이 발표되었으나, 다층 심층망으로의 확장은 오차 전파의 한계로 어려움을 겪었습니다.

2010년대 중반

제4단계: ANN-to-SNN 변환 기법과 1세대 뉴로모픽 칩의 등장

• ANN-to-SNN 변환 (Conversion) 패러다임: 심층 SNN을 직접 학습하기 어렵자, 기존 역전파로 사전 학습된 고성능 2세대 CNN(VGG, ResNet)의 ReLU 가중치를 그대로 SNN의 발화율(Firing Rate)로 스케일링 전이하는 변환 기법이 크게 발전했습니다. ImageNet 벤치마크에서 높은 정확도를 기록했으나, 실수 값을 스파이크 빈도로 누적 재현하기 위해 수백~수천 타임스텝(T = 100~1000)이 소요되어 지연시간(Latency)과 에너지가 증가하는 치명적 한계에 부딪혔습니다.
• 전용 비(非) 폰 노이만 뉴로모픽 실리콘 칩의 상용화:
- IBM TrueNorth (2014): 100만 개 디지털 뉴런과 2억 5,600만 개 시냅스를 집적하고도 단 70mW의 극저전력으로 구동.
- SpiNNaker (2016): 영국 맨체스터 대학교의 Steve Furber 교수가 이끈 100만 개 ARM 코어 기반 대형 SNN 시뮬레이터.
- Intel Loihi (2018): 온칩 자가학습(STDP)을 지원하는 12.8만 개 뉴런 뉴로모픽 칩 발표.

2018년 ~ 2021년

제5단계: 대리 기울기(Surrogate Gradient)와 직접 학습(STBP) 대혁신

• 미분 불가능성 장벽의 붕괴: 스파이크 발생 함수(Heaviside)의 도함수가 임계점에서 무한대이고 나머지에서는 0이 되는 '기울기 소실/폭주' 문제를 해결하기 위해, 대리 기울기(Surrogate Gradient) 기법이 도입되었습니다(Neftci et al., 2019; Wu et al., 2018). 순전파 시에는 물리적 이진 스파이크를 전송하고, 역전파 시에는 미분 가능한 연속 곡선(Arctan, Sigmoid 등)을 가상 도함수로 대체하여 오차를 역방향으로 완벽히 전파했습니다.
• 시공간 역전파 (STBP, Spatio-Temporal Backpropagation): 공간적 계층 축뿐만 아니라 시간 축(BPTT)을 결합한 통합 역전파 프레임워크가 정립되면서, 변환 기법의 1/100 수준인 단 T = 1~4 타임스텝만으로도 수십 계층의 딥 ResNet SNN을 End-to-End로 직접 훈련시키는 데 성공했습니다.
• 인텔 로이히 2 (Intel Loihi 2, 2021): 프로그래밍 가능한 마이크로코드 뉴런과 다중 비트 정수 정보를 실어 나르는 그레이디드 스파이크(Graded Spikes)를 지원하여 알고리즘 혁신을 하드웨어로 온전히 수용했습니다.

2022년 ~ 현재

제6단계: 스파이크 트랜스포머, 생성형 AI 및 멤리스터 융합

• Spikformer & Spike-Driven Transformer (2022~2024): 부동소수점 곱셈(MAC)과 소프트맥스 연산으로 막대한 에너지를 소모하는 트랜스포머의 셀프 어텐션을 전면 재설계. 이진 스파이크 간 희소 내적을 수행하는 Spiking Self-Attention(SSA)과 순수 덧셈 누적만으로 어텐션을 완성하는 SDSA(Spike-Driven Self-Attention)를 개발하여, 연산 에너지를 최대 87.2배 절감하면서도 ImageNet Top-1 86.2%를 달성하여 고성능 부동소수점 비전 트랜스포머와의 격차를 완전히 해소했습니다.
• Spiking LLM & 생성형 디퓨전: 2억 1,600만 파라미터의 SpikeGPT 및 시간-첫 발화(TTFS) 코딩을 적용한 15억(1.5B) 파라미터 거대 언어 모델 스케일업, U-Net 노이즈 예측을 SNN으로 가속한 Spiking Diffusion 모델 실용화.
• 차세대 멤리스터(Memristor) 소자 결합: 1D1T1R 인공 뉴런 및 2차원 MoS₂ 기반 물리 시냅스 어레이를 통해 물리적 차원에서 소프트웨어 알고리즘과 하드웨어 나노소자의 궁극적 일체화 달성.

🗺️

3. [인포그래픽 2] SNN 70년 역사적 발전 로드맵과 알고리즘·하드웨어 공진화

1952년 생체막 실험실에서 시작된 작은 전압 신호가 오늘날 초거대 인공지능 인프라의 전력 병목을 돌파하는 가장 강력한 차세대 대안으로 거듭나기까지의 주요 마일스톤 지도입니다.

📊 1952 ~ 2026+ Spiking Neural Network 핵심 마일스톤 & 패러다임 전환도

생물학적 정밀 모델 ➔ 전산 복잡도 이론 ➔ 대리 기울기 직접 학습 ➔ 초거대 스파이크 트랜스포머 & 뉴로모픽 SoC

🚀

4. 최신 첨단 패러다임: 스파이크 트랜스포머, 생성형 AI 및 멤리스터 융합

2020년대 중반에 접어들며 SNN 연구는 단순한 엣지 이미지 분류를 뛰어넘어, 오늘날 인공지능의 중추인 트랜스포머 아키텍처와 거대 언어 모델(LLM), 디퓨전(Diffusion) 생성 모델, 그리고 차세대 나노소자 인메모리 컴퓨팅으로 연구 영역을 전면 확장하고 있습니다.

어텐션 혁신

1. Spikformer & Spike-Driven Self-Attention (SDSA)

• 문제 의식: 전통적 트랜스포머의 Self-Attention은 쿼리(Q), 키(K), 밸류(V) 간의 행렬 곱셈(MAC)과 지수 함수 소프트맥스(Softmax)로 인해 토큰 길이(N)의 제곱 O(N²)에 비례하는 막대한 전력을 소모합니다.
• 혁신 메커니즘: Spikformer는 소프트맥스를 전면 제거하고 이진 스파이크 행렬 간의 희소 내적을 수행하는 SSA(Spiking Self-Attention)를 구현하여 연산 복잡도를 O(N) 선형으로 축소했습니다.
• 완전 곱셈 배제: NeurIPS 2023에 발표된 Spike-Driven Transformer는 모든 부동소수점 곱셈을 배제하고 비트 마스킹과 덧셈 누적(Sparse Addition)만으로 어텐션을 수행하여 바닐라 어텐션 대비 연산 에너지를 최대 87.2배 절감하면서도 ImageNet Top-1 86.2%를 달성했습니다.

생성형 AI 결합

2. Spiking LLM & Spiking Diffusion Models

• SpikeGPT: RWKV 선형 시퀀스 아키텍처를 스파이킹화한 2억 1,600만(216M) 파라미터 모델로, 표준 트랜스포머 대비 약 22배 적은 에너지로 유창한 문맥 생성을 입증했습니다.
• 시간-첫 발화(TTFS) 기반 1.5B 스케일업: 뉴런당 시퀀스 전체에서 단 1회만 발화하도록 제약하는 Time-to-First-Spike 코딩을 적용하여 극단적 희소성을 달성, 15억 파라미터 이상의 거대 언어 모델로 SNN을 성공적으로 확장했습니다.
• Spiking Diffusion (SDM): 고품질 이미지 생성 모델의 핵심 병목인 U-Net/DiT 노이즈 예측 네트워크를 SNN으로 치환하여 생성 속도와 발열을 획기적으로 개선했습니다.

하드웨어 통합

3. 하드웨어 인식 신경망 구조 탐색 (SNNaS)

• 온칩 제약 통합: 인텔 로이히 2(Loihi 2), 트루노스(TrueNorth) 등 실제 뉴로모픽 칩에 탑재된 SRAM 용량, 비동기 AER 패킷 라우터의 대역폭 한계를 신경망 구조 탐색 알고리즘(NAS)의 제약 조건으로 수식화했습니다.
• 파레토 최적화: 추론 지연 시간(Latency), 온칩 메모리 점유율, 전력 소모, 정확도를 동시에 다목적 최적화하는 하드웨어-소프트웨어 통합 공동 설계(Co-design)가 표준으로 자리 잡았습니다.

차세대 나노소자

4. 멤리스터(Memristor) 기반 물리적 SNN

• 1D1T1R 인공 뉴런: 단 하나의 확산형 멤리스터, 트랜지스터, 저항만으로 활동전위 발화, 불응기, 막전위 감쇠를 물리적으로 완벽히 모사하는 초소형 회로가 구현되었습니다.
• 2차원 MoS₂ 시냅스: 단일층 이황화몰리브덴 나노소자의 전하 트래핑을 이용해 생체 뉴런의 고유 가소성(Intrinsic Plasticity)을 소자 수준에서 직접 재현함으로써 실리콘 CMOS를 넘어서는 물리적 뇌모사 시대를 열고 있습니다.

💡 학술적 총평 및 향후 과제: SNN은 지난 70년간 생체 모방의 이상주의적 영역에 머물러 있다는 비판을 극복하고, '대리 기울기(Surrogate Gradient) 기반 직접 학습'과 '스파이크 구동 트랜스포머(Spike-Driven Transformer)'라는 양대 돌파구를 통해 성능과 에너지 효율 모두에서 기존 딥러닝과 대등하게 경쟁할 수 있음을 증명했습니다. 향후 파편화된 뉴로모픽 SDK의 표준화와 물리 소자의 공정 불균일성(Device Variation) 극복이 완료되면, 차세대 AGI 인프라의 핵심 축으로 완전히 자리매김할 것입니다.

📋

5. SNN 발전 세대별 핵심 기술 특징 및 학술적 지표 종합 비교

호지킨-헉슬리의 생체 미분방정식부터 현대의 스파이크 트랜스포머에 이르기까지, SNN 발전의 각 시기별 핵심 기술 지표를 일목요연하게 비교 정리한 표입니다.

발전 세대 및 시대	대표 모델 및 하드웨어	핵심 신호 및 연산 방식	주요 학습 알고리즘	학술적 기여 및 한계점
1기: 생체 모델 태동 (1950s ~ 1980s)	Hodgkin-Huxley (1952) FitzHugh-Nagumo (1961) Leaky Integrate-and-Fire	연속 시간 전압 개폐 이온 전류 (4차원 비선형 상미분방정식)	학습 알고리즘 부재 (생체 물리 모델링 중심)	• 기여: 활동전위의 생체물리학적 기작 완벽 증명 • 한계: 높은 미분방정식 연산량으로 신경망 확장 난항
2기: 제3세대 이론화 (1990s ~ 2000s)	볼프강 마스 이론 (1997) Izhikevich (2003) LSM (Liquid State Machine)	정밀 발화 시점(Spike Timing) 2차 비선형 다항 미분방정식	생물학적 시간 가소성 (STDP, Hebbian Rule) SpikeProp (초기 시점 미분)	• 기여: 3세대 신경망의 범용 튜링 계산 능력 입증 • 한계: 오차 역전파의 부재로 심층망(Deep Net) 확장 실패
3기: 변환 및 칩 태동 (2010s 중반)	ANN-to-SNN Conversion IBM TrueNorth (2014) SpiNNaker (2016)	발화율(Rate Coding) 누적 사상 디지털 비동기 AER 통신	사전 학습된 CNN 가중치를 SNN 발화율로 스케일링 전이	• 기여: 100만 뉴런 70mW 초저전력 하드웨어 검증 • 한계: T = 100~1000 타임스텝 요구로 인한 지연시간 증가
4기: 직접 학습 혁명 (2018 ~ 2021)	STBP (Spatio-Temporal Backprop) Intel Loihi 2 (2021) Tsinghua Tianjic (2019)	순전파: 이산 스파이크 {0, 1} 역전파: 연속 대리 곡선(Arctan)	대리 기울기(Surrogate Gradient) 기반 직접 End-to-End 역전파	• 기여: T = 1~4 스텝으로 지연시간 혁신 및 ResNet 학습 • 한계: 시간 축 오차 누적으로 초대형 모델 스케일업 난제
5기: 트랜스포머 & 미래 (2022 ~ 현재)	Spikformer v1~v3 Spike-Driven Transformer SpikeGPT, 멤리스터 1D1T1R	비트 마스킹 & 순수 덧셈(AC) Spike-Driven Self-Attention	인과적 스파이킹 어텐션(CSSA) 스파이크 지식 증류(SKD) 하드웨어 인식 탐색(SNNaS)	• 기여: ImageNet 86.2%, 연산 에너지 87.2배 절감, LLM 확장 • 미래: AGI 데이터센터의 전력 폭증을 해결할 핵심 그린 AI

📑

6. Spiking Neural Network (SNN) 최신 연구동향 및 기술적 패러다임 보고서 (2023 ~ 2026)

📋 개요 (Executive Summary)

스파이킹 신경망(Spiking Neural Network, SNN) 연구는 단순한 생물학적 모사나 소규모 벤치마크(MNIST, CIFAR)를 넘어서, 트랜스포머 아키텍처의 완전 스파이크화, 대규모 언어 모델(LLM) 및 디퓨전(Diffusion) 등 생성형 AI와의 결합, 하드웨어-알고리즘 공동 설계(Co-design), 그리고 차세대 멤리스터 기반 물리 소자 융합으로 연구 지평을 급격히 확장하고 있습니다.

본 보고서는 최근 2~3년간 (2023년~2026년) 주요 학술대회(NeurIPS, ICLR, CVPR, AAAI, IEEE TPAMI 등)에서 도출된 SNN 분야의 핵심 최신 연구동향을 5가지 주요 축으로 나누어 체계적으로 분석합니다.

핵심 동향 1

1. 스파이크 구동 트랜스포머(Spike-Driven Transformers) 및 연산 효율화

전통적인 트랜스포머(Transformer)의 셀프 어텐션(Self-Attention)은 행렬 곱셈(MAC)과 지수 함수 기반 소프트맥스(Softmax) 연산으로 인해 막대한 전력을 소모합니다. 최신 SNN 연구는 이를 이진 스파이크 기반 덧셈 누적(AC) 연산으로 치환하여 에너지 효율과 표현력을 동시에 극대화하고 있습니다.

1.1. 스파이킹 어텐션 메커니즘의 진화

• Spikformer & Spiking Self-Attention (SSA): 소프트맥스를 배제하고 쿼리(Q), 키(K), 밸류(V)를 이진 스파이크화하여 희소 내적을 수행합니다. 어텐션 맵의 선형 희소성을 활용하여 연산 복잡도를 완화하였습니다.
• Spike-Driven Transformer (v1 ~ v3):
- Spike-Driven Self-Attention (SDSA): 모든 부동소수점 곱셈을 배제하고 비트 마스킹과 덧셈 누적(Sparse Addition)만으로 어텐션을 수행하여, 바닐라 셀프 어텐션 대비 연산 에너지를 최대 87.2배 절감하였습니다.
- 성능 스케일업: Spikformer v2(Top-1 82.4%) 및 Spike-driven Transformer v3(Top-1 86.2%)로 발전하며 ImageNet-1K 분류 성능에서 고성능 부동소수점 ANN과의 격차를 완전히 해소하였습니다.

1.2. 아키텍처 혁신 및 시공간 확장

• SpikeVideoFormer: 비디오 등 고차원 시계열 데이터를 처리하기 위해 해밍 거리 기반 어텐션과 시간 축 선형 복잡도 O(T) 연산을 결합하여 고속 비디오 프레임 인지를 달성하였습니다.
• 스파이킹 전문가 혼합 구조 (SEMM - Spiking MoE): 조건부 희소 연산을 스파이킹 도메인으로 확장하여, 입력 토큰의 특성에 따라 동적으로 스파이크 라우팅을 수행함으로써 연산 오버헤드 증가 없이 모델 용량을 대폭 확장하였습니다.
• 정보 침체 방지 (SmoothSpike): 심층 SNN에서 계층이 깊어질수록 스파이크 패턴이 단조로워지는 정보 접힘(Information Collapse) 현상을 방지하기 위해, 학습 가능한 아마다르 변환(Hadamard Transformation)을 도입하여 시공간 표현 다양성을 보존하였습니다.
• 무훈련 토큰 프루닝 (TP-Spikformer): 별도의 재훈련 없이 시공간적 정보량을 정량 평가하여 불필요한 토큰 연산을 조기에 차단하는 추론 가속 기법이 제안되었습니다.

핵심 동향 2

2. 생성형 AI 영역으로의 확장: Spiking LLMs & Spiking Diffusion

자연어 생성과 고품질 이미지 합성 등 최첨단 생성 모델을 초저전력 스파이킹 구조로 전환하려는 연구가 본격화되고 있습니다.

2.1. Spiking Large Language Models (Spiking LLMs)

• SpikeGPT: RWKV 선형 시퀀스 아키텍처 기반의 2억 1,600만(216M) 파라미터 SNN 모델로, 표준 트랜스포머 대비 약 22배 적은 에너지 소비로 문맥 생성 능력을 입증하였습니다.
• 시간-첫 발화(TTFS) 코딩 적용: 뉴런당 시퀀스 전체에서 최대 1회만 발화하도록 제약하는 Time-to-First-Spike 코딩을 통해 희소성을 극대화함으로써, 15억(1.5B) 파라미터 이상의 거대 언어 모델로 SNN을 스케일업하였습니다.
• 인과적 스파이킹 어텐션 및 지식 증류 (SpikingLLM, BiSpikCLM):
  - 부동소수점 연산과 소프트맥스를 전면 배제한 인과적 스파이킹 셀프 어텐션(Causal Spiking Self-Attention, CSSA) 정립.
  - 사전 학습된 부동소수점 LLM의 내부 표현을 전이하는 스파이크 지식 증류(Spike-Form Knowledge Distillation, SKD) 프레임워크 구축.
  - 공간적 채널과 시간 스텝을 동시에 최적화하여 압축하는 시공간 결합 프루닝(Spatial and Temporal Joint Pruning) 기술 적용.

2.2. Spiking Diffusion Models (SDM)

• 디퓨전 노이즈 예측 가속: 디퓨전 모델의 핵심 병목인 U-Net/DiT 노이즈 예측 네트워크를 SNN으로 치환하여 생성 속도와 에너지 효율을 대폭 개선하였습니다.
• 시간 적응형 전류 (Time-Adaptive Current): 디퓨전 타임스텝에 따라 변하는 노이즈 스케일에 대응하기 위해, 뉴런 내부 적응형 전류 메커니즘 및 VQ-VAE 이산 잠재 공간 결합 방식을 개발하였습니다.
• 로보틱스 적용 (STMDP): 로봇 제어 분야에서 실시간 행동 궤적을 추론하기 위한 Spiking Transformer 기반 확산 정책 모델(Spiking Transformer Diffusion Policy) 연구가 활발히 추진되고 있습니다.

핵심 동향 3

3. 하드웨어-소프트웨어 통합 공동 설계 (Co-design) 및 SNNaS

소프트웨어적 정확도 향상에 치중했던 한계를 넘어, 실제 뉴로모픽 프로세서 배포 시 발생하는 제약 조건을 극복하기 위한 통합 연구가 정착되었습니다.

3.1. 하드웨어 인식 신경망 구조 탐색 (SNNaS)

• 뉴로모픽 제약 조건 통합: Intel Loihi 2, SpiNNaker 2, Tsinghua Tianjic 등 주요 온칩 아키텍처의 SRAM 용량, 크로스바 스위치 구조, 비동기 AER(Address-Event Representation) 패킷 라우팅 병목을 구조 탐색 알고리즘의 제약식으로 통합하였습니다.
• 다중 목적 최적화: 지연 시간(Latency), 온칩 메모리 점유율, 전력 소모, 인식 정확도를 동시에 최적화하는 Pareto-optimal SNN 구조 자동 탐색 기법이 확립되었습니다.

3.2. 하이브리드 ANN-SNN 파이프라인

• 연산 파이프라인 분동: 네트워크 전체를 순수 SNN으로 구현할 때 발생하는 누적 정보 손실을 극복하기 위해, 감각 입력 및 이벤트 센서 인터페이스 레이어에는 SNN을 적용하고 고밀도 시맨틱 추론 레이어에는 병렬 ANN을 배치하는 하이브리드 가속 파이프라인이 실용적 절충안으로 활용되고 있습니다.

핵심 동향 4

4. 차세대 물리 소자 및 멤리스터(Memristor) 기반 SNN

실리콘 CMOS 기반 디바이스의 한계를 극복하고 신소재 나노전자 소자를 인공 시냅스와 뉴런으로 직접 채택하는 연구가 가속화되고 있습니다.

4.1. 멤리스티브 인공 뉴런 및 시냅스

• 1D1T1R 인공 뉴런: 단 하나의 확산형 멤리스터, 트랜지스터, 저항만으로 활동전위의 문턱값 발화, 불응기, 감쇠 동역학을 완벽히 모사하는 초소형 회로 구현.
• 피로 특성 고려 학습 (Fatigue STDP): 반복된 스파이크 자극 시 물리 소자에서 발생하는 열적/물리적 피로 현상을 역으로 기계학습 손실 함수에 반영한 피로 STDP 메커니즘 결합.
• 2차원 반도체 기반 소자: 단일층 이황화몰리브덴(MoS₂)의 전하 트래핑 특성을 이용해 생체 뉴런의 고유 가소성(Intrinsic Plasticity)을 소자 수준에서 직접 재현.

4.2. 비정형 데이터 가속

• 완전 멤리스티브 SNN (Fully Memristive SNN): 뇌의 거시적 동역학 모델링 및 비유클리드 그래프 데이터 처리를 위한 크로스바 어레이 아키텍처 구현.

핵심 동향 5

5. 학습 알고리즘 최적화 및 수학적 이론 정립

대리 기울기(Surrogate Gradient) 기법의 한계였던 시간 축 오차 누적과 일반화 성능 저하를 수학적으로 규명하고 최적화하는 기법이 고도화되었습니다.

5.1. 동적 대리 기울기 및 적응형 학습

• 동적 대리 기울기 (Dynamic Surrogate): 학습 진행 상황 및 동적 환경에 따라 대리 기울기 함수의 형상과 스케일을 적응적으로 변경.
• 테스트-타임 적응 (SPACE): 배포 후 테스트 환경의 도메인 변화에 실시간으로 대응하는 SNN 전용 Test-Time Adaptation 기술 개발.

5.2. 시간 중복성 제거 (MI-TRQR)

• 상호정보량 기반 시간 정량화: 시간 축 시뮬레이션 과정에서 인접 스텝 간 전달되는 정보의 상호정보량(Mutual Information)을 측정하여, 중복된 시간 스텝의 연산을 Skip하는 temporal sparsity 최적화 달성.

5.3. 수학적 수렴성 및 일반화 이론

• 범용 근사 및 라데마커 복잡도: 뉴런의 자기 연결(Self-connection) 구조와 확률적 스파이킹 메커니즘을 도입하여 SNN의 동역학적 안정성과 범용 근사 능력을 입증. 라데마커 복잡도(Rademacher Complexity)를 지수적으로 감소시켜 오버피팅을 방지할 수 있음을 엄밀히 증명.

📊 요약 및 향후 전망 비교표

연구 분야	주요 기술 키워드	대표 성과 및 지표	향후 해결 과제
Spiking Transformer	SDSA, Spikformer v3, SmoothSpike	ImageNet Top-1 86.2%, 연산 에너지 87.2배 절감	거대 시각-언어 모델(VLM)로의 스케일업
Spiking LLM & Generative AI	SpikeGPT, TTFS Coding, Spiking Diffusion	1.5B 파라미터 LLM 확장, 22배 전력 절감	초저지연 실시간 텍스트/이미지 스트리밍 생성
Co-design & SNNaS	Loihi 2, Tianjic, AER Routing, SNNaS	온칩 SRAM/크로스바 제약 고려 하드웨어 자동 최적화	파편화된 뉴로모픽 칩 SDK 통합 표준화
Memristive SNN	1D1T1R, MoS₂, Fatigue STDP	소자 수준의 생체 가소성 재현, 초고밀도 시냅스 어레이	물리 소자 간 수율 불균일성(Device Variation) 극복
Learning Theory	Dynamic Surrogate, MI-TRQR, SPACE	지연시간 T ≤ 2 스텝 단축, 일반화 오차 수학적 증명	시간 축 오차 누적 문제의 완전한 해소

💡 전망: SNN 연구는 초저전력 엣지 인공지능, 자율주행 로보틱스, 그리고 대규모 AI 인프라의 전력 한계를 극복할 가장 유력한 비(非) 폰 노이만 연산 패러다임으로 지속 성장할 것으로 전망됩니다.

스파이킹 신경망(SNN)의 발전 역사와 기술적 진화 생체 이온 동역학 모델링에서 초거대 스파이크 구동 트랜스포머까지의 70년 대서사