Neuromorphic Computing — 개요 및 기초 로드맵

한 줄 정의: 뇌의 spike 기반 동작 원리를 하드웨어와 알고리즘으로 그대로 구현하는 분야
에너지 효율 연결: 뇌는 20W로 동작 — 이벤트 기반 연산이 핵심 이유
현재 상태: 장기 잠재력 최상, 성숙도 낮음 — 가장 어렵고 가장 근본적인 방향

왜 Neuromorphic인가

현재 딥러닝은 뇌를 수학적으로 추상화했다. 뉴런 → 숫자, 시냅스 → 행렬. 하지만 실제 뇌는 다르게 동작한다:

• 뉴런은 항상 값을 흘려보내지 않는다
• 막전위(membrane potential)가 임계값을 넘을 때만 spike(활동전위)를 발사
• 대부분의 시간: 아무것도 안 함 → 에너지 소비 없음
• 이게 이벤트 기반(event-driven) 연산

GPU: 매 클럭마다 전력 소비
SNN: spike 발생 시에만 전력 소비
→ 이론적으로 수십~수백 배 에너지 효율 가능

핵심 개념

뉴런 모델

Hodgkin-Huxley 모델 (1952, 노벨상)
실제 뉴런의 이온 채널 동역학을 연립 미분방정식으로 표현. 생물학적으로 정확하지만 계산 비용이 크다.

$C_m \frac{dV}{dt} = I_{ext} - g_{Na}m^3h(V-E_{Na}) - g_K n^4(V-E_K) - g_L(V-E_L)$

Leaky Integrate-and-Fire (LIF) 모델
Hodgkin-Huxley를 극도로 단순화한 버전. Neuromorphic 연구에서 가장 많이 쓰임.

$\tau_m \frac{dV}{dt} = -(V - V_{rest}) + R \cdot I(t)$

• 입력 전류를 적분(integrate)
• 누수(leak): 자연스럽게 안정 전위로 돌아옴
• 임계값 초과 → spike 발사 → 전위 리셋

학습 메커니즘

STDP (Spike-Timing Dependent Plasticity)
Hebbian learning의 시간 기반 버전. "같이 발화하는 뉴런은 함께 연결된다."

• pre-synaptic spike가 먼저 → post가 나중: 시냅스 강화 (LTP)
• post-synaptic spike가 먼저 → pre가 나중: 시냅스 약화 (LTD)
• 시간 차이가 클수록 변화 폭 감소

왜 중요한가: backpropagation 없이 지역 정보만으로 학습 가능 → 진짜 뇌처럼

핵심 하드웨어

현재 가장 큰 미해결 문제

SNN 학습의 어려움: Spike는 불연속 함수 → 미분 불가 → backpropagation 직접 적용 불가

우회 방법들:

• Surrogate Gradient: spike 함수를 미분 가능한 함수로 근사해서 학습
• STDP 기반 학습: 생물학적 규칙 그대로 사용, 단 성능이 현재 DL에 못 미침
• ANN-to-SNN 변환: 일반 신경망을 학습 후 SNN으로 변환 (가장 실용적이지만 타협점)

필요한 기초 — 세 줄기

줄기 1: 수학/물리

줄기 2: 신경과학 (Computational Neuroscience)

줄기 3: 현재 ML + 컴퓨터 아키텍처

• 현재 DL의 한계를 알아야 "무엇을 대체하는가"가 보임
• CPU/GPU 메모리 계층 이해 → Neuromorphic이 왜 다른지 비교 가능
• CUDA 병렬 모델 vs 이벤트 기반 비동기 모델의 차이

학습 로드맵

입문 자료

교재 (순서대로)

1. Strogatz, Nonlinear Dynamics and Chaos (1994) — ODE + 동역학계 입문. 수식보다 직관 중심. 수학 입문서 중 가장 읽기 좋음.
2. Dayan & Abbott, Theoretical Neuroscience (2001) — Computational Neuroscience 표준 교재. 1~3장만 읽어도 뉴런 모델 언어 습득.
3. Gerstner et al., Neuronal Dynamics (2014) — 무료 온라인 공개. SNN에 더 가까운 현대적 교재.

논문

• Mahowald & Douglas (1991) A silicon neuron — Neuromorphic 개념 탄생
• Davies et al. (2018) Loihi: A Neuromorphic Manycore Processor — Intel Loihi 원논문
• Pfeiffer & Pfeil (2018) Deep Learning with Spiking Neurons — SNN + DL 연결 서베이
• Neftci et al. (2019) Surrogate Gradient Learning in SNNs — 현재 SNN 학습의 주류 방법

다른 관심사와의 연결

• Q1 에너지 효율: Neuromorphic이 궁극적 해답 후보 — 이벤트 기반으로 GPU 대비 수십~수백 배 효율
• Q3 자기 진화: STDP는 외부 감독 없이 지역 정보만으로 학습 → 진화적 학습과 철학적으로 연결
• 교수님 연구 (Evolutionary RL): Evolutionary + SNN 결합은 아직 미개척 영역 — 흥미로운 연구 방향

생성: 2026-03-14
상위 노트: ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~overview|AI 에너지 효율 overview~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~