research

Neuromorphic Computing — 개요 및 기초 로드맵

Neuromorphic Computing — 개요 및 기초 로드맵

한 줄 정의: 뇌의 spike 기반 동작 원리를 하드웨어와 알고리즘으로 그대로 구현하는 분야
에너지 효율 연결: 뇌는 20W로 동작 — 이벤트 기반 연산이 핵심 이유
현재 상태: 장기 잠재력 최상, 성숙도 낮음 — 가장 어렵고 가장 근본적인 방향

왜 Neuromorphic인가

현재 딥러닝은 뇌를 수학적으로 추상화했다. 뉴런 → 숫자, 시냅스 → 행렬. 하지만 실제 뇌는 다르게 동작한다:

  • 뉴런은 항상 값을 흘려보내지 않는다
  • 막전위(membrane potential)가 임계값을 넘을 때만 spike(활동전위)를 발사
  • 대부분의 시간: 아무것도 안 함 → 에너지 소비 없음
  • 이게 이벤트 기반(event-driven) 연산

GPU: 매 클럭마다 전력 소비
SNN: spike 발생 시에만 전력 소비
→ 이론적으로 수십~수백 배 에너지 효율 가능

핵심 개념

뉴런 모델

Hodgkin-Huxley 모델 (1952, 노벨상)
실제 뉴런의 이온 채널 동역학을 연립 미분방정식으로 표현. 생물학적으로 정확하지만 계산 비용이 크다.

CmdVdt=Iext−gNam3h(V−ENa)−gKn4(V−EK)−gL(V−EL)C_m \frac{dV}{dt} = I_{ext} - g_{Na}m^3h(V-E_{Na}) - g_K n^4(V-E_K) - g_L(V-E_L)

Leaky Integrate-and-Fire (LIF) 모델
Hodgkin-Huxley를 극도로 단순화한 버전. Neuromorphic 연구에서 가장 많이 쓰임.

τmdVdt=−(V−Vrest)+R⋅I(t)\tau_m \frac{dV}{dt} = -(V - V_{rest}) + R \cdot I(t)

  • 입력 전류를 적분(integrate)
  • 누수(leak): 자연스럽게 안정 전위로 돌아옴
  • 임계값 초과 → spike 발사 → 전위 리셋

학습 메커니즘

STDP (Spike-Timing Dependent Plasticity)
Hebbian learning의 시간 기반 버전. "같이 발화하는 뉴런은 함께 연결된다."

  • pre-synaptic spike가 먼저 → post가 나중: 시냅스 강화 (LTP)
  • post-synaptic spike가 먼저 → pre가 나중: 시냅스 약화 (LTD)
  • 시간 차이가 클수록 변화 폭 감소

왜 중요한가: backpropagation 없이 지역 정보만으로 학습 가능 → 진짜 뇌처럼

핵심 하드웨어

| 칩 | 개발사 | 뉴런 수 | 특징 | |---|---|---|---| | TrueNorth | IBM | 100만 | 초저전력, 추론 특화 | | Loihi / Loihi 2 | Intel | 100만+ | 온칩 학습 가능, 연구용 | | BrainScaleS | EU Human Brain Project | 아날로그 뉴런 | 물리적 아날로그 회로 |

현재 가장 큰 미해결 문제

SNN 학습의 어려움: Spike는 불연속 함수 → 미분 불가 → backpropagation 직접 적용 불가

우회 방법들:

  • Surrogate Gradient: spike 함수를 미분 가능한 함수로 근사해서 학습
  • STDP 기반 학습: 생물학적 규칙 그대로 사용, 단 성능이 현재 DL에 못 미침
  • ANN-to-SNN 변환: 일반 신경망을 학습 후 SNN으로 변환 (가장 실용적이지만 타협점)

필요한 기초 — 세 줄기

줄기 1: 수학/물리

| 분야 | 필요 이유 | 우선순위 | |------|-----------|:--------:| | 상미분방정식 (ODE) | 뉴런 모델 자체가 ODE | 🔴 필수 | | 동역학계 이론 | 안정성 분석, attractor, bifurcation | 🔴 필수 | | 선형대수 | 시냅스 행렬, 네트워크 분석 | 🔴 필수 | | 확률론 | 스파이크 열의 통계적 분석 | 🟡 중요 | | 정보이론 | 뉴럴 코딩, spike rate vs temporal coding | 🟡 중요 | | 아날로그 회로/전자공학 | 하드웨어 구현 이해 | 🟢 심화 |

줄기 2: 신경과학 (Computational Neuroscience)

| 개념 | 내용 | |------|------| | 활동전위 (Action Potential) | spike 발생 메커니즘 | | 시냅스 가소성 | STDP, LTP, LTD | | 뉴럴 코딩 | Rate coding vs Temporal coding vs Population coding | | 뇌 영역 구조 | 대뇌피질 레이어, 해마, 기저핵 (각각 다른 연산 방식) |

줄기 3: 현재 ML + 컴퓨터 아키텍처

  • 현재 DL의 한계를 알아야 "무엇을 대체하는가"가 보임
  • CPU/GPU 메모리 계층 이해 → Neuromorphic이 왜 다른지 비교 가능
  • CUDA 병렬 모델 vs 이벤트 기반 비동기 모델의 차이

학습 로드맵

입문 자료

교재 (순서대로)

  1. Strogatz, Nonlinear Dynamics and Chaos (1994) — ODE + 동역학계 입문. 수식보다 직관 중심. 수학 입문서 중 가장 읽기 좋음.
  2. Dayan & Abbott, Theoretical Neuroscience (2001) — Computational Neuroscience 표준 교재. 1~3장만 읽어도 뉴런 모델 언어 습득.
  3. Gerstner et al., Neuronal Dynamics (2014) — 무료 온라인 공개. SNN에 더 가까운 현대적 교재.

논문

  • Mahowald & Douglas (1991) A silicon neuron — Neuromorphic 개념 탄생
  • Davies et al. (2018) Loihi: A Neuromorphic Manycore Processor — Intel Loihi 원논문
  • Pfeiffer & Pfeil (2018) Deep Learning with Spiking Neurons — SNN + DL 연결 서베이
  • Neftci et al. (2019) Surrogate Gradient Learning in SNNs — 현재 SNN 학습의 주류 방법

다른 관심사와의 연결

  • Q1 에너지 효율: Neuromorphic이 궁극적 해답 후보 — 이벤트 기반으로 GPU 대비 수십~수백 배 효율
  • Q3 자기 진화: STDP는 외부 감독 없이 지역 정보만으로 학습 → 진화적 학습과 철학적으로 연결
  • 교수님 연구 (Evolutionary RL): Evolutionary + SNN 결합은 아직 미개척 영역 — 흥미로운 연구 방향

생성: 2026-03-14
상위 노트: overview|AI 에너지 효율 overview

← research 목록으로홈으로