[Deep Learning] Basic Guide to Spiking Neural Networks for Deep Learning (1)

Introduction to Spiking Neural Networks

 

DL은 데이터 과학 커뮤니티 내에서 뜨거운 주제이다. 산업 전반의 다양한 작업에서 매우 효과적임에도 불구하고 DL은 새로운 신경망 (NN) 아키텍처, DL 작업, 그리고 SNN (스파이킹 신경망)과 같은 차세대 NN의 새로운 개념을 제안하면서 끊임없이 진화하고 있다.

 

What is a Spiking Neural Network?

 

인공 신경망 (ANN)의 일반적인 개념은 생물학에서 비롯된다. 우리는 정보 및 신호 처리, 의사 결정 및 기타 여러 작업에 사용되는 뇌 내부에 생물학적 신경망을 가지고 있다. 생물학적 신경망의 기본 요소는 생물학적 neuron이다.

 

https://en.wikipedia.org/wiki/Biological_neuron_model

 

반면 ANN에서는 인공 neuron이 사용된다.

 

https://www.researchgate.net/figure/The-structure-of-the-artificial-neuron_fig2_328733599

 

인공 neuron은 서로 매우 유사함에도 불구하고 실제로 생물학적 뉴런의 행동을 모방하지 않는다. 따라서 생물학적 NN과 ANN은 근본적으로 다르다 .

 

일반 구조 신경 계산 뇌와 비교한 학습 규칙

https://www.researchgate.net/figure/A-biological-neuron-in-comparison-to-an-artificial-neural-network-a-human-neuron-b_fig2_339446790

 

따라서 인공 neuron 대신 생물학적으로 사실적인 neuron을 사용하는 NN을 필요하다. 그러한 네트워크는 SNN이 될 것이다. SNN의 첫 번째 과학적 모델은 1952년 Alan Hodgkin과 Andrew Huxley에 의해 제안되었다. 모델은 생물학적 neuron의 활동 전위 초기화 및 전파를 설명했다. 그러나 생물학적 neuron 사이의 충동은 직접 전달되지 않는다. 그러한 의사소통은 시냅스 틈에서 신경전달물질이라고 불리는 화학물질의 교환을 필요로 한다.

 

How does a Spiking Neural Network work? : The key concept of SNN operation

 

전통적인 ANN과 SNN의 주요 차이점은 정보 전파 접근 방식이다. SNN은 생물학적 NN을 더 가깝게 모방하려고 한다. 이것이 ANN에서 사용되는 시간 값의 지속적으로 변화하는 작업 대신 SNN이 특정 시점에서 발생하는 개별 이벤트로 작동하는 이유이다. SNN은 입력으로 일련의 스파이크를 수신하고 출력으로 일련의 스파이크를 생성한다 (일련의 스파이크는 일반적으로 스파이크 트레인이라고 함).

 

매 순간 각 neuron은 생물학적 neuron의 전위와 유사한 값을 가지고 있다. neuron의 값은 neuron의 수학적 모델에 따라 변경될 수 있다. 예를 들어 neuron이 upstream neuron에서 스파이크를 수신하면 값이 증가하거나 감소할 수 있다.  neuron의 값이 임계값을 초과하면 neuron은 초기 neuron에 연결된 각 downstream neuron에 단일 임펄스를 보낸다. 그 후 neuron의 값은 즉시 평균 아래로 떨어진다. 따라서 뉴런은 생물학적 neuron의 불응기의 유사체를 경험할 것이다. 시간이 지남에 따라 뉴런의 값은 부드럽게 평균으로 돌아간다.

 

 

SNN neuron models

 

SNN neuron은 실제로 생물학적 neuron의 수학적 설명을 기반으로 한다. SNN neuron을 모델링하는 데 사용되는 두 가지 기본 방법 그룹이 있다.

 

◦ Conductance-based 모델은 neuron의 활동 전위 가 어떻게 시작되고 전파 되는지 설명한다. Hodgkin-Huxley model FitzHugh–Nagumo model Morris–Lecar model Hindmarsh–Rose model Izhikevich model Cable theory ◦ 임계값 모델은 특정 임계값에서 임펄스를 생성한다. Perfect Integrate-and-fire Leaky Integrate-and-fire Adaptive Integrate-and-fire

 

이 모든 방법이 생물학적 neuron을 설명하려고 시도하지만 devil은 세부 사항이므로 이러한 모델을 기반으로 구축된 SNN neuron은 약간 다를 수 있다.

 

SNN neuron에 가장 일반적으로 사용되는 모델은 Leaky Integrate-and-fire 임계값 모델이다. 이 모델은 neuron의 값을 미분방정식으로 모델링된 순간 활성화 수준으로 설정하는 것을 제안한다. 그런 다음 neuron은 값이 사라지거나 임계값에 도달할 때까지 값에 영향을 주는 들어오는 spike를 수신한다. 임계값에 도달하면 neuron은 downstream neuron으로 impulse를 보내고 neuron의 값은 평균 아래로 떨어진다.

 

https://cnvrg.io/spiking-neural-networks/

Basic Guide to Spiking Neural Networks for Deep Learning | cnvrg.io