[Deep Learning] Basic Guide to Spiking Neural Networks for Deep Learning (2)

SNN architectures

 

SNN은 그 개념이 독특함에도 불구하고 여전히 NN이므로 SNN 아키텍처는 세 그룹으로 나눌 수 있다.

 

Feedforward Neural Network 는 모든 산업 분야에서 널리 사용되는 고전적인 NN 아키텍처이다. 이러한 아키텍처에서 데이터는 입력에서 출력으로의 한 방향으로만 전송된다. 순환이 없고 많은 숨겨진 layer에서 처리가 발생할 수 있다. ANN 아키텍처의 대부분은 feedforward이다. RNN( Recurrent Neural Network )은 좀 더 발전된 아키텍처이다. RNN 에서 neuron 간의 연결은 시간 순서를 따라 방향성 그래프를 형성한다. 이것은 그물이 시간적 동적 행동을 나타낼 수 있도록 한다. SNN이 recurrent인 경우 동적이며 높은 계산 능력을 갖는다. 하이브리드 NN에서 일부 neuron은 feedforward 연결을 갖는 반면 다른 neuron은 반복 연결을 갖는다. 또한 이러한 그룹 간의 연결은 feedforward 또는 반복적일 수도 있다. SNN 아키텍처로 사용할 수 있는 하이브리드 NN에는 두 가지 유형이 있다. Synfire chain은 임펄스 활동이 한 layer에서 다른 layer로 spike 트레인을 전송하는 synchronous wave의 형태로 전파되도록 하는 다층 net이다. Reservoir computing은 Recurrent Reservoir 및 출력 neuron이 있는 Reservoir SNN을 구축하는 데 사용할 수 있다.

 

 

How to train a SNN?

 

불행히 SNN을 훈련하는 데 사용할 수 있는 효과적인 지도 해석 가능한 학습 방법은 없다. SNN 연산의 핵심 개념은 나머지 NN에 적합한 고전적 학습 방법의 사용을 허용하지 않는다. 여전히 과학자들은 최적의 방법을 찾고 있다. 이것이 SNN을 훈련하는 것이 힘든 작업일 수 있는 이유이다. 그럼에도 불구하고 SNN 훈련에 다양한 방법을 적용할 수 있다.

 

Unsupervised Learning Spike-timing-dependent plasticity (STDP) Growing Spiking Neural Networks Artola, Bröcher, Singer (ABS) rule Bienenstock, Cooper, Munro (BCM) rule Relationship between BCM and STDP rules   Supervised Learning SpikeProp Remote Supervised Method (ReSuMe) FreqProp Local error-driven associative biologically realistic algorithm (LEABRA) Supervised Hebbian Learning   Reinforcement Learning Spiking Actor-Critic method Reinforcement Learning through reward-modulated STDP

 

대부분의 학습 방법은 ML보다 생물학과 관련이 있다. 불행히도 SNN으로 작업하려면 SNN의 핵심 요소이기 때문에 주제의 생물학적 측면을 연구할 준비가 되어 있어야 한다.

 

Deep Learning in SNNs

 

NN에 더 많은 layer가 있을수록 더 깊은 것으로 간주된다. 따라서 이론적으로 SNN에 여러 개의 hidden layer를 쌓고 이를 심층 SNN으로 간주할 수 있다. 그러나 직접 훈련된 Spiking Deep Neural Networks의 성능은 문헌에 나타난 기존의 Deep Neural Networks만큼 좋지 않다. 따라서 기존의 DL 방법에 필적하는 우수한 성능의 Deep SNN 을 개발하는 것은 아직 해결되지 않은 어려운 과제이다.

 

Advantages and disadvantages of Spiking Neural Networks

 

Spiking Neural Networks는 기존의 NN에 비해 몇 가지 분명한 이점이 있다.

 

SNN은 동적이다. 따라서 음성 및 동적 이미지 인식과 같은 동적 프로세스 작업에 탁월하다. SNN은 이미 작동 중일 때 계속 훈련할 수 있다. SNN을 훈련하려면 출력 neuron만 훈련하면 된다. SNN은 일반적으로 기존 ANN보다 neuron 수가 적다. SNN은 neuron이 연속 값이 아닌 impulse를 보내기 때문에 매우 빠르게 작동할 수 있다.  SNN은 정보의 시간적 표현을 사용하기 때문에 정보 처리의 생산성과 noise 내성이 향상되었다.

 

불행히도 SNN에는 두 가지 주요 단점이 있다.

 

SNN은 훈련하기 어렵다. 현재로서는 이 작업을 위해 특별히 설계된 학습 방법이 없다. 작은 SNN을 구축하는 것은 비현실적이다.

 

Challenges of Spiking Neural Networks

 

이론적으로 SNN은 현재 세대의 NN보다 강력하다. 그러나 SNN이 널리 사용되기 전에 해결해야 할 두 가지 심각한 문제가 있다.

 

첫 번째 문제는 SNN 훈련을 위해 특별히 개발된 학습 방법의 부족에서 비롯된다. SNN 작업의 세부 사항으로 인해 데이터 과학자는 경사 하강법과 같은 기존 학습 방법을 효과적으로 사용할 수 없다. 물론 SNN을 훈련하는 데 사용할 수 있는 비지도 생물학적 학습 방법이 있다. 그러나 전통적인 ANN이 더 빠르고 더 잘 학습할 것이기 때문에 시간이 많이 걸리고 관련성이 없다. 두 번째는 하드웨어이다. SNN으로 작업하는 것은 많은 미분방정식을 풀어야 하므로 계산 비용이 많이 든다. 따라서 특수 하드웨어 없이는 로컬에서 효과적으로 작업할 수 없다.

 

https://cnvrg.io/spiking-neural-networks/

Basic Guide to Spiking Neural Networks for Deep Learning | cnvrg.io