[ANN] 퍼셉트론 (Perceptron)

사람의 뉴런

 

 

두뇌의 가장 작은 정보처리 단위이다. 세포체 (cell body)는 간단한 연산하며 수상돌기 (dendrite)는 신호 수신, 축삭 (axon)은 처리 결과를 전송한다. 사람은 1011개 정도의 뉴런을 가지며, 뉴런은 1000개 가량 다른 뉴런과 연결되어 있어 1014개 정도 연결되어 있다.

 

	컴퓨터	인간의 두뇌
처리 소자의 개수	10^8개의 트랜지스터	10^10개의 뉴런
처리 소자의 속도	10^12Hz	10^2Hz
학습 기능	없음	있음
계산 형태	중앙 집중식, 순차적 처리	분산 병렬 처리

 

뉴런의 기본 동작

 

신호를 받아들이고, 이 신호가 축삭 돌기를 지나 축삭 말단으로 전달한다. 축삭 돌기를 지나는 동안 신호가 약해지거나, 너무 약해서 축삭 말단까지 전달되지 않거 나 혹은 강하게 전달되기도 한다. 축삭 말단까지 전달된 신호는 연결된 다음 뉴런의 가지 돌기로 전달한다.

 

입력신호, 즉 입력값 X에 가중치 (ω)를 곱하고 편향 (b)을 더한 뒤 활성화 함수 (Sigmoid, ReLU 등)를 거쳐 결과값 y를 만들어 낸다. 원하는 y값을 만들어내기 위해 ω와 b의 값을 변경해가면서 적절한 값을 찾아낸다 (이러한 최적화 과정을 학습 또는 훈련).

 

입력 값이 어떤 분계점 (threshold)에 도달해야 출력이 발생한다. 입력 신호를 받아 특정 분계점을 넘어서는 경우에 출력 신호를 생성해주는 함수를 활 성화 함수라고 한다.

 

퍼셉트론 (Perceptron)

 

퍼셉트론 (perceptron)은 1957년에 로젠 블라트 (Frank Rosenblatt)가 고안한 인공 신경망이다. 신경망은 퍼셉트론이라고 불리는 이진 선형 분류기 (binary linear classifier) 세포들의 집합이라고 할 수 있다.

 

 

perceptron은 입력으로 들어온 𝒳로부터 각각의 가중치 ω를 곱한 후에 함수 𝑓를 통해 더해진다.

 

식으로 나타내면 𝑓 = (𝒳1 * ω1) + (𝒳2 * ω2) + ... + (𝒳n * ωn) + b (bias, 편향)이다.

 

함수 𝑓는 어떤 연산이 되더라도 상관없지만, perceptron의 경우에는 대부분 합계 연산을 사용한다. 그 다음, 분류에 대한 활성화의 허용 여부에 따라서 함수 𝑓를 평가한다. 이때, 시그모이드 함수 (sigmoid function)는 이진 분류에 사용되는 가장 일반적인 활성화 함수 (activation function)이다.

 

선형 분류 가능 문제

 

 

퍼셉트론은 패턴 인식 측면에서 보면 퍼셉트론은 직선을 이용하여 입력 패턴을 분류하는 선형 분류자 (linear classifier)의 일종이라고 말할 수 있다. AND나 OR 연산은 모두 선형 분리 가능한 문제에 속한다.

 

XOR 학습 문제

 

https://blog.naver.com/mikangel/222292712559

 

이진 숫자 (binary digit) XOR 연산은 2개의 입력이 같으면 0, 2개의 입력이 서 로 다르면 1이 되는 논리적인 연산이다. Minsky와 Papert는 1969년에 발간된 책 “Perceptrons”에서 1개의 레이어 (layer, 계층)으로 구성된 퍼셉트론은 XOR 문제를 학습할 수 없다는 것을 수학적으로 증명했다. 따라서, 당시에 진행 중이던 모든 신경망 연구가 중단되었다 (신경망의 암흑기).