[ANN] 다층 퍼셉트론 (Multi-Layer Perceptron) (2)

역전파 (Backpropagation)

 

오차를 하나의 계층에서 직전 계층으로, 즉 역으로 전파하는데 가중치를 이용한다.

 

 

오차 𝑒1은 나뉘어 전달될 때, 작은 가중치를 가지는 연결 노드보다 큰 가중치를 가지는 연결 노드에 더 많이 전달한다.

 

다층 계층에서 오차 역전파

 

출력 계층의 연결된 노드들의 가중치를 업데이트한다. 

 

𝑒𝑜𝑢𝑡𝑝𝑢𝑡 : 출력 계층의 오차 𝑊ℎ𝑜 : 은닉 계층에서 출력 계층을 연결하는 가중치

 

은닉 계층의 노드의 출력 값과 관련된 오차를 입력 계층과 은닉 계층을 연결하는 가중치를 업데이트한다.

 

𝑒ℎ𝑖𝑑𝑑𝑒𝑛 : 은닉 계층의 노드의 출력 값과 관련된 오차 𝑊𝑖ℎ : 입력 계층에서 은닉 계층을 연결하는 가중치

중간 계층 : 존재하는 노드들의 오차가 명백하지 않다. 이전 계층의 노드로부터 오는 n개의 연결 노드의 오차를 재조합함으로써 중간 계층의 노드의 에러로 사용한다. 출력 계층 : 실제 값 (정답)과 출력 값 사이의 차이

 

행렬곱을 이용한 오차 역전파

 

벡터화 (vectorize)는 세로 벡터로 바꾸는 선형 변환이다. m×n행렬 A의 선형화는 vec(A)로 표기하며, 출력 계층에 2개의 노드에서의 오차 행렬은 다음과 같다.

 

 

은닉 계층의 오차 행렬은 다음과 같다.

 

 

출력 오차인 𝑒_𝑛과 가중치 𝑤_𝑖𝑗의 곱셈 연산한다. 가중치가 크면 클수록 더 많은 출력 오차가 은닉 계층으로 돌아간다. 정규화 인자 (normalizing factor)를 무시하고 표현한다.

 

 

전치 (transpose)는 행렬의 행과 열을 바꾸는 것이다. 현재의 가중치 행렬은 대각선 방향으로 원소가 뒤바뀐 형태이다.