728x90 반응형 SMALL 순환 신경망2 [ANN] 순환 신경망 (Recurrent Neural Network, RNN) (2) 매개변수 순환 신경망의 매개변수 (가중치 집합)는 Θ = 𝐔𝐔,𝐖𝐖, 𝐕𝐕, 𝐛𝐛, 𝐜𝐜 이다. 𝐔𝐔 : 입력층과 은닉층을 연결하는 p*d 행렬 𝐖𝐖 : 은닉층과 은닉층을 연결하는 p*p 행렬 𝐕𝐕 : 은닉층과 출력층을 연결하는 q*p 행렬 𝐛𝐛, 𝐜𝐜 : 바이어스로서 각각 p*1과 q*1 행렬 RNN 학습이란 훈련 집합을 최적의 성능으로 예측하는 Θ 값을 찾는 일을 말한다. 가중치 𝐮𝐮𝑗𝑗 = 𝑢𝑢𝑗𝑗1, 𝑢𝑢𝑗𝑗2, ⋯ , 𝑢𝑢𝑗𝑗𝑑𝑑 는 𝐔𝐔 행렬의 j번째 행 (ℎ𝑗𝑗에 연결된 에지의 가중치들) Vanishing Gradient Problem RNN 역시 경사하강법과 오류 역전파 (backpropagation)를 이용해 학습한다. 학습 데이터의 길이가 길어질수록 먼 과거의 정보를 현재에 전달하기 힘.. 2021. 12. 14. [ANN] 순환 신경망 (Recurrent Neural Network, RNN) (1) 순환 신경망 (Recurrent Neural Network, RNN) RNN은 hidden node가 방향을 가진 edge로 연결돼 순환구조 (directed cycle)를 이루는 인공신경망의 한 종류이다. 입력과 출력을 시퀀스 단위로 처리하는 모델이다. 순환 신경망은 시계열 데이터 처리에 알맞게 변형된 딥러닝 구조이다. Sequence Data를 학습하여 Classification 또는 Prediction을 수행한다. 은닉 계층 안에 하나 이상의 순환 계층을 갖는다. 하나의 파라미터 쌍 (가중치와 편향)을 각 시간대 데이터 처리에 반복 사용한다. 시간대와 시간대 사이에 순환 벡터를 이용해 정보를 전달한다. 일정 시간 동안 모든 값이 계산되면, 모델을 학습하기 위해 결과값과 목표값의 차이를 loss fu.. 2021. 12. 14. 이전 1 다음 728x90 반응형 LIST
