728x90 반응형 SMALL tanh3 Programming LSTM with Keras and TensorFlow Programming LSTM with Keras and TensorFlow 전방 연결을 가진 신경망은 항상 첫 번째 숨겨진 계층에 연결된 입력 계층으로 시작한다. 각 숨겨진 계층은 항상 다음 숨겨진 계층에 연결된다. 마지막 숨겨진 계층은 항상 출력 계층에 연결된다. 이러한 연결 방식이 이러한 네트워크를 "feed-forward"라고 부르는 이유이다. 반복 신경망은 역방향 연결도 허용되기 때문에 경직되지 않는다. 반복적인 연결은 층의 뉴런을 이전 층 또는 뉴런 자체에 연결한다. 대부분의 반복 신경망 아키텍처는 반복 연결에서 상태를 유지한다. 피드포워드 신경망은 어떤 상태도 유지하지 않는다. LSTM LSTM (Long Short Term Memory) 레이어는 심층 신경망과 함께 자주 사용하는 반복 단위.. 2022. 12. 6. [Deep Learning] 활성화 함수 (Activation Function) (1) 활성화 함수 (Activation Function) 입력된 데이터의 weight 합을 출력 신호로 변환하는 함수이다. ANN에서 이전 layer에 대한 weight 합의 크기에 따라 activation 여부가 결정된다. 신경망의 목적에 따라 또는 layer의 역할에 따라 선택적으로 적용한다. Sigmoid 시그모이드 (sigmoid)는 S자 형태라는 의미로, sigmoid 함수는 S자형 곡선의 함수를 의미한다. 정의역은 실수 전체이지만, 유한한 구간(a,b) 사이의 한정된 값을 반환한다. a와 b는 주로 0과 1을 사용한다. sigmoid 함수에서 정의역의 절댓값이 커질수록 미분 값은 0으로 수렴한다. weight가 업데이트되지 않고 소실되는 Gradient vanishing이 발생할 수 있다. Vani.. 2022. 1. 3. [ANN] 순환 신경망 (Recurrent Neural Network, RNN) (2) 매개변수 순환 신경망의 매개변수 (가중치 집합)는 Θ = 𝐔𝐔,𝐖𝐖, 𝐕𝐕, 𝐛𝐛, 𝐜𝐜 이다. 𝐔𝐔 : 입력층과 은닉층을 연결하는 p*d 행렬 𝐖𝐖 : 은닉층과 은닉층을 연결하는 p*p 행렬 𝐕𝐕 : 은닉층과 출력층을 연결하는 q*p 행렬 𝐛𝐛, 𝐜𝐜 : 바이어스로서 각각 p*1과 q*1 행렬 RNN 학습이란 훈련 집합을 최적의 성능으로 예측하는 Θ 값을 찾는 일을 말한다. 가중치 𝐮𝐮𝑗𝑗 = 𝑢𝑢𝑗𝑗1, 𝑢𝑢𝑗𝑗2, ⋯ , 𝑢𝑢𝑗𝑗𝑑𝑑 는 𝐔𝐔 행렬의 j번째 행 (ℎ𝑗𝑗에 연결된 에지의 가중치들) Vanishing Gradient Problem RNN 역시 경사하강법과 오류 역전파 (backpropagation)를 이용해 학습한다. 학습 데이터의 길이가 길어질수록 먼 과거의 정보를 현재에 전달하기 힘.. 2021. 12. 14. 이전 1 다음 728x90 반응형 LIST
