728x90 반응형 SMALL Attention Mechanism2 [Deep Learning] Attention Mechanism Attention Seq2Seq는 인코더 마지막 히든 스테이트 (hidden state)에 모든 인코더 정보를 우겨넣게 된다. 그리고 LSTM을 통해 Long-term dependency 문제를 해결했지만, 뒤 타임 스텝에서 앞쪽의 정보를 잘 저장하지 못하는 현상이 발생하기도 했다. 이 문제를 보완하기 위해 attention이 등장하게 된다. 동작 원리 어텐션이란, 디코더 (Decoder)가 각 타임 스텝 (time step)에서 결과를 생성할 때에 인코더 (Encoder)의 몇번째 타임 스텝을 더 집중 (Attention)해야하는 지를 스코어 형태로 나타내는 것이다. 각 디코더의 타임 스텝마다 인코더의 히든 스테이트 백터 (hidden state vector)와의 유사도를 계산함으로써, 인코더의 몇번.. 2023. 12. 28. [Image Segmentation] 주목 메커니즘 (Attention Module) 주목 메커니즘 (Attention Module) 주목 메커니즘 (Attention Mechanism)은 중요도가 높은 특정 벡터에 더욱 집중하도록 도와주는 기법으로 RNN의 seq2seq에 처음 도입되었다. CNN에서 주목 기법은 주로 Visual Question Answering 또는 Image Captioning처럼 multi-modal간의 관계를 이용한 feature selection에 많이 사용되었다. 가장 대표적인 논문인 “Show, Attend and Tell: Neural Image Caption Generation with Visual Attention” 에서는 아래의 그림과 같이 어떤 부분을 보고 문장을 생성했는지 효과적으로 시각화했는지 보여주었다. 주목 메커니즘은 장기 의존성 문제를 효.. 2022. 12. 15. 이전 1 다음 728x90 반응형 LIST
