728x90
반응형
SMALL
Seq2Seq (Sequence to Sequence)
RNN에서 many-to-many에 해당되는 모델을 'Seq2Seq Model'이라고 하며, 그 중 입력 문장을 읽어오는 부분을 인코더 (encoder), 출력 문장을 생성하는 부분을 디코더 (decoder)라고 한다.
디코더의 첫번째 입력값 (input)은 SoS (Start of Sentence)에 들어가며 결과값을 생성하기 시작하고, EoS (End of Sentece) 토큰이 디코더의 출력값 (output)으로 나오면 생성을 멈추게 된다.
Seq2Seq의 문제
입력 시퀀스의 길이에 상관없이 단일 컨텍스트 벡터로 표현하여 정보 병목 (Information Bottleneck) 현상이 발생한다.
728x90
반응형
LIST
'Learning-driven Methodology > DL (Deep Learning)' 카테고리의 다른 글
| [Deep Learning] 트랜스포머 (Transformer) (0) | 2023.12.28 |
|---|---|
| [Deep Learning] Attention Mechanism (0) | 2023.12.28 |
| [Deep Learning] 1D CNN (0) | 2023.09.27 |
| [Deep Learning] 방사형 기저 함수 신경망 (Radial Basis Function Network) (0) | 2023.07.17 |
| [Deep Learning] 베이지안 하이퍼파라미터 최적화 (Bayesian Hyperparameter Optimization) (0) | 2023.05.26 |
