728x90 반응형 SMALL 푸리에 변환4 [Deep Learning] FNet: Mixing Tokens with Fourier Transforms FNet 트랜스포머의 self-attention은 CNN 또는 RNN 대비 장기 의존성 (long-term dependency)를 해결한다. 하지만 연산 complexity가 O(N²)으로 N이 길어질수록 bottlenect으로 작용한다. FNet은 푸리에 변환 (fourier transform)을 통해 self-attention 대신 token 간의 정보를 학습하는 mixing mechanism으로 simple linear transformation 연산만 문장 내의 다양한 의미 관계를 모델링할 수 있다. 또한, 속도 메모리, 정확도 측면에서 효율성을 보인다. 그리고 FNet hybrid model은 단 두 개의 self-attention sublayer만을 사용하여 BERT에 준하는 성능을 보였다... 2024. 8. 8. FFT (Fast Fourier Transform) vs STFT (Short-Time Fourier Transform) FFT (Fast Fourier Transform) FFT는 Fourier Transform을 빠르게 계산하는 알고리즘으로, 신호의 전체 주파수 성분을 추출한다.시간 도메인의 신호를 주파수 도메인으로 변환하고 전체 신호의 주파수 성분을 한 번에 분석한다. 그리고 시간에 대한 정보를 상실한다. 주파수 대역의 크기와 위상 정보를 알수 있다. 주기적 신호의 분석, 신호 전체의 스펙트럼을 확인, 주파수 필터 설계, 잡음 분석 등에 사용된다. STFT (Short-Time Fourier Transform) STFT는 시간-주파수 분석 방법으로, 신호를 작은 시간 구간 (윈도우)으로 나눈 뒤 각 구간에 대해 FFT를 적용한다. 시간-주파수 분석 가하다. 시간에 따라 주파수 성분이 어떻게 변화하는지 확인할 수 .. 2023. 10. 2. [Fourier Transform] 1차원 푸리에 변환의 특성 (2) Linear Systems Analysis 시스템의 "입력" 자극이 시스템으로부터 "출력" 반응을 일으키는 시스템이 있다고 가정한다면, 주차장과 같은 공터에 있는 카트의 예를 생각한다. 어떤 입력 힘으로 카트를 밀면 카트는 출력 거리를 이동하게 된다. 선형 시스템은 출력이 입력에 선형적으로 의존하는 시스템으로, 즉 출력의 진폭은 입력의 진폭에 선형적으로 비례한다. 원래 힘 또는 힘의 두 배로 카트를 밀면 카트는 원래 거리의 두 배로 이동하게 된다. 선형 시스템은 시스템에 동시에 적용되는 두 개 이상의 입력에 대한 시스템의 반응을 다루는 또 다른 특성을 가지고 있다. 이 특성 (중첩이라고도 함)은 동시 입력에 대한 선형 시스템의 반응이 모든 개별 입력에 대한 시스템의 반응의 합이라고도 한다. 만약, 한 사.. 2023. 7. 31. 푸리에 변환 (Fourier Transform) 푸리에 변환 (Fourier Transform) 신호 및 이미지 처리에 사용되는 모든 변환 중에서 푸리에 변환 (FT)은 아마도 가장 일반적으로 사용되는 변환일 것이다. 신호는 여러 다양한 영역에서 표현될 수 있으며, 그 중에서 시간이 아마도 가장 직관적인 영역일 것이다. 시간 신호는 "언제" 사건이 발생하는지에 대한 질문에 답할 수 있는 반면, FT 도메인은 "얼마나 자주"로 시작하는 질문을 처리한다. 예를 들어, 여러분이 한 커뮤니티에서 설문지를 작성하여 구성원들의 쇼핑 습관을 연구한다고 가정한다면 "여러분은 보통 어떤 요일에 쇼핑을 가십니까?" 또는 "어떤 시간에 절대 쇼핑을 가지 않으세요?"와 같은 질문을 할 때 유용한 정보를 얻을 수 있다. 이 정보는 사람들의 쇼핑 습관의 "시간" 요소를 이해하.. 2023. 7. 31. 이전 1 다음 728x90 반응형 LIST
