티스토리

GOATLAB

검색하기

블로그 홈

GOATLAB

goatlab.tistory.com/m

For studying Neurology, Somonlogy, AI, Data Science, Python, ...

구독자: 18

방명록 방문하기

728x90

반응형

SMALL

주요 글 목록

[Deep Learning] FNet: Mixing Tokens with Fourier Transforms FNet 트랜스포머의 self-attention은 CNN 또는 RNN 대비 장기 의존성 (long-term dependency)를 해결한다. 하지만 연산 complexity가 O(N²)으로 N이 길어질수록 bottlenect으로 작용한다. FNet은 푸리에 변환 (fourier transform)을 통해 self-attention 대신 token 간의 정보를 학습하는 mixing mechanism으로 simple linear transformation 연산만 문장 내의 다양한 의미 관계를 모델링할 수 있다. 또한, 속도 메모리, 정확도 측면에서 효율성을 보인다. 그리고 FNet hybrid model은 단 두 개의 self-attention sublayer만을 사용하여 BERT에 준하는 성능을 보였다... 공감수 1 댓글수 0 2024. 8. 8.
[Deep Learning] 인코더 디코더 모델 인코더 모델 (Encoder Models) 인코더 모델 (encoder models)은 Transformers 모델의 인코더 모듈만 사용한다. 각 단계에서 어텐션 계층 (attention layer)은 초기/원본 입력 문장 (initial sentence)의 모든 단어에 액세스할 수 있다. 이러한 모델은 종종 양방향 (bi-directional) 주의 집중 (attention)을 수행하는 것이 특징이며, auto-encoding model 이라고 부르기도 한다. 이러한 모델의 사전 학습 (pre-training) 과정에서 일반적으로 주어진 초기 문장을 다양한 방법을 사용하여 손상시키고 (ex: 임의의 단어를 masking), 손상시킨 문장을 다시 원래 문장으로 복원하는 과정을 통해서 모델 학습이 진행된.. 공감수 0 댓글수 0 2024. 8. 7.
TabNet TabNet TabNet은 tabular 데이터의 훈련에 맞게 설계됐으며 Tree 기반 모델에서 변수의 선택 특징을 네트워크 구조에 반영한 테이블 형식 데이터 학습 아키텍처 모델이다. TabNet은 순차적인 attention을 사용하여 각 결정 단계에서 추론할 기능을 선택하고, 학습 용량이 가장 두드러진 기능에 사용되므로 해석 가능성과 보다 효율적인 학습을 가능하게 한다. 예제 pip install pytorch_tabnet from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.metrics import accuracy_score from pytorch_ta.. 공감수 1 댓글수 0 2024. 4. 21.
[Deep Learning] 트랜스포머 구조 트랜스포머 구조 트랜스포머는 RNN을 사용하지 않지만 기존의 seq2seq처럼 인코더에서 입력 시퀀스를 입력받고, 디코더에서 출력 시퀀스를 출력하는 인코더-디코더 구조를 유지하고 있다. seq2seq 구조에서는 인코더와 디코더에서 각각 하나의 RNN이 t개의 시점 (time step)을 가지는 구조였다면 트랜스포머의 인코더와 디코더는 단위가 N개로 구성되는 구조이다. 인코더로부터 정보를 전달받아 디코더가 출력 결과를 만들어내는 트랜스포머 구조를 보여준다. 디코더는 마치 기존의 seq2seq 구조처럼 시작 심볼 를 입력으로 받아 종료 심볼 가 나올 때까지 연산을 진행한다. 이는 RNN은 사용되지 않지만 여전히 인코더-디코더의 구조는 유지되고 있음을 보여준다. 하이퍼파라미터 d_model 트랜스포머의 인코더.. 공감수 0 댓글수 0 2023. 12. 28.
[Deep Learning] 트랜스포머 (Transformer) 트랜스포머 (Transformer) 트랜스포머 (Transformer)는 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션 (Attention)만으로 구현한 모델이다. 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 번역 성능에서도 RNN보다 우수한 성능을 보여주었다. 트랜스포머의 가장 큰 특징은 Convolution, Recurrence를 사용하지 않는다. seq2seq 모델의 한계 기존의 seq2seq 모델은 인코더-디코더 구조로 구성되어져 있다. 여기서 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해서 출력 시.. 공감수 1 댓글수 0 2023. 12. 28.
[Deep Learning] Attention Mechanism Attention Seq2Seq는 인코더 마지막 히든 스테이트 (hidden state)에 모든 인코더 정보를 우겨넣게 된다. 그리고 LSTM을 통해 Long-term dependency 문제를 해결했지만, 뒤 타임 스텝에서 앞쪽의 정보를 잘 저장하지 못하는 현상이 발생하기도 했다. 이 문제를 보완하기 위해 attention이 등장하게 된다. 동작 원리 어텐션이란, 디코더 (Decoder)가 각 타임 스텝 (time step)에서 결과를 생성할 때에 인코더 (Encoder)의 몇번째 타임 스텝을 더 집중 (Attention)해야하는 지를 스코어 형태로 나타내는 것이다. 각 디코더의 타임 스텝마다 인코더의 히든 스테이트 백터 (hidden state vector)와의 유사도를 계산함으로써, 인코더의 몇번.. 공감수 1 댓글수 0 2023. 12. 28.
[Deep Learning] Seq2Seq (Sequence to Sequence) Seq2Seq (Sequence to Sequence) RNN에서 many-to-many에 해당되는 모델을 'Seq2Seq Model'이라고 하며, 그 중 입력 문장을 읽어오는 부분을 인코더 (encoder), 출력 문장을 생성하는 부분을 디코더 (decoder)라고 한다. 디코더의 첫번째 입력값 (input)은 SoS (Start of Sentence)에 들어가며 결과값을 생성하기 시작하고, EoS (End of Sentece) 토큰이 디코더의 출력값 (output)으로 나오면 생성을 멈추게 된다. Seq2Seq의 문제 입력 시퀀스의 길이에 상관없이 단일 컨텍스트 벡터로 표현하여 정보 병목 (Information Bottleneck) 현상이 발생한다. 공감수 0 댓글수 0 2023. 12. 27.
[Deep Learning] 1D CNN 1D CNN 1D CNN은 1차원 데이터를 처리하는 CNN의 한 종류이다. 컴퓨터 비전 작업에서 CNN에 대한 입력은 일반적으로 각 픽셀이 행렬의 값으로 표시되는 2차원 이미지이다. 이와 대조적으로 숫자 데이터는 일반적으로 1차원 값 시퀀스로 표시된다. 일반적으로 CNN은 이미지 처리에서 주로 쓰이며 2D convolution을 사용하지만, 수치나 텍스트 처리에서는 filter가 위아래 한 방향으로만 이동하는 1D Convolution을 사용한다. 1D CNN은 입력 데이터 위에 작은 창을 슬라이딩하고 창과 학습 가능한 필터 세트 사이의 내적을 계산하는 컨볼루션 작업을 입력 데이터에 적용한다. 이 작업의 결과는 피처 맵이며, 이는 비선형 활성화 함수와 풀링 레이어를 통해 전달되어 출력의 차원을 줄인다. .. 공감수 1 댓글수 0 2023. 9. 27.
[Deep Learning] 방사형 기저 함수 신경망 (Radial Basis Function Network) 방사형 기저 함수 (Radial Basis Function) RBF (방사형 기저 함수)는 값이 원점 또는 특정 지점으로부터의 거리에 따라 달라지는 실수 값 함수이다. 신경망에서 활성화 함수 역할을 하는 기계 학습을 포함하여 다양한 분야에서 널리 사용된다. RBF 활성화 함수는 데이터를 선형적으로 분리할 수 없는 문제에 특히 유용하다. 입력 공간을 데이터가 선형적으로 분리 가능한 고차원 공간으로 매핑할 수 있으므로 복잡한 분류 문제에 대한 강력한 도구가 된다. 방사형 기저 함수 신경망 (Radial Basis Function Network) 방사 신경망은 왕립신호 및 레이더 연구소의 연구원인 브룸헤드 (Broomhead)와 로우 (Lowe)에 의해 1988년 논문에서 처음 공식화되었다. 방사 신경망은 다.. 공감수 1 댓글수 0 2023. 7. 17.
[Deep Learning] 베이지안 하이퍼파라미터 최적화 (Bayesian Hyperparameter Optimization) 베이지안 하이퍼파라미터 최적화 (Bayesian Hyperparameter Optimization) 베이지안 하이퍼파라미터 최적화는 그리드 검색보다 더 효율적으로 하이퍼파라미터를 찾는 방법이다. 하이퍼파라미터의 각 후보 집합은 신경망을 다시 학습시켜야 하므로 후보 집합의 수를 최소한으로 유지하는 것이 가장 좋다. 베이지안 하이퍼파라미터 최적화는 좋은 하이퍼파라미터 후보 집합을 예측하는 모델을 학습시켜 이를 달성한다. bayesian-optimization hyperopt spearmint # Ignore useless W0819 warnings generated by TensorFlow 2.0. # Hopefully can remove this ignore in the future. # See https.. 공감수 1 댓글수 0 2023. 5. 26.
[Deep Learning] 활성화 함수 구현 Sigmoid import numpy as np def sigmoid(x): return 1/(1+np.exp(-x)) sigmoid(4) 0.9820137900379085 import matplotlib.pyplot as plt x = np.arange(-10, 10, 0.01) y = sigmoid(x) plt.plot(x, y) ReLU def relu(x): return np.maximum(0, x) x = np.arange(-10, 10, 0.01) y = relu(x) plt.plot(x, y) Softmax def origin_softmax(x): f_x = np.exp(x) / np.sum(np.exp(x)) return f_x x = np.array([1.3, 5.1, 2.2, 0.7, .. 공감수 0 댓글수 0 2022. 11. 17.
[Deep Learning] Global Average Pooling (GAP) Global Average Pooling (GAP) GAP (global average pooling)은 Max (Average) Pooling 보다 더 급격하게 feature의 수를 줄인다. 하지만, GAP을 사용하는 이유는 Pooling과 조금 다르다. GAP의 목적은 feature를 1차원 벡터로 만들기 위함이다. 이 방식은 Location 정보를 FC Layer보다 적게 잃고 85%의 가중치를 없앤다. 이것으로 계산량과 모델의 무게와 파라미터가 줄어든다. 따라서, 오버피팅 방지 효과도 따라온다. 그리나 이것은 정보량 손실이 있다. 이미지의 모든 값을 평균을 내는 것인데, 정보를 잃지만 성능은 좋은 것으로 알려져 있다. 분류할 클래스 수만큼 feature map을 마지막에 생성하여 i번째 featu.. 공감수 1 댓글수 0 2022. 8. 14.
[Deep Learning] 전이 학습 (Transfer Learning) (4) 심층 전이 학습의 유형 도메인 적응 (Domain Adaptation) 도메인 적응은 소스 도메인과 대상 도메인이 서로 다른 기능 공간과 분포를 갖는 전이 학습 시나리오이다. 도메인 적응은 목표 학습자의 성능을 향상시키기 위해 정보를 전달하기 위해 하나 이상의 소스 도메인을 조정하는 프로세스이다. 이 프로세스는 소스의 배포를 대상의 배포에 더 가깝게 만들기 위해 소스 도메인을 변경하려고 시도한다. 도메인 혼란 (Domain Confusion) 신경망에서 서로 다른 계층은 기능의 서로 다른 복잡성을 식별한다. 완벽한 시나리오에서 우리는 이 기능 도메인을 불변으로 만들고 도메인 간 전송성을 향상시키는 알고리즘을 개발할 것이다. 소스 도메인과 대상 도메인 간의 기능 표현은 이러한 컨텍스트에서 가능한 한 유사해.. 공감수 0 댓글수 0 2022. 6. 21.
[Deep Learning] 전이 학습 (Transfer Learning) (3) 미리 훈련된 기성 모델 미세 조정 이것은 사전 훈련된 모델에서 추출한 특징에 직접적으로 의존하고 최종 레이어를 교체할 뿐만 아니라 이전 레이어 중 일부를 선택적으로 다시 훈련하는 보다 매력적인 기술이다. 심층 신경망은 계층 구조이며 조정 가능한 하이퍼파라미터가 많다. 초기 레이어의 역할은 일반적인 기능을 캡처하는 반면, 나중 레이어는 당면한 명시적 작업에 더 중점을 둔다. 기본 모델에서 고차 기능 표현을 미세 조정하여 특정 작업과 더 관련성 있게 만드는 것이 좋다. 훈련에서 일부를 고정시키면서 모델의 일부 레이어를 다시 훈련할 수 있다. 다음 그림은 객체 감지 작업에 대한 예를 보여준다. 여기서 네트워크의 초기 하위 계층은 매우 일반적인 기능을 학습하고 상위 계층은 작업별 기능을 학습한다. 동결 vs 미.. 공감수 0 댓글수 0 2022. 6. 21.
[Deep Learning] 전이 학습 (Transfer Learning) (2) 전이 학습 일반적인 접근 방식 도메인의 유사성을 기반으로 그리고 훈련을 위해 존재하는 데이터 샘플의 유형과 무관하게 전이 학습 전략을 분류하는 또 다른 방법이 있다. 동종 전이 학습 (Homogeneous Transfer Learning) 도메인이 동일한 기능 공간에 있는 상황을 처리하기 위해 동종 전이 학습 접근 방식이 개발 및 제안된다. Homogeneous Transfer learning에서 도메인은 주변 분포에서 약간의 차이만 있다. 이러한 접근 방식은 표본 선택 편향 또는 공변량 이동을 수정하여 영역을 조정한다. 인스턴스 이전 (Instance transfer) 소스 도메인에는 많은 양의 레이블이 지정된 데이터가 있고 대상 도메인에는 제한된 수가 있는 간단한 시나리오를 다룬다. 도메인과 기능 공.. 공감수 0 댓글수 0 2022. 6. 21.
[Deep Learning] 전이 학습 (Transfer Learning) (1) 전이 학습 (Transfer Learning) 불가능하지는 않더라도 훈련을 위해 제한된 양의 데이터만 사용하여 만족스러운 모델 성능 (모델 정확도)을 얻는 것은 까다롭다. 다행히도, 바로 이 문제를 해결하는 해결책이 있는데, 그것은 Transfer Learning이라는 이름으로 통한다. 전이 학습은 사전 훈련된 모델을 새로운 작업에 대한 모델의 시작점으로 재사용하는 기계 학습 방법이다. 간단히 말해서, 한 작업에서 훈련된 모델은 두 번째 작업을 모델링할 때 빠른 진행을 허용하는 최적화로 관련 작업에서 용도가 변경된다. 새로운 작업에 전이 학습을 적용하면 적은 양의 데이터로 훈련하는 것보다 훨씬 더 높은 성능을 얻을 수 있다. 전이 학습은 너무 일반적이어서 이미지 또는 자연어 처리 관련 작업에 대한 모델을.. 공감수 1 댓글수 0 2022. 6. 21.
[Deep Learning] 딥러닝 프레임워크 비교 딥러닝 프레임워크 비교 장점 단점 텐서플로우 (TensorFlow) 텐서보드 (TensorBoard)를 통해서 파라미터 변화 양상이나 DNN의 구조를 알 수 있다. 메모리를 효율적으로 사용하지 못한다. 케라스 (Keras) 배우기 쉽고 모델을 구축하기 쉽다. 오류가 발생할 경우 케라스 자체의 문제인지 백엔드 (back-end)의 문제인지 알 수 없다. 토치 (Torch) 간단하고 직관적인 학습과 속도 대비 빠른 최적화가 가능하다. 텐서플로우에 비해 사용자층이 얕고, 예제 및 자료를 구하기 힘들다. 텐서플로우 (TensorFlow) 텐서플로는 구글이 개발한 오픈소스 소프트웨어 라이브러리이며 머신러닝과 딥러닝을 쉽게 사용할 수 있도록 다양한 기능을 제공한다. 텐서플로는 데이터 플로우 그래프 (Data Flo.. 공감수 1 댓글수 0 2022. 5. 19.
[Deep Learning] 딥러닝 프레임워크 (Deep Learning Framework) 딥러닝 프레임워크 (Deep Learning Framework) 딥러닝에 사용되는 인공신경망 알고리즘에는 DNN, CNN, RNN, RBM, DBN 등 다양한 형태의 수많은 알고리즘이 개발되어 활용되고 있으며, 하나의 문제를 해결하기 위해 두 개 이상의 알고리즘을 혼합하여 사용하는 경우도 많아졌다. 이렇게 이미 검증된 알고리즘을 사용할 때마다 계속해서 새롭게 구현해야 한다는 것은 매우 비효율적 방식이다. 딥러닝 프레임워크는 이렇게 이미 검증된 수많은 라이브러리와 사전 학습까지 완료된 다양한 딥러닝 알고리즘을 제공함으로써, 개발자가 이를 빠르고 손쉽게 사용할 수 있도록 해준다. 이를 통해 중복적인 기능을 구현해야 하는 소모적인 작업으로부터 개발자를 해방시켜, 문제 해결을 위한 핵심 알고리즘 개발에만 집중할.. 공감수 0 댓글수 0 2022. 5. 19.
[Deep Learning] XGBoost XGBoost 부스팅 (Boosting) 알고리즘은 앙상블 (Ensemble) 알고리즘의 하나로, 결정트리 기반의 알고리즘이다. 또 다른 앙상블 알고리즘인 배깅 (Bagging) 기법과의 차이점은, 배깅 기법이 평행하게 학습시키는 반면, 부스팅은 순차적으로 학습시킨다는 점이다. 첫 번째 약한 학습기가 분류를 진행하며, 잘못 분류된 데이터에 가중치를 두고 두번째 학습기가 다시 분류를 하게 된다. 이러한 방식으로 잘못 분류된 데이터에 가중치를 두면서 순차적으로 학습을 하여 결론적으로 강한 학습기를 구축한다. XGBoost는 Gradient Boosting 알고리즘을 분산환경에서도 실행할 수 있도록 구현해놓은 라이브러리이다. Regression, Classification 문제를 모두 지원하며, 성능과 자원 .. 공감수 0 댓글수 0 2022. 5. 3.
[Deep Learning] Orion을 통한 불안정한 시계열 이상 감지 Orion을 통한 불안정한 시계열 이상 감지 공감수 0 댓글수 0 2022. 5. 3.
[Deep Learning] Basic Guide to Spiking Neural Networks for Deep Learning (3) How to build a Spiking Neural Network? SNN으로 작업하는 것은 어려운 작업이다. 그래도 흥미롭고 유용한 몇 가지 도구가 있다. SNN를 시뮬레이션하는 데 도움이 되고 주로 생물학자들이 사용하는 소프트웨어가 필요한 경우 다음을 확인하는 것이 좋다. GENESIS Neuron Brian NEST 이론이 아닌 실제 문제를 해결하는 데 사용할 수 있는 소프트웨어를 원한다면 다음을 확인해야 한다. SpikeNet TensorFlow 또는 SpykeTorch 를 사용해야 한다 . 그러나 특수 하드웨어 없이 로컬에서 SNN으로 작업하는 것은 계산적으로 매우 비용이 많이 든다. Tensorflow Tensorflow를 사용하여 SNN을 확실히 만들 수 있지만 DL 프레임워크가 처음에 S.. 공감수 1 댓글수 0 2022. 1. 17.
[Deep Learning] Basic Guide to Spiking Neural Networks for Deep Learning (2) SNN architectures SNN은 그 개념이 독특함에도 불구하고 여전히 NN이므로 SNN 아키텍처는 세 그룹으로 나눌 수 있다. Feedforward Neural Network 는 모든 산업 분야에서 널리 사용되는 고전적인 NN 아키텍처이다. 이러한 아키텍처에서 데이터는 입력에서 출력으로의 한 방향으로만 전송된다. 순환이 없고 많은 숨겨진 layer에서 처리가 발생할 수 있다. ANN 아키텍처의 대부분은 feedforward이다. RNN( Recurrent Neural Network )은 좀 더 발전된 아키텍처이다. RNN 에서 neuron 간의 연결은 시간 순서를 따라 방향성 그래프를 형성한다. 이것은 그물이 시간적 동적 행동을 나타낼 수 있도록 한다. SNN이 recurrent인 경우 동적이며.. 공감수 1 댓글수 0 2022. 1. 17.
[Deep Learning] Basic Guide to Spiking Neural Networks for Deep Learning (1) Introduction to Spiking Neural Networks DL은 데이터 과학 커뮤니티 내에서 뜨거운 주제이다. 산업 전반의 다양한 작업에서 매우 효과적임에도 불구하고 DL은 새로운 신경망 (NN) 아키텍처, DL 작업, 그리고 SNN (스파이킹 신경망)과 같은 차세대 NN의 새로운 개념을 제안하면서 끊임없이 진화하고 있다. What is a Spiking Neural Network? 인공 신경망 (ANN)의 일반적인 개념은 생물학에서 비롯된다. 우리는 정보 및 신호 처리, 의사 결정 및 기타 여러 작업에 사용되는 뇌 내부에 생물학적 신경망을 가지고 있다. 생물학적 신경망의 기본 요소는 생물학적 neuron이다. 반면 ANN에서는 인공 neuron이 사용된다. 인공 neuron은 서로 매우 .. 공감수 2 댓글수 0 2022. 1. 17.
[Deep Learning] 드롭아웃 (Dropout) 드롭아웃 (Dropout) weight decay 기법은 간단하게 구현할 수 있고, 어느 정도 지나친 학습을 억제할 수 있다. 그러나 신경망 모델이 복잡해지면 weight decay만으로는 대응하기 어려워진다. 이럴 때 사용하는 것이 드롭아웃 (Dropout)이라는 기법이다. dropout은 신경망 모델에서 뉴런을 임의로 삭제하면서 학습하는 방법이다. 학습 시에 hidden layer의 neuron을 무작위로 골라 삭제한다. 훈련 때에는 데이터를 흘릴 때마다 삭제할 neuron을 무작위로 선택하고, 시험 때는 모든 neuron에 신호를 전달한다. 단, 시험 때는 각 neuron의 출력에 훈련 때 삭제한 비율을 곱하여 출력한다. neuron을 임의로 삭제하여 적은 수의 neuron만으로 지정된 레이블을 맞.. 공감수 0 댓글수 0 2022. 1. 3.
[Deep Learning] 가중치 감소 (Weight Decay) 가중치 감소 (Weight Decay) 훈련 데이터가 매우 많다면 overfitting을 줄일 수 있지만, 현실적인 이유로 그러지 못하는 경우가 있다. 이런 상황에서 overfitting을 줄이도록 하는 여러 기법 중 하나가 바로 가중치 감소이다. 이것은 학습 과정에서 큰 가중치에 대해서 그에 상응하는 큰 패널티를 부과하여 overfitting을 억제하는 방법이다. overfitting은 weight 매개변수의 값이 커서 발생하는 경우가 많기 때문이다. 규제 (Regularization) weight decay에는 규제 (Regularization)가 이용된다. regularization란 weight의 절댓값을 가능한 작게 만드는 것으로, weight의 모든 원소를 0에 가깝게 하여 모든 특성이 출력에.. 공감수 1 댓글수 0 2022. 1. 3.
[Deep Learning] 배치 정규화 (Batch Normalization) 배치 정규화 (Batch Normalization) 학습의 효율을 높이기 위해 도입되었다. batch normalization은 학습률을 높게 설정할 수 있기 때문에 학습 속도가 개선된다. 그리고 학습을 할 때마다 출력값을 정규화하기 때문에 weight 초기값 선택의 의존성이 적어진다. 마지막으로 overfitting 위험을 줄일 수 있고 gradient vanishing 문제도 해결 가능하다. batch normalization는 activation function의 활성화 값 또는 출력값을 정규화 (정규분포)하는 작업을 말한다. 다시 말해, 신경망의 각 layer에서 데이터 (배치)의 분포를 normalization하는 작업이다. 일종의 noise를 추가하는 방법으로 (bias와 유사) 이는 batc.. 공감수 0 댓글수 0 2022. 1. 3.
[Deep Learning] 최적화 (Optimizer) 최적화 (Optimizer) 데이터의 크기가 클수록 훈련 속도는 느려진다. 따라서 neural network를 빠르게 훈련하기 위해 효율성을 높이기 위한 최적화 알고리즘을 잘 선택해야 한다. Gradient Descent 경사하강법에서는 θ 에 대해 gradient의 반대 방향으로 일정 크기만큼 이동해내는 것을 반복하여 loss function J(θ) 의 값을 최소화하는 파라미터 w, b를 찾는다. gradient descent은 무작정 기울어진 방향으로 이동하는 방식이기 때문에 탐색 경로가 비효율적이다. 또한 SGD는 방향에 따라서 기울기 값이 달라지는 경우에 적합하지 않은데 최소값의 방향으로만 움직이기 때문에 본래의 최저점으로 기울기의 방향이 좀처럼 향하지 않게 되고 다른 방향을 가리키게 되어 비효.. 공감수 0 댓글수 0 2022. 1. 3.
[Deep Learning] 역전파 (Backpropagation) / 경사하강법 (Gradient Descent) 역전파 (Backpropagation) input에서 output으로 weight를 업데이트하면서 activation fuction을 통해 결과값을 가져오는 것을 순전파 (foward)라고 하며 말 그대로 앞쪽으로 input 값을 전파, 보내는 것이다. 하지만 임의로 순전파 했다고 출력 값이 정확하지는 않을 것이다. 임의로 설정한 weight 값이 input에 의해서 한 번 업데이트 되긴 했지만 많은 문제가 있을 수 있다. 역전파는 출력값에 대한 입력값의 기울기를 출력층 layer에서부터 계산하여 거꾸로 전파시키는 것이다. 거꾸로 전파시켜 최종적으로 출력층에서 output값에 대한 입력층의 input data 기울기 값을 구할 수 있다. 이 과정에서 chain rule이 이용된다. input이 들어오는 .. 공감수 1 댓글수 0 2022. 1. 3.
[Deep Learning] 과적합 (Overfitting) 과적합 (Overfitting) 데이터가 너무 fit하게 학습이 되면서 생기는 문제를 과적합(Overfitting)이라 부른다. 데이터의 학습이 제대로 되지 않는 상태인 반대 개념을 언더피팅 (Underfitting)이라 한다. 과적합이 발생하는 사유 1. 학습 데이터가 너무 적은 경우 2. 학습 데이터 전처리를 잘못한 경우 3. 특징 (feature) 데이터가 너무 많은 경우 오버피팅을 줄이는 방법 1. feature를 줄이거나 정규화한다. 2. 데이터를 늘린다. 공감수 0 댓글수 0 2022. 1. 3.
[Deep Learning] 척도 (Metrics) 척도 (Metrics) 척도는 어떤 모델을 평가하기 위해서 사용하는 값이다. 따라서 비슷한 개념인 loss function과의 개념이 헷갈릴 수 있다. loss function은 모델의 성능을 끌어올리기 위해서 참조하는 값이다. 다시말해, 트레이닝 (학습)을 위해서만 사용하는 나침반과 같은 존재라고 한다면 metrics는 모델의 성능을 알기 위한 개념이다. 따라서 metrics와 loss function의 개념은 분리되어야 하지만 경우에 따라서는 특정 metrics에 따라 최적화 하는 것이 최상일 때도 있다. 개념이 유사하기 때문에 동일한 개념으로 metrics를 사용하기도 하고 loss function을 사용하기도 한다. 정확도 (Accuracy) 가장 많이 쓰이는 개념으로 타겟 대비 정확히 예측한 비.. 공감수 0 댓글수 0 2022. 1. 3.

728x90

반응형

LIST

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.