728x90 반응형 SMALL Learning-driven Methodology112 [Deep Learning] 역전파 (Backpropagation) / 경사하강법 (Gradient Descent) 역전파 (Backpropagation) input에서 output으로 weight를 업데이트하면서 activation fuction을 통해 결과값을 가져오는 것을 순전파 (foward)라고 하며 말 그대로 앞쪽으로 input 값을 전파, 보내는 것이다. 하지만 임의로 순전파 했다고 출력 값이 정확하지는 않을 것이다. 임의로 설정한 weight 값이 input에 의해서 한 번 업데이트 되긴 했지만 많은 문제가 있을 수 있다. 역전파는 출력값에 대한 입력값의 기울기를 출력층 layer에서부터 계산하여 거꾸로 전파시키는 것이다. 거꾸로 전파시켜 최종적으로 출력층에서 output값에 대한 입력층의 input data 기울기 값을 구할 수 있다. 이 과정에서 chain rule이 이용된다. input이 들어오는 .. 2022. 1. 3. [Deep Learning] 과적합 (Overfitting) 과적합 (Overfitting) 데이터가 너무 fit하게 학습이 되면서 생기는 문제를 과적합(Overfitting)이라 부른다. 데이터의 학습이 제대로 되지 않는 상태인 반대 개념을 언더피팅 (Underfitting)이라 한다. 과적합이 발생하는 사유 1. 학습 데이터가 너무 적은 경우 2. 학습 데이터 전처리를 잘못한 경우 3. 특징 (feature) 데이터가 너무 많은 경우 오버피팅을 줄이는 방법 1. feature를 줄이거나 정규화한다. 2. 데이터를 늘린다. 2022. 1. 3. [Deep Learning] 척도 (Metrics) 척도 (Metrics) 척도는 어떤 모델을 평가하기 위해서 사용하는 값이다. 따라서 비슷한 개념인 loss function과의 개념이 헷갈릴 수 있다. loss function은 모델의 성능을 끌어올리기 위해서 참조하는 값이다. 다시말해, 트레이닝 (학습)을 위해서만 사용하는 나침반과 같은 존재라고 한다면 metrics는 모델의 성능을 알기 위한 개념이다. 따라서 metrics와 loss function의 개념은 분리되어야 하지만 경우에 따라서는 특정 metrics에 따라 최적화 하는 것이 최상일 때도 있다. 개념이 유사하기 때문에 동일한 개념으로 metrics를 사용하기도 하고 loss function을 사용하기도 한다. 정확도 (Accuracy) 가장 많이 쓰이는 개념으로 타겟 대비 정확히 예측한 비.. 2022. 1. 3. [Deep Learning] 활성화 함수 (Activation Function) (2) PReLU(Parametric Rectified Linear Unit) leaky ReLU와 거의 유사한 형태를 보인다. leaky ReLU에서는 알파 값이 고정된 상수였다면 PReLU에서는 학습이 가능한 파라미터로 설정된다. ThresholdReLU (Thresold Rectified Linear Unit) ReLU와 거의 유사한 형태를 보이며 ReLU가 0 이하의 입력 값에 대해 0을 출력했다면 ThresoldReLU는 그 경계값을 설정할 수 있다. 1을 기본값으로 설정한다. Softplus ReLU 함수를 부드럽게 깎아놓은 형태를 취한다. 미분 함수가 sigmoid 함수가 된다. Softmax Softmax는 출력 값이 0~1 사이로 정규화되며, 모든 출력 값의 총합이 항상 1이 되는 특성을 가진 .. 2022. 1. 3. [Deep Learning] 활성화 함수 (Activation Function) (1) 활성화 함수 (Activation Function) 입력된 데이터의 weight 합을 출력 신호로 변환하는 함수이다. ANN에서 이전 layer에 대한 weight 합의 크기에 따라 activation 여부가 결정된다. 신경망의 목적에 따라 또는 layer의 역할에 따라 선택적으로 적용한다. Sigmoid 시그모이드 (sigmoid)는 S자 형태라는 의미로, sigmoid 함수는 S자형 곡선의 함수를 의미한다. 정의역은 실수 전체이지만, 유한한 구간(a,b) 사이의 한정된 값을 반환한다. a와 b는 주로 0과 1을 사용한다. sigmoid 함수에서 정의역의 절댓값이 커질수록 미분 값은 0으로 수렴한다. weight가 업데이트되지 않고 소실되는 Gradient vanishing이 발생할 수 있다. Vani.. 2022. 1. 3. [Deep Learning] 손실 함수 (Loss function) 손실 함수 (Loss function) ML 혹은 DL에서 컴퓨터가 weight를 찾아가는 과정이다. 데이터 포인트에 정의되고 예측과 라벨링에 쓰이고 페널티 측정가능하다. MSE (Mean Squared Error) 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의한다. 공식이 간단하고, 차가 커질수록 제곱 연산으로 값이 더욱 뚜렷해진다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킨다. RMSE (Root Mean Squared Error) MSE에 루트를 씌운 것으로 MSE와 기본적으로 동일하다. MSE 값은 오류의 제곱을 구하기 때문에 실제 오류 평균보다 더 커지는 특성이 있어서 MSE에 루트를 씌운 RMSE은 값의 왜곡을 줄여준다. Binary Crossentropy 실제 .. 2022. 1. 3. [Deep Learning] 비용 함수 (Cost Function) 비용 함수 (Cost Function) 가설이 얼마나 정확한지 판단하는 기준을 말하며, loss function의 합, 평균 에러를 다룬다. 여기서 single data set이 아니라 entire data set을 다룬다. 순간마다의 loss를 판단할 땐 loss function을 사용하고 학습이 완료된 후에는 cost function을 확인한다. 제곱합 (Sum of squared) 제곱합은 신경망 연구 초기부터 사용된 cost function으로 델타 규칙을 이용해 오차를 구하고 weight를 조정한다. 교차 엔트로피 (Cross Entropy) 교차 엔트로피는 다중 클래스 분류 (multi class classification) 신경망에서 많이 사용된다. 출력 (y)의 범위는 0 < y < 1이다.. 2021. 12. 30. [Deep Learning] 목적 함수 (Objective Function) 목적 함수 (Objective Function) 모델에 대하여 우리가 가장 일반적으로 사용하는 용어로써 최댓값, 최솟값을 구하는 function을 말한다. 예를 들어, loss function은 cost function의 일부이고, cost function는 objective function의 일부라고 보면 된다. objective function의 종류 - Error minimization - Fitness maximization - Reward maximization - Efficiency - Stability (Homeostasis), - Wiring cost minimization - ... 2021. 12. 30. [Deep Learning] 회귀 (Regression) 회귀 (Regression) regression은 둘 이상의 변수 간의 관계를 보여주는 통계적 방법이다. 일반적으로 그래프로 표현되는 이 방법은 종속 변수와 독립 변수 간의 관계를 테스트한다. 독립 변수는 종속 변수에 따라 변경되며 regression은 해당 변경에서 가장 중요한 요소에 대한 답을 찾는다. 선형 회귀 (Linear Regression) 변수 𝒳의 값은 독립적으로 변할 수 있는 것에 반해, y 값은 계속해서 𝒳의 값에 의해 종속적으로 결정되므로 𝒳를 독립 변수, y를 종속 변수라고 한다. linear regression은 한 개 이상의 독립 변수 𝒳와 y의 선형 관계를 모델링한다. 독립 변수 𝒳가 1개면 단순 선형 회귀 (Simple Linear Regression)라고 합니다. y는 1개.. 2021. 12. 23. 딥러닝 (Deep Learning) 딥러닝 (Deep Learning, DL) DL은 ML의 한 방법으로, 학습 과정 동안 인공 신경망으로서 예시 데이터에서 얻은 일반적인 규칙을 독립적으로 구축(훈련)한다. 특히 비전 분야에서 신경망은 일반적으로 데이터와 예제 데이터에 대한 사전 정의된 결과와 같은 지도 학습을 통해 학습된다. ◦ limitations of explicit programming - spam filter : 많은 규칙 - automatic driving : 규칙이 너무 많음 What is learning? 1. 지도 학습 (Supervised learning) train set : labeled된 sample을 사용한 학습 problem types in ML - image labeling : 태그 지정된 이미지에서 학습 - .. 2021. 12. 23. 이전 1 ··· 6 7 8 9 10 11 12 다음 728x90 반응형 LIST
