728x90 반응형 SMALL Learning-driven Methodology/DL (Deep Learning)37 [Deep Learning] 손실 함수 (Loss function) 손실 함수 (Loss function) ML 혹은 DL에서 컴퓨터가 weight를 찾아가는 과정이다. 데이터 포인트에 정의되고 예측과 라벨링에 쓰이고 페널티 측정가능하다. MSE (Mean Squared Error) 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의한다. 공식이 간단하고, 차가 커질수록 제곱 연산으로 값이 더욱 뚜렷해진다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킨다. RMSE (Root Mean Squared Error) MSE에 루트를 씌운 것으로 MSE와 기본적으로 동일하다. MSE 값은 오류의 제곱을 구하기 때문에 실제 오류 평균보다 더 커지는 특성이 있어서 MSE에 루트를 씌운 RMSE은 값의 왜곡을 줄여준다. Binary Crossentropy 실제 .. 2022. 1. 3. [Deep Learning] 비용 함수 (Cost Function) 비용 함수 (Cost Function) 가설이 얼마나 정확한지 판단하는 기준을 말하며, loss function의 합, 평균 에러를 다룬다. 여기서 single data set이 아니라 entire data set을 다룬다. 순간마다의 loss를 판단할 땐 loss function을 사용하고 학습이 완료된 후에는 cost function을 확인한다. 제곱합 (Sum of squared) 제곱합은 신경망 연구 초기부터 사용된 cost function으로 델타 규칙을 이용해 오차를 구하고 weight를 조정한다. 교차 엔트로피 (Cross Entropy) 교차 엔트로피는 다중 클래스 분류 (multi class classification) 신경망에서 많이 사용된다. 출력 (y)의 범위는 0 < y < 1이다.. 2021. 12. 30. [Deep Learning] 목적 함수 (Objective Function) 목적 함수 (Objective Function) 모델에 대하여 우리가 가장 일반적으로 사용하는 용어로써 최댓값, 최솟값을 구하는 function을 말한다. 예를 들어, loss function은 cost function의 일부이고, cost function는 objective function의 일부라고 보면 된다. objective function의 종류 - Error minimization - Fitness maximization - Reward maximization - Efficiency - Stability (Homeostasis), - Wiring cost minimization - ... 2021. 12. 30. [Deep Learning] 회귀 (Regression) 회귀 (Regression) regression은 둘 이상의 변수 간의 관계를 보여주는 통계적 방법이다. 일반적으로 그래프로 표현되는 이 방법은 종속 변수와 독립 변수 간의 관계를 테스트한다. 독립 변수는 종속 변수에 따라 변경되며 regression은 해당 변경에서 가장 중요한 요소에 대한 답을 찾는다. 선형 회귀 (Linear Regression) 변수 𝒳의 값은 독립적으로 변할 수 있는 것에 반해, y 값은 계속해서 𝒳의 값에 의해 종속적으로 결정되므로 𝒳를 독립 변수, y를 종속 변수라고 한다. linear regression은 한 개 이상의 독립 변수 𝒳와 y의 선형 관계를 모델링한다. 독립 변수 𝒳가 1개면 단순 선형 회귀 (Simple Linear Regression)라고 합니다. y는 1개.. 2021. 12. 23. 딥러닝 (Deep Learning) 딥러닝 (Deep Learning, DL) DL은 ML의 한 방법으로, 학습 과정 동안 인공 신경망으로서 예시 데이터에서 얻은 일반적인 규칙을 독립적으로 구축(훈련)한다. 특히 비전 분야에서 신경망은 일반적으로 데이터와 예제 데이터에 대한 사전 정의된 결과와 같은 지도 학습을 통해 학습된다. ◦ limitations of explicit programming - spam filter : 많은 규칙 - automatic driving : 규칙이 너무 많음 What is learning? 1. 지도 학습 (Supervised learning) train set : labeled된 sample을 사용한 학습 problem types in ML - image labeling : 태그 지정된 이미지에서 학습 - .. 2021. 12. 23. [Deep Learning] Train / Validation / Test set Train / Validation / Test set ML 모델링을 하고자 할 때 데이터 set을 나누어 사용한다. 일반적으로 train : validation : test = 60 : 20 : 20 의 비율을 사용한다. 훈련 데이터 (train set) train set은 모델을 학습하는데 사용된다. train set으로 모델을 만든 뒤 동일한 데이터로 성능을 평가해보기도 하지만, 이는 cheating이 되기 때문에 유효한 평가는 아니다. train set은 test set이 아닌 나머지 데이터 set을 의미하기도 하며, train set 내에서 또 다시 쪼갠 validation set이 아닌 나머지 데이터 set을 의미하기도 한다. 따라서 test set과 구분하기 위해 사용되는지, validatio.. 2021. 12. 22. [Deep Learning] 경사 하강법 (Gradient Descent) / 배치 사이즈 (Batch Size) / 에포크 (Epoch) 경사 하강법 (Gradient Descent) 반복 (iterative, 곡선의 최소값) 최상의 결과를 찾기 위해 기계 학습에 사용되는 최적화 알고리즘이다. 알고리즘은 iterative이므로 최적의 결과를 얻으려면 여러 번 결과를 얻어야 한다. gradient descent의 반복적인 quality은 과소 적합 (under-fitted) 그래프가 그래프를 데이터에 최적으로 맞추는 데 도움이 된다. gradient descent에는 학습률 (learning rate)이라는 매개변수 (parameter)가 있다. 왼쪽 그림에서 처음에는 단계가 더 크다는 것은 learning rate이 더 높다는 것을 의미하고, 포인트가 내려갈수록 단계의 크기가 짧을수록 learning rate은 더 작아진다. 또한, 비용 .. 2021. 12. 22. 이전 1 2 3 4 다음 728x90 반응형 LIST
