728x90 반응형 SMALL Learning-driven Methodology108 [Deep Learning] 활성화 함수 (Activation Function) (1) 활성화 함수 (Activation Function) 입력된 데이터의 weight 합을 출력 신호로 변환하는 함수이다. ANN에서 이전 layer에 대한 weight 합의 크기에 따라 activation 여부가 결정된다. 신경망의 목적에 따라 또는 layer의 역할에 따라 선택적으로 적용한다. Sigmoid 시그모이드 (sigmoid)는 S자 형태라는 의미로, sigmoid 함수는 S자형 곡선의 함수를 의미한다. 정의역은 실수 전체이지만, 유한한 구간(a,b) 사이의 한정된 값을 반환한다. a와 b는 주로 0과 1을 사용한다. sigmoid 함수에서 정의역의 절댓값이 커질수록 미분 값은 0으로 수렴한다. weight가 업데이트되지 않고 소실되는 Gradient vanishing이 발생할 수 있다. Vani.. 2022. 1. 3. [Deep Learning] 손실 함수 (Loss function) 손실 함수 (Loss function) ML 혹은 DL에서 컴퓨터가 weight를 찾아가는 과정이다. 데이터 포인트에 정의되고 예측과 라벨링에 쓰이고 페널티 측정가능하다. MSE (Mean Squared Error) 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의한다. 공식이 간단하고, 차가 커질수록 제곱 연산으로 값이 더욱 뚜렷해진다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킨다. RMSE (Root Mean Squared Error) MSE에 루트를 씌운 것으로 MSE와 기본적으로 동일하다. MSE 값은 오류의 제곱을 구하기 때문에 실제 오류 평균보다 더 커지는 특성이 있어서 MSE에 루트를 씌운 RMSE은 값의 왜곡을 줄여준다. Binary Crossentropy 실제 .. 2022. 1. 3. [Deep Learning] 비용 함수 (Cost Function) 비용 함수 (Cost Function) 가설이 얼마나 정확한지 판단하는 기준을 말하며, loss function의 합, 평균 에러를 다룬다. 여기서 single data set이 아니라 entire data set을 다룬다. 순간마다의 loss를 판단할 땐 loss function을 사용하고 학습이 완료된 후에는 cost function을 확인한다. 제곱합 (Sum of squared) 제곱합은 신경망 연구 초기부터 사용된 cost function으로 델타 규칙을 이용해 오차를 구하고 weight를 조정한다. 교차 엔트로피 (Cross Entropy) 교차 엔트로피는 다중 클래스 분류 (multi class classification) 신경망에서 많이 사용된다. 출력 (y)의 범위는 0 < y < 1이다.. 2021. 12. 30. [Deep Learning] 목적 함수 (Objective Function) 목적 함수 (Objective Function) 모델에 대하여 우리가 가장 일반적으로 사용하는 용어로써 최댓값, 최솟값을 구하는 function을 말한다. 예를 들어, loss function은 cost function의 일부이고, cost function는 objective function의 일부라고 보면 된다. objective function의 종류 - Error minimization - Fitness maximization - Reward maximization - Efficiency - Stability (Homeostasis), - Wiring cost minimization - ... 2021. 12. 30. [Deep Learning] 회귀 (Regression) 회귀 (Regression) regression은 둘 이상의 변수 간의 관계를 보여주는 통계적 방법이다. 일반적으로 그래프로 표현되는 이 방법은 종속 변수와 독립 변수 간의 관계를 테스트한다. 독립 변수는 종속 변수에 따라 변경되며 regression은 해당 변경에서 가장 중요한 요소에 대한 답을 찾는다. 선형 회귀 (Linear Regression) 변수 𝒳의 값은 독립적으로 변할 수 있는 것에 반해, y 값은 계속해서 𝒳의 값에 의해 종속적으로 결정되므로 𝒳를 독립 변수, y를 종속 변수라고 한다. linear regression은 한 개 이상의 독립 변수 𝒳와 y의 선형 관계를 모델링한다. 독립 변수 𝒳가 1개면 단순 선형 회귀 (Simple Linear Regression)라고 합니다. y는 1개.. 2021. 12. 23. 딥러닝 (Deep Learning) 딥러닝 (Deep Learning, DL) DL은 ML의 한 방법으로, 학습 과정 동안 인공 신경망으로서 예시 데이터에서 얻은 일반적인 규칙을 독립적으로 구축(훈련)한다. 특히 비전 분야에서 신경망은 일반적으로 데이터와 예제 데이터에 대한 사전 정의된 결과와 같은 지도 학습을 통해 학습된다. ◦ limitations of explicit programming - spam filter : 많은 규칙 - automatic driving : 규칙이 너무 많음 What is learning? 1. 지도 학습 (Supervised learning) train set : labeled된 sample을 사용한 학습 problem types in ML - image labeling : 태그 지정된 이미지에서 학습 - .. 2021. 12. 23. 20. 모델 평가 방법 2021. 12. 22. 19. 시계열분석 (Time Series Analysis) 시계열분석 (Time Series Analysis) 2021. 12. 22. 18. 로지스틱 회귀분석 (Logistic Regression Analysis) 로지스틱 회귀분석 (Logistic Regression Analysis) 2021. 12. 22. 17. 연관규칙분석 (Association Rule Analysis) 연관규칙분석 (Association Rule Analysis) 2021. 12. 22. 이전 1 ··· 6 7 8 9 10 11 다음 728x90 반응형 LIST
