728x90 반응형 SMALL loss function5 [Data Science] 손실 함수 (Loss Function) 손실 함수 (Loss Function) 선형 회귀는 잔차의 제곱합 (SSE, Error sum of Squares)를 최소화하는 방법으로 회귀 계수를 추정한다. 즉, SSE가 작으면 작을 수록 좋은 모델이라고 볼 수 있다. 흔히, 사용하는 MSE (Mean Squared Error)는 SSE를 표준화한 개념이다. MSE (Mean Squared Error) f(x)가 제대로 추정되었는지 평가하기 위해, 예측한 값이 실제 값과 유사한지 평가하는 척도가 필요하다. MSE는 실제 종속 변수와 예측한 종속 변수 간의 차이이다. MSE가 작을 수록 좋지만, MSE를 과도하게 줄이면 과적합의 오류를 범할 가능성이 있다. 따라서, 학습 집합이 아닌 검증 집합의 MSE를 줄이는 방향으로 f(x)를 추정한다. MAPE .. 2022. 11. 8. [AI] 러닝 아키텍처 러닝 아키텍처 학습이란, 계산 값 Y와 정답 T와의 차이를 나타내는 손실 값 (또는 손실함수) loss가 최소가 될 때까지 가중치 W와 bias b를 최적화시키는 과정이다. 손실 함수 (Loss function) MAE MSE RMSE BCE CCE GAN YOLO 개발 프로세스 1. Data Preparation 2. Initialize weights and bias 3. define loss function and output, y 4. learning for epochs for steps 5. evaluate and predict 아키텍처 Linear Regression Logistic Regression Deep Learning 2022. 7. 9. [Deep Learning] 손실 함수 (Loss function) 손실 함수 (Loss function) ML 혹은 DL에서 컴퓨터가 weight를 찾아가는 과정이다. 데이터 포인트에 정의되고 예측과 라벨링에 쓰이고 페널티 측정가능하다. MSE (Mean Squared Error) 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의한다. 공식이 간단하고, 차가 커질수록 제곱 연산으로 값이 더욱 뚜렷해진다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킨다. RMSE (Root Mean Squared Error) MSE에 루트를 씌운 것으로 MSE와 기본적으로 동일하다. MSE 값은 오류의 제곱을 구하기 때문에 실제 오류 평균보다 더 커지는 특성이 있어서 MSE에 루트를 씌운 RMSE은 값의 왜곡을 줄여준다. Binary Crossentropy 실제 .. 2022. 1. 3. [Keras] 손실 함수 (Loss Function) 손실 함수 (Loss Function) 손실 함수(목적 함수 또는 최적화 점수 함수)는 하나의 model을 compile하기 위해 필요한 두 개의 매개 변수 중 하나이다. 또한, loss function은 single data set을 다룬다. model.compile(loss='mean_squared_error', optimizer='sgd') from keras import losses model.compile(loss=losses.mean_squared_error, optimizer='sgd') 기존의 손실 함수를 이름으로 전달하거나 TensorFlow / Theano의 심볼릭 함수(symbolic function)를 매개 변수로 전달할 수 있다. symbolic function는 다음의 두 인자를.. 2021. 12. 20. [Keras] 컴파일 (Compile) 컴파일 (Compile) 모델을 학습시키기 이전에, compile 메소드를 통해서 학습 방식에 대한 환경설정을 해야 한다. 다음의 세 개의 인자를 입력으로 받는다. 최적화 (optimizer) rmsprp나 adagrad와 같은 기존의 정규화기에 대한 문자열 식별자 또는 Optimizer 클래스의 인스턴스를 사용할 수 있다. 오차역전파로 node의 weight와 bias을 계속 업데이트하여 만들어진 model을 통해 더 나은 결과를 얻는다. 데이터의 양이 늘어나거나 hidden layer의 개수가 늘어날수록 계산이 복잡해지고 시간이 오래 걸린다. 따라서 이 시간을 줄이기 위한 방법이 경사하강법 (Gradient Descent)이다. gradient descent이란 loss function 그래프에서 학.. 2021. 12. 20. 이전 1 다음 728x90 반응형 LIST
