728x90 반응형 SMALL 손실 함수7 [Data Science] 손실 함수 (Loss Function) 손실 함수 (Loss Function) 선형 회귀는 잔차의 제곱합 (SSE, Error sum of Squares)를 최소화하는 방법으로 회귀 계수를 추정한다. 즉, SSE가 작으면 작을 수록 좋은 모델이라고 볼 수 있다. 흔히, 사용하는 MSE (Mean Squared Error)는 SSE를 표준화한 개념이다. MSE (Mean Squared Error) f(x)가 제대로 추정되었는지 평가하기 위해, 예측한 값이 실제 값과 유사한지 평가하는 척도가 필요하다. MSE는 실제 종속 변수와 예측한 종속 변수 간의 차이이다. MSE가 작을 수록 좋지만, MSE를 과도하게 줄이면 과적합의 오류를 범할 가능성이 있다. 따라서, 학습 집합이 아닌 검증 집합의 MSE를 줄이는 방향으로 f(x)를 추정한다. MAPE .. 2022. 11. 8. [AI] 정확도 (Accuracy) / 손실 (Loss) 정확도 (Accuracy) 정확도는 분류 모델의 성능을 측정하는 방법이다. 전체 데이터에 대한 예측 오류의 수로 볼 수 있다. 쉽게 말해, 전체 데이터 중에서 몇 개를 맞췄는가이다. 일반적으로 백분율로 표시된다. 정확도는 예측 값이 실제 값과 동일한 예측 횟수이다. 특정 샘플에 대한 바이너리 (true/false)이다. 정확도는 종종 전체 또는 최종 모델 정확도와 관련되지만 교육 단계에서 그래프로 표시되고 모니터링된다. 정확도는 손실보다 해석하기 쉽다. 손실 (Loss) 실제 정답과 모델이 예측 한 값 사이의 차이 (거리 또는 오차)이다. 비용 함수라고도 하는 손실 함수는 예측이 실제 값과 얼마나 다른지에 따라 예측의 확률 또는 불확실성을 고려한다. 이것은 모델이 얼마나 잘 수행되고 있는지에 대한 보다 .. 2022. 8. 18. [AI] 러닝 아키텍처 러닝 아키텍처 학습이란, 계산 값 Y와 정답 T와의 차이를 나타내는 손실 값 (또는 손실함수) loss가 최소가 될 때까지 가중치 W와 bias b를 최적화시키는 과정이다. 손실 함수 (Loss function) MAE MSE RMSE BCE CCE GAN YOLO 개발 프로세스 1. Data Preparation 2. Initialize weights and bias 3. define loss function and output, y 4. learning for epochs for steps 5. evaluate and predict 아키텍처 Linear Regression Logistic Regression Deep Learning 2022. 7. 9. [TensorFlow] 기본 분류 (텍스트 분류) (2) 모델 구성 신경망은 층 (layer)을 쌓아서 만든다. 이 구조에서는 두 가지를 결정해야 한다. 모델에서 얼마나 많은 층을 사용할 것인가? 각 층에서 얼마나 많은 은닉 유닛 (hidden unit)을 사용할 것인가? 이 예제의 입력 데이터는 단어 인덱스의 배열이다. 예측할 레이블은 0 또는 1이다. 이 문제에 맞는 모델을 구성한다. # 입력 크기는 영화 리뷰 데이터셋에 적용된 어휘 사전의 크기입니다(10,000개의 단어) vocab_size = 10000 model = keras.Sequential() model.add(keras.layers.Embedding(vocab_size, 16, input_shape=(None,))) model.add(keras.layers.GlobalAveragePooling.. 2022. 6. 15. [Deep Learning] 손실 함수 (Loss function) 손실 함수 (Loss function) ML 혹은 DL에서 컴퓨터가 weight를 찾아가는 과정이다. 데이터 포인트에 정의되고 예측과 라벨링에 쓰이고 페널티 측정가능하다. MSE (Mean Squared Error) 예측한 값과 실제 값 사이의 평균 제곱 오차를 정의한다. 공식이 간단하고, 차가 커질수록 제곱 연산으로 값이 더욱 뚜렷해진다. 그리고 제곱으로 인해서 오차가 양수이든 음수이든 누적 값을 증가시킨다. RMSE (Root Mean Squared Error) MSE에 루트를 씌운 것으로 MSE와 기본적으로 동일하다. MSE 값은 오류의 제곱을 구하기 때문에 실제 오류 평균보다 더 커지는 특성이 있어서 MSE에 루트를 씌운 RMSE은 값의 왜곡을 줄여준다. Binary Crossentropy 실제 .. 2022. 1. 3. [Keras] 손실 함수 (Loss Function) 손실 함수 (Loss Function) 손실 함수(목적 함수 또는 최적화 점수 함수)는 하나의 model을 compile하기 위해 필요한 두 개의 매개 변수 중 하나이다. 또한, loss function은 single data set을 다룬다. model.compile(loss='mean_squared_error', optimizer='sgd') from keras import losses model.compile(loss=losses.mean_squared_error, optimizer='sgd') 기존의 손실 함수를 이름으로 전달하거나 TensorFlow / Theano의 심볼릭 함수(symbolic function)를 매개 변수로 전달할 수 있다. symbolic function는 다음의 두 인자를.. 2021. 12. 20. [Keras] 컴파일 (Compile) 컴파일 (Compile) 모델을 학습시키기 이전에, compile 메소드를 통해서 학습 방식에 대한 환경설정을 해야 한다. 다음의 세 개의 인자를 입력으로 받는다. 최적화 (optimizer) rmsprp나 adagrad와 같은 기존의 정규화기에 대한 문자열 식별자 또는 Optimizer 클래스의 인스턴스를 사용할 수 있다. 오차역전파로 node의 weight와 bias을 계속 업데이트하여 만들어진 model을 통해 더 나은 결과를 얻는다. 데이터의 양이 늘어나거나 hidden layer의 개수가 늘어날수록 계산이 복잡해지고 시간이 오래 걸린다. 따라서 이 시간을 줄이기 위한 방법이 경사하강법 (Gradient Descent)이다. gradient descent이란 loss function 그래프에서 학.. 2021. 12. 20. 이전 1 다음 728x90 반응형 LIST
