728x90 반응형 SMALL regularization4 정규화 (Regularization) 정규화 (Regularization) 정규화는 과적합을 줄이는 기술로, 신경망이 훈련 데이터를 학습하기보다는 암기하려고 할 때 발생한다. 인간은 또한 과적합을 할 수 있다. 기계가 어떻게 우연히 과적합되는지를 조사하기 전에, 먼저 인간이 어떻게 기계로부터 고통을 받을 수 있는지를 탐구해야 한다. 인간 프로그래머들은 종종 주어진 프로그래밍 언어로 그들의 능력을 보여주기 위해 자격증 시험을 치른다. 이러한 시험을 준비하는 것을 돕기 위해, 시험 제작자들은 종종 연습 시험을 이용할 수 있게 한다. 연습 시험을 보고, 더 공부하고, 그리고 나서 연습 시험을 다시 보는 루프에 들어가는 프로그래머를 생각해보자. 프로그래머는 개별 문제를 파악하는 데 필요한 기술을 배우기보다는 어느 시점에서 연습 시험의 많은 부분을 .. 2023. 2. 8. [TensorFlow] 과대적합 / 과소적합 (1) 과대적합 / 과소적합 tf.keras API를 사용한다. 텐서플로 케라스 가이드에서 tf.keras API에 대해 더 많은 정보를 얻을 수 있다. 일정 에포크 동안 훈련하면 검증 세트에서 모델 성능이 최고점에 도달한 다음 감소하기 시작한 것을 알 수 있다. 다른 말로 하면, 모델이 훈련 세트에 과대적합 (overfitting)된 것이다. 과대적합을 다루는 방법이 필요하다. 훈련 세트에서 높은 성능을 얻을 수 있지만 진짜 원하는 것은 테스트 세트 (또는 이전에 본 적 없는 데이터)에 잘 일반화되는 모델이다. 과대적합의 반대는 과소적합 (underfitting)이다. 과소적합은 테스트 세트의 성능이 향상될 여지가 아직 있을 때 일어난다. 발생하는 원인은 여러가지이다. 모델이 너무 단순하거나, 규제가 너무 많.. 2022. 6. 15. [Deep Learning] 가중치 감소 (Weight Decay) 가중치 감소 (Weight Decay) 훈련 데이터가 매우 많다면 overfitting을 줄일 수 있지만, 현실적인 이유로 그러지 못하는 경우가 있다. 이런 상황에서 overfitting을 줄이도록 하는 여러 기법 중 하나가 바로 가중치 감소이다. 이것은 학습 과정에서 큰 가중치에 대해서 그에 상응하는 큰 패널티를 부과하여 overfitting을 억제하는 방법이다. overfitting은 weight 매개변수의 값이 커서 발생하는 경우가 많기 때문이다. 규제 (Regularization) weight decay에는 규제 (Regularization)가 이용된다. regularization란 weight의 절댓값을 가능한 작게 만드는 것으로, weight의 모든 원소를 0에 가깝게 하여 모든 특성이 출력에.. 2022. 1. 3. [Deep Learning] 비용 함수 (Cost Function) 비용 함수 (Cost Function) 가설이 얼마나 정확한지 판단하는 기준을 말하며, loss function의 합, 평균 에러를 다룬다. 여기서 single data set이 아니라 entire data set을 다룬다. 순간마다의 loss를 판단할 땐 loss function을 사용하고 학습이 완료된 후에는 cost function을 확인한다. 제곱합 (Sum of squared) 제곱합은 신경망 연구 초기부터 사용된 cost function으로 델타 규칙을 이용해 오차를 구하고 weight를 조정한다. 교차 엔트로피 (Cross Entropy) 교차 엔트로피는 다중 클래스 분류 (multi class classification) 신경망에서 많이 사용된다. 출력 (y)의 범위는 0 < y < 1이다.. 2021. 12. 30. 이전 1 다음 728x90 반응형 LIST
