728x90 반응형 SMALL Overfitting3 [TensorFlow] 과대적합 / 과소적합 (1) 과대적합 / 과소적합 tf.keras API를 사용한다. 텐서플로 케라스 가이드에서 tf.keras API에 대해 더 많은 정보를 얻을 수 있다. 일정 에포크 동안 훈련하면 검증 세트에서 모델 성능이 최고점에 도달한 다음 감소하기 시작한 것을 알 수 있다. 다른 말로 하면, 모델이 훈련 세트에 과대적합 (overfitting)된 것이다. 과대적합을 다루는 방법이 필요하다. 훈련 세트에서 높은 성능을 얻을 수 있지만 진짜 원하는 것은 테스트 세트 (또는 이전에 본 적 없는 데이터)에 잘 일반화되는 모델이다. 과대적합의 반대는 과소적합 (underfitting)이다. 과소적합은 테스트 세트의 성능이 향상될 여지가 아직 있을 때 일어난다. 발생하는 원인은 여러가지이다. 모델이 너무 단순하거나, 규제가 너무 많.. 2022. 6. 15. [Deep Learning] 과적합 (Overfitting) 과적합 (Overfitting) 데이터가 너무 fit하게 학습이 되면서 생기는 문제를 과적합(Overfitting)이라 부른다. 데이터의 학습이 제대로 되지 않는 상태인 반대 개념을 언더피팅 (Underfitting)이라 한다. 과적합이 발생하는 사유 1. 학습 데이터가 너무 적은 경우 2. 학습 데이터 전처리를 잘못한 경우 3. 특징 (feature) 데이터가 너무 많은 경우 오버피팅을 줄이는 방법 1. feature를 줄이거나 정규화한다. 2. 데이터를 늘린다. 2022. 1. 3. [ANN] CNN in the image area Weight parameter 감소 DNN에 비해 CNN에서는 weight의 수가 현저하게 줄어들면서도 edge 정보 등 수많은 위치 정보들을 그대로 유지하면서 feature를 확보한다. DNN은 fully connected layer 구조이다. 이것은 이전의 모든 neuron들이 다음 각각 neuron들에 전부 연결되어 있다. 따라서 이미지가 학습 데이터로 입력되면 굉장히 많은 parameter (weight)가 발생한다. 결과적으로 각각의 weight의 최적화를 위해 학습이 굉장히 오래걸리게 된다. Weight sharing / Sparse connection DNN에서는 하나의 출력값에 각각 다른 가중치들이 사용되고 있다. 반면, CNN은 하나의 출력값에 같은 가중치들이 사용되고 있다. 다시말해, .. 2021. 12. 29. 이전 1 다음 728x90 반응형 LIST
