728x90 반응형 SMALL 규제3 L1 / L2 정규화 L1 (Lasso) Regularization LASSO (Least Absolute Shrinkage and Selection Operator)라고도 하는 L1 정규화를 사용하여 신경망에서 희소성을 생성해야 한다. 즉, L1 알고리즘은 많은 가중치 연결을 거의 0으로 밀어넣는다. 가중치가 0에 가까우면 프로그램이 네트워크에서 가중치를 삭제한다. 가중 연결을 삭제하면 희소 신경망이 생성된다. 기능 선택은 희소 신경망의 유용한 부산물이다. 특징은 훈련 세트가 입력 뉴런에 제공하는 값이다. 입력 뉴런의 모든 가중치가 0에 도달하면 신경망 훈련은 기능이 불필요하다고 판단한다. 데이터 세트에 불필요한 입력 기능이 많은 경우 L1 정규화를 통해 신경망이 불필요한 기능을 감지하고 무시할 수 있다. L1은 목표에 다.. 2023. 7. 24. [TensorFlow] 과대적합 / 과소적합 (1) 과대적합 / 과소적합 tf.keras API를 사용한다. 텐서플로 케라스 가이드에서 tf.keras API에 대해 더 많은 정보를 얻을 수 있다. 일정 에포크 동안 훈련하면 검증 세트에서 모델 성능이 최고점에 도달한 다음 감소하기 시작한 것을 알 수 있다. 다른 말로 하면, 모델이 훈련 세트에 과대적합 (overfitting)된 것이다. 과대적합을 다루는 방법이 필요하다. 훈련 세트에서 높은 성능을 얻을 수 있지만 진짜 원하는 것은 테스트 세트 (또는 이전에 본 적 없는 데이터)에 잘 일반화되는 모델이다. 과대적합의 반대는 과소적합 (underfitting)이다. 과소적합은 테스트 세트의 성능이 향상될 여지가 아직 있을 때 일어난다. 발생하는 원인은 여러가지이다. 모델이 너무 단순하거나, 규제가 너무 많.. 2022. 6. 15. [Deep Learning] 가중치 감소 (Weight Decay) 가중치 감소 (Weight Decay) 훈련 데이터가 매우 많다면 overfitting을 줄일 수 있지만, 현실적인 이유로 그러지 못하는 경우가 있다. 이런 상황에서 overfitting을 줄이도록 하는 여러 기법 중 하나가 바로 가중치 감소이다. 이것은 학습 과정에서 큰 가중치에 대해서 그에 상응하는 큰 패널티를 부과하여 overfitting을 억제하는 방법이다. overfitting은 weight 매개변수의 값이 커서 발생하는 경우가 많기 때문이다. 규제 (Regularization) weight decay에는 규제 (Regularization)가 이용된다. regularization란 weight의 절댓값을 가능한 작게 만드는 것으로, weight의 모든 원소를 0에 가깝게 하여 모든 특성이 출력에.. 2022. 1. 3. 이전 1 다음 728x90 반응형 LIST
