728x90 반응형 SMALL 과적합을 줄이기 위한 L1 및 L2 정규화1 과적합을 줄이기 위한 L1 및 L2 정규화 L1 and L2 Regularization to Decrease Overfitting L1과 L2 정규화는 과적합 효과를 줄일 수 있는 두 가지 일반적인 정규화 기법이다. 이러한 알고리즘은 목적 함수와 함께 작동하거나 역전파 알고리즘의 일부로 작동할 수 있다. 두 경우 모두 정규화 알고리즘은 목표를 추가하여 훈련 알고리즘에 첨부된다. 이러한 알고리즘은 신경망 훈련에 가중치를 추가함으로써 작동한다. 이 페널티는 신경망이 가중치를 작은 값으로 유지하도록 장려한다. L1과 L2 모두 이 패널티를 다르게 계산한다. 이 패널티 계산을 역 전파와 같은 경사 강하 기반 알고리즘의 계산된 그레디언트에 추가할 수 있다. 페널티는 시뮬레이션 annealing과 같은 목적 함수 기반 훈련의 목표 점수와 부정적으로 결합된다.. 2023. 7. 24. 이전 1 다음 728x90 반응형 LIST
