[Deep Learning] 드롭아웃 (Dropout)

드롭아웃 (Dropout)

 

weight decay 기법은 간단하게 구현할 수 있고, 어느 정도 지나친 학습을 억제할 수 있다. 그러나 신경망 모델이 복잡해지면 weight decay만으로는 대응하기 어려워진다. 이럴 때 사용하는 것이 드롭아웃 (Dropout)이라는 기법이다. 

 

 

dropout은 신경망 모델에서 뉴런을 임의로 삭제하면서 학습하는 방법이다. 학습 시에 hidden layer의 neuron을 무작위로 골라 삭제한다. 훈련 때에는 데이터를 흘릴 때마다 삭제할 neuron을 무작위로 선택하고, 시험 때는 모든 neuron에 신호를 전달한다. 단, 시험 때는 각 neuron의 출력에 훈련 때 삭제한 비율을 곱하여 출력한다.

 

neuron을 임의로 삭제하여 적은 수의 neuron만으로 지정된 레이블을 맞추도록 훈련하는 것이다. 이렇게 훈련된 neuron은 테스트 시에 전체 neuron이 activation되면, 일반적으로 dropout 없이 학습된 neuron에 비해 더 정답을 잘 찾는다. 다만, 적은 수의 neuron만으로 학습을 해야하므로 학습 시간이 오래걸린다는 단점이 존재한다.

 

정리하면 훈련할 때 임의의 neuron을 골라 삭제하여 신호를 전달하지 않게 한다. 테스트할 때는 모든 neuron을 사용한다.

 

https://medium.com/@amarbudhiraja/https-medium-com-amarbudhiraja-learning-less-to-learn-better-dropout-in-deep-machine-learning-74334da4bfc5

Learning Less to Learn Better — Dropout in (Deep) Machine learning