[Data Science] 경사 하강법 (Gradient Descent)

경사 하강법 (Gradient Descent)

 

손실 함수의 최소값을 찾기 위한 알고리즘이다. 실생활에서 적용되는 데이터들은 함수 형태가 복잡하여 미분 계수를 계산하는 과정에 비해 비교적 쉽게 구현 가능하다. 데이터 양이 커질수록 계산량 측면에서 효율적이다.

 

임의의 매개변수를 정해 비용 함수의 시작 지점 (x축)으로 지정 해당 매개변수로 모델의 오차를 구한 다음, 비용 함수의 시작 지점 (y축)으로 지정 시작 지점에서 다음 지점으로 갈 방향을 정하기 위해, 시작 지점의 기울기를 계산 기울기 (Gradient)와 보폭 (Learning rate)를 사용해 다음 지점으로 이동 위의 과정을 최소값에 도달할 때까지 반복

 

학습률 (Learning rate)이 너무 크면 발산할 수 있고, 학습률이 너무 작으면 학습 시간이 오래 걸린다.

 

배치 사이즈 (Batch Size)

 

 

배치 사이즈는 기울기 업데이트시, 훈련 데이터셋을 묶어서 사용하는 정도를 나타낸다.

 

확률적 경사 하강법 (Stochastic Gradient Descent)

 

 

전체 훈련 데이터셋 중, 임의로 하나의 데이터를 선택하여 스탭을 진행한다. 방향이 매번 크게 바뀌므로 전역 최저점에 수렴하기 힘들지만 지역 최저점에 빠질 확률이 적다.