728x90 반응형 SMALL Learning Rate2 [Data Science] 경사 하강법 (Gradient Descent) 경사 하강법 (Gradient Descent) 손실 함수의 최소값을 찾기 위한 알고리즘이다. 실생활에서 적용되는 데이터들은 함수 형태가 복잡하여 미분 계수를 계산하는 과정에 비해 비교적 쉽게 구현 가능하다. 데이터 양이 커질수록 계산량 측면에서 효율적이다. 임의의 매개변수를 정해 비용 함수의 시작 지점 (x축)으로 지정 해당 매개변수로 모델의 오차를 구한 다음, 비용 함수의 시작 지점 (y축)으로 지정 시작 지점에서 다음 지점으로 갈 방향을 정하기 위해, 시작 지점의 기울기를 계산 기울기 (Gradient)와 보폭 (Learning rate)를 사용해 다음 지점으로 이동 위의 과정을 최소값에 도달할 때까지 반복 학습률 (Learning rate)이 너무 크면 발산할 수 있고, 학습률이 너무 작으면 학습 .. 2022. 11. 10. [AI] 콜백 (Callback) 콜백 (Callback) TensorFlow 콜백(callback)은 모델의 학습 방향, 저장 시점, 학습 정지 시점 등에 관한 상황을 모니터링 하기 위해 주로 사용된다. 모델이 학습을 시작하면 학습이 완료될 때까지 수행할 것이 없다. 따라서, 이를 해결하고자 존재하는 것이 콜백 함수이다. 예를 들어, 학습 도중에 학습율 (learning rate)을 변화시키거나 val_loss가 개선되지 않으면 학습 도중에 학습을 멈추게 하는 등의 작업을 할 수 있다. TensorFlow에서 사용되는 대표적인 콜백 함수는 ReduceLROnPlateau, ModelCheckpoint, EarlyStopping 등이 있다. ReduceLROnPlateau 모델의 성능 개선이 없을 경우, 학습율 (Learning Rate.. 2022. 7. 31. 이전 1 다음 728x90 반응형 LIST
