728x90 반응형 SMALL Linear Regression2 정규화 (Regularization) 정규화 (Regularization) 정규화는 과적합을 줄이는 기술로, 신경망이 훈련 데이터를 학습하기보다는 암기하려고 할 때 발생한다. 인간은 또한 과적합을 할 수 있다. 기계가 어떻게 우연히 과적합되는지를 조사하기 전에, 먼저 인간이 어떻게 기계로부터 고통을 받을 수 있는지를 탐구해야 한다. 인간 프로그래머들은 종종 주어진 프로그래밍 언어로 그들의 능력을 보여주기 위해 자격증 시험을 치른다. 이러한 시험을 준비하는 것을 돕기 위해, 시험 제작자들은 종종 연습 시험을 이용할 수 있게 한다. 연습 시험을 보고, 더 공부하고, 그리고 나서 연습 시험을 다시 보는 루프에 들어가는 프로그래머를 생각해보자. 프로그래머는 개별 문제를 파악하는 데 필요한 기술을 배우기보다는 어느 시점에서 연습 시험의 많은 부분을 .. 2023. 2. 8. [AI] 수치 해석 수치 미분 (Numerical Derivative) 데이터 관점에서 미분은 loss를 줄이기 위해 x를 조금씩 변화시키는 것이다. import numpy as np # 미분 함수 def numerical_derivative(f, x): delta_x = 1e-4 grad = np.zeros_like(x) it = np.nditer(x, flags=['multi_index'], op_flags=['readwrite']) while not it.finished: idx = it.multi_index tmp_val = x[idx] x[idx] = float(tmp_val) + delta_x fx1 = f(x) # f(x+delta_x) x[idx] = float(tmp_val) - delta_x fx2 = f.. 2022. 7. 10. 이전 1 다음 728x90 반응형 LIST
