728x90 반응형 SMALL 정규화7 과적합을 줄이기 위한 드롭아웃 Dropout to Decrease Overfitting Hinton, Srivastava, Krizhevsky, Sutskever, Salakhutdinov (2012)는 드롭아웃 정규화 알고리즘을 도입했다. 드롭아웃은 L1과 L2와는 다르게 작용하지만 과적합 방지라는 동일한 목표를 달성한다. 하지만, 이 알고리즘은 실제로 뉴런과 연결을 제거함으로써 이 작업을 수행한다. 적어도 L1, L2와 달리 일시적으로 가중치 페널티가 추가되지 않는다. 드롭아웃은 직접적으로 작은 체중을 훈련시키는 것을 추구하지 않는다. 드롭아웃은 훈련의 일부 동안 신경망의 숨겨진 뉴런을 사용할 수 없게 함으로써 작동한다. 신경망의 일부를 떨어뜨리면 나머지 부분은 떨어진 뉴런이 없어도 좋은 점수를 얻을 수 있도록 훈련된다. 이 기술.. 2023. 7. 24. L1 / L2 정규화 L1 (Lasso) Regularization LASSO (Least Absolute Shrinkage and Selection Operator)라고도 하는 L1 정규화를 사용하여 신경망에서 희소성을 생성해야 한다. 즉, L1 알고리즘은 많은 가중치 연결을 거의 0으로 밀어넣는다. 가중치가 0에 가까우면 프로그램이 네트워크에서 가중치를 삭제한다. 가중 연결을 삭제하면 희소 신경망이 생성된다. 기능 선택은 희소 신경망의 유용한 부산물이다. 특징은 훈련 세트가 입력 뉴런에 제공하는 값이다. 입력 뉴런의 모든 가중치가 0에 도달하면 신경망 훈련은 기능이 불필요하다고 판단한다. 데이터 세트에 불필요한 입력 기능이 많은 경우 L1 정규화를 통해 신경망이 불필요한 기능을 감지하고 무시할 수 있다. L1은 목표에 다.. 2023. 7. 24. Sleep stages classification based on heart rate variability and random forest (5) 결과 정규화 전후의 전형적인 HRV 특징의 히스토그램을 비교하였다. 왼쪽 그림은 정규화 전의 히스토그램을 나타내고 오른쪽 그림은 정규화 후의 히스토그램을 나타냅니다. 제안하는 방법은 이상치에 관계없이 대부분의 특징을 [0,1] 범위에 매핑할 수 있음은 자명하다. 이 우세한 전처리는 주체 독립 체계 내에서 수면 단계 분류에 효과적인 기능을 제공했다. 표는 피처 정규화를 사용하거나 사용하지 않는 주제별 체계 및 주제 독립적 체계에 대한 모든 개인의 혼동 행렬을 제공한다. 표의 숫자는 해당 에포크의 양을 나타낸다. 본 논문에서 제시하지 않은 개별 혼동 행렬에 따라 두 가지 체계를 기반으로 각 단계와 다른 단계를 분류하기 위한 정확도와 Cohen의 kappa 통계량 κ를 나타내었다. 또한, 전체 정확도와 κ 통.. 2023. 6. 29. 정규화 (Regularization) 정규화 (Regularization) 정규화는 과적합을 줄이는 기술로, 신경망이 훈련 데이터를 학습하기보다는 암기하려고 할 때 발생한다. 인간은 또한 과적합을 할 수 있다. 기계가 어떻게 우연히 과적합되는지를 조사하기 전에, 먼저 인간이 어떻게 기계로부터 고통을 받을 수 있는지를 탐구해야 한다. 인간 프로그래머들은 종종 주어진 프로그래밍 언어로 그들의 능력을 보여주기 위해 자격증 시험을 치른다. 이러한 시험을 준비하는 것을 돕기 위해, 시험 제작자들은 종종 연습 시험을 이용할 수 있게 한다. 연습 시험을 보고, 더 공부하고, 그리고 나서 연습 시험을 다시 보는 루프에 들어가는 프로그래머를 생각해보자. 프로그래머는 개별 문제를 파악하는 데 필요한 기술을 배우기보다는 어느 시점에서 연습 시험의 많은 부분을 .. 2023. 2. 8. [ANN] GRU으로 삼성전자 주가 예측 GRU으로 삼성전자 주가 예측 yahoo finance에서 데이터 다운로드 후 3일 (3MA), 5일 (5MA) 가격이평선 추가한다. import tensorflow as tf import numpy as np import pandas as pd import matplotlib.pyplot as plt from tensorflow.keras.models import Sequential from tensorflow.keras.layers import GRU, Dense, Dropout # yahoo finance로부터 데이터 다운로드 raw_df = pd.read_csv('./000000.KS_3MA_5MA.csv') raw_df.head() plt.title('SAMSUNG ELECTRONIC STCOK.. 2022. 10. 21. [ANN] LSTM으로 삼성전자 주가 예측 LSTM으로 삼성전자 주가 예측 yahoo finance에서 데이터 다운로드 후 3일 (3MA), 5일 (5MA) 가격이평선 추가한다. import tensorflow as tf import numpy as np import pandas as pd import matplotlib.pyplot as plt from tensorflow.keras.models import Sequential from tensorflow.keras.layers import LSTM, Dense, Dropout # yahoo finance로부터 데이터 다운로드 raw_df = pd.read_csv('./000000.KS_3MA_5MA.csv') raw_df.head() plt.title('SAMSUNG ELECTRONIC STC.. 2022. 10. 21. [NLP] 정제 (Cleaning) / 정규화 (Normalization) corpus에서 용도에 맞게 token을 분류하는 작업을 tokenization라고 하며, tokenization 작업 전, 후에는 텍스트 데이터를 용도에 맞게 정제 (cleaning) 및 정규화(normalization)하는 일이 항상 함께 한다. 정제 (Cleaning) 갖고 있는 corpus로부터 noise 데이터를 제거한다. 정규화 (normalization) 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만들어준다. cleaning 작업은 tokenization 작업에 방해가 되는 부분들을 배제시키고 tokenization 작업을 수행하기 위해서 tokenization 작업보다 앞서 이루어지기도 하지만, tokenization 작업 이후에도 여전히 남아있는 noise들을 제거하기 위해 지속적.. 2021. 12. 14. 이전 1 다음 728x90 반응형 LIST
