728x90 반응형 SMALL 보간3 [Data Science] 결측치 처리 (1) 결측치 (Missing Data) 다른 항목 측정 시 측정되지 않거나, 네트워크 문제로 인해 누락된 값을 말한다. 데이터마다 측정되는 항목 또한 상이하다. 결측치 처리 삭제 특정 행의 데이터를 삭제하거나 결측치가 많은 특징을 삭제한다. 보간 평균값, 최빈값, 중간값 보간 시 훈련 데이터 (training data)를 기준으로 계산하여 검증 데이터 (validation data)나 테스트 데이터 (test data)에 적용 당뇨병 데이터 전처리 import numpy as np import pandas as pd df = pd.read_csv('Diabetes_Database.csv') df.head() 결측치 확인 print(df.isnull().sum()) Pregnancies 0 Glucose 0 B.. 2022. 9. 24. [HeartPy] 알고리즘 (1) Clipping detection and interpolation 측정된 속성이 센서의 감도 범위를 초과할 때마다 또는 아날로그 신호를 디지털화할 때 클리핑이 발생할 수 있다. 이 경우 클리핑은 신호가 사용 중인 센서의 경계 외부에서 계속되기 때문에 피크가 평평해짐을 의미한다. 클리핑은 신호의 (거의) 평평한 부분을 최대값에 가깝게 감지하여 앞과 뒤에 양쪽 끝에서 가파른 각도가 뒤따르는 기능을 한다. '누락된' 신호 피크는 신호의 클리핑 부분의 양쪽 끝에 있는 100ms의 데이터를 고려하는 3차 스플라인을 사용하여 보간된다. 재구성된 R-피크는 원래 신호에 오버레이되어 추가 분석에 사용된다. Peak enhancement 진폭을 정규화한 다음 나머지 신호에 비해 R-피크 진폭을 증가시키는 피크 향상 기능.. 2022. 8. 23. 특성 엔지니어링 특성 엔지니어링 (Feature engineering) 생체의학 신호의 특성화는 잡음, 신호의 확률적 특성, 개인 내 및 개인 간의 큰 변동성으로 인해 어렵다. 따라서, 통계적 특징 생성, 변환 기반 특징 생성 및 추출, 시간-주파수 분석이 필요하다. 기능 선택은 중복되고 정보가 없는 기능을 제거하는 것을 목표로 하므로 광범위한 테스트 모집단에서 일반화하는 모델을 구축할 수 있다. 파이프라인은 "실제 세계"에서 데이터를 캡처하고 이러한 데이터를 원시 데이터 개체로 표시하는 센서로 구성된다. 아티팩트 및 원치 않는 노이즈 제거, 대체 양식을 얻기 위한 데이터 변환, 평균 강도 / 진폭 수준 조정, 다운샘플링 (decimation) 또는 업샘플링 (보간, interpolation)과 같은 다음 단계를 위해 .. 2022. 4. 27. 이전 1 다음 728x90 반응형 LIST
