728x90 반응형 SMALL 특이치4 결측치 (Missing Values) / 특이치 (Outliers) 결측치 (Missing Values) 결측치는 기계 학습의 현실이다. 모든 데이터 행에는 모든 열에 대한 값이 있는 것이 이상적이다. 하지만, 이것은 거의 그렇지 않다. 일반적인 방법은 결측값을 해당 열의 중앙값으로 바꾸는 것이다. 이 프로그램은 중앙값 (median)을 계산한다. csv 파일을 다운받는다. import os import pandas as pd df = pd.read_csv('auto-mpg.csv', na_values = ['NA', '?']) print(f"horsepower has na? {pd.isnull(df['horsepower']).values.any()}") print("Filling missing values ...") med = df['horsepower'].median.. 2023. 5. 1. [Machine Learning] 이상 탐지 (Anomaly Detection) 이상 탐지 (Anomaly Detection) 변칙은 데이터 세트의 예상된 패턴에서 예상치 못한 변화 또는 편차이다. 이상 탐지는 이상 징후가 예상과 다르게 발생하고 있음을 보여주기 때문에 비정상적인 동작을 경고하는 데 사용된다. 이상 징후가 반드시 좋거나 나쁜 것은 아니지만, 기업은 패턴의 단절에 대해 알아야 조치를 취할 필요가 있는지 여부를 평가할 수 있다. 기업은 일상적인 운영 중에 수백만 개의 데이터 포인트를 생성하지만, 그 중요한 정보의 대부분은 사용되지 않고 잊혀진다. 이러한 이유로 비즈니스 세계에서 이상 탐지 기능이 점점 더 부각되고 있다. 즉, 운영을 최적화하고 프로세스를 간소화하여 보다 예측 가능한 미래를 실현하는 것이다. Anomalies와 Outliers의 차이 많은 비즈니스 사용자들.. 2022. 11. 17. [HeartPy] Noisy ECG 신호 분석 (1) Noisy ECG 신호 분석 HeartPy를 사용하여 특히 노이즈가 많은 심전도 신호를 분석하는 방법이 있다. 심전도 분석에서 전처리 단계는 피크 형태에 차이가 있기 때문에 PPG 신호와 약간 다르지만 일반적인 분석은 동일한 방식으로 처리된다. MIT-BIH Noise 스트레스 테스트 데이터 세트의 데이터를 사용한다. 이 데이터는 wfdb 패키지와 함께 로드되어야 하지만, 사용하기 쉽도록 4개의 파일을 .csv 데이터로 변환했다. 모든 파일이 360Hz로 기록된다. SNR (Signal-to-Noise) 비율이 다양한 다음 파일을 사용한다. 118e24 : SNR : 24dB 118e12 : SNR = 12dB 118e06 : SNR = 6dB 118e00 : SNR = 0dB 이 파일에는 잡음 섹션과 .. 2022. 8. 25. [HeartPy] 스마트 링 PPG 신호 분석 스마트 링 PPG 신호 분석 최근 시장을 강타한 다양한 스마트 반지가 있다. 무엇보다도 그들은 손가락에 PPG 신호를 기록하기 때문에, HeartPy로 이것들을 분석하는 방법이 있다. 예제 파일에는 파일 크기를 낮게 유지하기 위해 PPG 신호만 포함되어 있다. 많은 스마트 링은 또한 피부 반응, acceleration 및 gyroscopic 데이터를 기록한다. 32Hz로 기록되었다. # Let's import some packages first import numpy as np import matplotlib.pyplot as plt import heartpy as hp sample_rate = 32 # load the example file data = hp.get_data('ring_data.csv'.. 2022. 8. 24. 이전 1 다음 728x90 반응형 LIST
