[Data Science] 데이터 분석 기법

분석을 위한 데이터 처리 과정

 

데이터 분석을 위해서 데이터웨어하우스나 데이터마트를 통해 분석데이터를 구성 신규데이터나 DW에 없는 데이터는 기존 운영시스템 (legacy)에서 가져오거나 운영 데이터 저장소 (ODS)에서 정제된 데이터를 가져와서 DW의 데이터와 결합하여 활용

 

데이터 분석 기법 종류

 

시각화 공간분석 탐색적 자료 분석 통계분석 데이터 마이닝

 

시각화

 

가장 낮은 수준의 분석이지만 잘 이용하면 효율적 빅데이터 분석에 시각화는 필수적 탐색적 분석을 할 때 시각화는 필수 사회연결망 분석 (SNA)에 자주 이용 ex) 차트, 도표 등

 

공간분석

 

공간적 차원과 관련된 속성들을 시각화하는 분석 지도 위에 관련된 속성들을 생성하고 크기모양 선 굵기 등을 구분하여 인사이트를 얻음 ex) 지도 위의 자동차 운행 상황 등

 

탐색적 자료 분석 (EDA)

 

다양한 차원과 값을 조합해 가며 특이점이나 의미있는 사실을 도출하고 분석의 최종목적을 달성해가는 과정 모형 개발에서 데이터 이해, 변수생성, 변수 선택 단계에 이용 EDA의 4가지 주제 저항성의 강조 데이터 파손에 대한 저항성 잔차 (residual) 계산 개별 관측값이 자료의 주경향으로 부터 얼마나 벗어났는지 확인 자료변수의 재표현 (re-expression)을 통한 다각적 시도 분산등을 확인하여 자료 확인 그래프를 통한 현시성 (revelation) 그래프를 이용해 자료의 다양한 정보 확인

 

통계분석

 

어떤 현상을 종합적으로 한눈에 알아보기 쉽게 일정한 체계에 따라 숫자와 표, 그림의 형태로 나타내는 것 기술통계 (descriptive statistics) 모집단으로부터 표본을 추출하고 표본이 가지고 있는 정보를 쉽게 파악할 수 있도록 데이터를 정리하거나 요약하기 위해 하나의 숫자 또는 그래프의 형태로 표현하는 절차 추론통계 모집단으로부터 추출된 표본의 표본통계량으로 부터 모집단의 특성인 모수에 관해 통계적으로 추론하는 절차

 

데이터 마이닝

 

대용량의 자료로부터 정보를 요약하고 미래에 대한 예측을 목표로 자료에 존재하는 관계, 패턴, 규칙 등을 탐색하고 이를 모형화함으로써 이전에 알지 못한 유용한 지식을 추출하는 분석 방법 방법론 기계학습 인공신경망 의사결정나무 클러스터링 베이지안 분류 SVM 패턴인식 연관규칙 장바구니 분석 모델링 주의 사항 데이터마이닝 모델링은 통계적인 모델링이 아니므로 지나치게 통계적 가설이나 유의성에 집착하지 말아야 함 분석데이터를 학습 및 테스트 데이터로 6:4, 7:3, 8:2 비율로 상황에 맞게 실시 성능에 집착하면 분석 모델링의 주목적인 실무 적용에 반하여 시간을 낭비할 수 있으므로 훈련 및 테스트 성능에 큰 폍차가 없고 예상 성능을 만족하면 중단 시간이 충분하면 여러가지 모델링을 적용하지만 일정한 성과가 나오면 활용 단계로 진행 성능 평가 지표 정확도 (Accuracy) 리프트 (Lift) 디텍트 레이트 (DetectRate)

 

https://wikidocs.net/48097

3.1.1.데이터 분석 기법