[Data Science] 빅 데이터 (Big Data)

빅 데이터 (Big Data)

 

빅 데이터란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다.

 

https://blog.naver.com/PostView.naver?blogId=gics17&logNo=221993769400&parentCategoryNo=&categoryNo=23&viewDate=&isShowPopularPosts=false&from=postView

Volume	빅 데이터의 크기는 일반적으로 테라바이트 및 페타바이트보다 크다.
Velocity	성장과 발전의 길에 놓여 있는 요구와 과제를 충족하기 위해 데이터가 생성되고 처리되는 속도이다. 빅데이터는 종종 실시간으로 이용할 수 있다.
Variety	구조화에서 반구조화 또는 비구조화로의 유형 및 성격의 변화는 기존 도구와 기술에 도전장을 던졌다.

 

비정형 데이터 (Unstructured Data)

 

정형 데이터 (Structured data)	비정형 데이터 (Unstructured Data)
구조화된 데이터는 고전적인 "행 및 열" 데이터베이스로 범주 및 테이블에 적합하다.	비정형 데이터에는 데이터베이스에 거의 맞지 않는 모든 정보가 포함된다. ▪ 미디어 : 이미지, 비디오, 오디오 등 ▪ 소셜 미디어 : 텍스트, 네트워크 등 ▪ 문서 파일 : 생산성 문서 (워드, 파워포인트 등), 로그 파일, 이메일 등

 

비정형 데이터를 탐색하는 방법

 

심층 인터뷰 또는 포커스 그룹 인터뷰 숙련된 연구자가 인터뷰 내용을 읽고 통찰력을 추출합니다. 단어 세기

 

비정형 데이터가 중요한 이유

 

▪ 수치 데이터에 나타나지 않는 비즈니스 통찰력 ▪ 사용자 생성 텍스트 또는 이미지 데이터 ▪ 사전 구조화된 설문 조사 질문으로는 탐구할 수 없는 비즈니스 통찰력 ▪ 소비자는 탐색되지 않은 제품 속성을 중요시할 수 있다. ▪ 엔터테인먼트 산업에 더 많은 도움이 된다.