728x90 반응형 SMALL 빅데이터2 빅데이터와 기존 AI의 당면 과제 (1) 빅데이터의 정의 빅데이터는 방대한 양의 정보를 나타낸다. 이 정보는 이제 기하급수적인 속도로 증가하고 있다. 이제 인간이 매일 200경 바이트의 데이터를 생성함에 따라 빅데이터는 너무 커졌다. 따라서, 기존 데이터 관리 도구로는 ML 목적을 위해 빅데이터를 매우 효율적으로 처리하는 것이 상당히 어려워지고 있다. 빅데이터의 특성을 정의하는 데 일반적으로 다음과 같이 사용된다. 볼륨 (Volume) : 비즈니스 거래, 사물 인터넷 (IoT) 장치, 소셜 미디어, 산업 장비, 비디오 등과 같은 다양한 소스의 데이터가 엄청난 양의 데이터에 기여한다. 속도 (Velocity): 데이터 속도도 빅데이터의 필수 특성이다. 실시간 또는 거의 실시간으로 데이터가 필요한 경우가 많다. 다양성 (Variety) : 데이터는.. 2023. 9. 20. 하둡 (Hadoop) 하둡 (Hadoop) 하둡은 비정형 데이터를 포함한 빅데이터를 다루기 위한 가장 적절한 플랫폼이다. 데이터 증가로 하둡을 적용하는 회사들은 급증하고 있다. 하둡 에코시스템은 Governance, Finance, Banking, Insurance, Heathcare 등 사회 전반에 걸친 모든 요소들과 밀접하게 연관되어 사용되고 있다. 라이브러리 설치 Ubuntu에서 apt-get을 이용해 필요한 라이브러리를 설치한다. # 설치 가능한 리스트 업데이트$ sudo apt-get -y update# 업데이트한 패키지들을 최신 버전에 맞게 업그레이드$ sudo apt-get -y upgrade# 의존성까지 체크해서 업그레이드$ sudo apt-get -y dist-upgrade# 필요 라이브러리 설치$ sudo.. 2022. 10. 4. 이전 1 다음 728x90 반응형 LIST
