하둡 (Hadoop)

하둡 (Hadoop)

 

 

하둡은 비정형 데이터를 포함한 빅데이터를 다루기 위한 가장 적절한 플랫폼이다. 데이터 증가로 하둡을 적용하는 회사들은 급증하고 있다. 하둡 에코시스템은 Governance, Finance, Banking, Insurance, Heathcare 등 사회 전반에 걸친 모든 요소들과 밀접하게 연관되어 사용되고 있다.

 

라이브러리 설치

 

Ubuntu에서 apt-get을 이용해 필요한 라이브러리를 설치한다.

 

# 설치 가능한 리스트 업데이트
$ sudo apt-get -y update

# 업데이트한 패키지들을 최신 버전에 맞게 업그레이드
$ sudo apt-get -y upgrade

# 의존성까지 체크해서 업그레이드
$ sudo apt-get -y dist-upgrade

# 필요 라이브러리 설치
$ sudo apt-get install -y vim wget unzip ssh openssh-* net-tools tree

# Ubuntu 20.4 에는 native libray인 snappy가 설치됨
# 아래 snappy 설치를 하지 않으면 하둡 설치 후 snappy 사용 시 에러가 발생
$ sudo apt install libsnappy-dev -y

 

Java 8 설치

 

apt-get을 이용해 Java 8을 설치한다.

 

# Java 8 설치
$ sudo apt-get install -y openjdk-8-jdk

# Java 버전 확인
$ java -version

# Java 경로 확인
$ sudo find / -name java-8-openjdk-amd64 2>/dev/null
# /usr/lib/jvm/java-8-openjdk-amd64

 

Java 환경 변수 설정

 

# Java 시스템 환경변수 등록 및 활성화
$ sudo vim /etc/environment

# 아래 내용 추가 후 저장
PATH 뒤에 ":/usr/lib/jvm/java-8-openjdk-amd64/bin" 추가

JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"

# 시스템 환경 변수 활성화
$ source /etc/environment

# 사용자 환경 변수 등록
$ sudo echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc

# 사용자 환경 변수 활성화
$ source ~/.bashrc

 

환경 변수 확인

 

env | grep JAVA