[Hadoop] Hadoop 및 Yarn 클러스터

JournalNode

 

주키퍼 앙상블 구성이 끝났으므로 저널 노드를 실행할 수 있다. master1, master2, master3에서 각각 실행한다.

 

# master1에서 실행
hdfs --daemon start journalnode

# master2에서 실행
ssh master2
hdfs --daemon start journalnode
exit

# master3에서 실행
ssh master3
hdfs --daemon start journalnode
exit

# master1의 journalnode 로그 확인
cd /usr/local/hadoop/logs
vim hadoop-ubuntu-journalnode-master1.log

 

Namenode

 

하둡 클러스터를 실행하기 전에 네임노드 포맷을 해야한다. master1에서 한번만 실행하면 된다. 분산 모드에서 포맷을 진행하려면 Jounrnalnode가 실행되어 있어야 한다.

 

(base) ubuntu@master1:/usr/local/hadoop/logs$ jps

 

JournalNode 프로세스가 실행되어 있는 것을 확인했으면 네임노드 포맷을 실행한다.

 

hdfs namenode -format

 

master1에서 실행한다.

 

hdfs --daemon start namenode

# Namenode 로그 확인
cd /usr/local/hadoop/logs
vim hadoop-ubuntu-namenode-master1.log

 

master2에서 bootstrapStandby을 실행한다.

 

# hdfs standby namenode 실행
$ ssh master2
$ hdfs namenode -bootstrapStandby
$ exit

 

위 명령은 NameNode를 실행하는 명령이 아니라 단순히 fsimage 파일을 Active NameNode로부터 복사하는 과정이다.

 

$ hdfs --daemon start namenode

# NameNode 확인
$ jps
$ exit

 

Hadoop

 

master1에서 start-dfs.sh을 실행한다. 여기서 DFSZKFailoverController 프로세스가 실행 된다.

 

$ start-dfs.sh

 

Yarn

 

master1에서 start-yarn.sh을 실행한다. 여기서 ResourceManager 프로세스가 실행된다. 나머지 DataNode 서버에서는 NodeManager 프로세스가 실행된다.

 

$ start-yarn.sh

 

JobHistory

 

mapred --daemon start historyserver

 

실행된 프로세스 정보 확인

 

# Active, Standby NameNode 확인

$ hdfs haadmin -getServiceState namenode1
$ hdfs haadmin -getServiceState namenode2

# Active, Standby ResourceManager 확인

$ yarn rmadmin -getServiceState rm1
$ yarn rmadmin -getServiceState rm2

 

관리자용 Web UI 확인

 

설치가 완료됐으므로, 기본적으로 Web UI를 통해 데몬을 확인할 수 있다. 아래 명령어를 통해서 master1에 떠 있는 프로세스에서 사용하는 TCP 포트를 확인할 수 있다. netstat 옵션은 다음과 같다.

 

l 옵션 : netstat에 모든 수신 소켓을 표시 t 옵션 : 모든 TCP 연결을 표시 u 옵션 : 모든 UDP 연결을 표시 p 옵션 : 포트에서 수신하는 어플리케이션 / 데몬의 이름을 표시

sudo netstat -ltup

 

NameNode UI

 

haadmin 명령어를 사용하여 active 모드의 master1의 Public IP를 확인하고 50070 포트 혹은 호스트 정보가 등록된 경우 호스트 이름으로 웹 접속한다. Overview 탭에서 Overview와 Summary 정보를 확인할 수 있다.

 

curl ifconfig.me

 

Yarn ResourceManager Web UI

 

active 모드의 ResourceManager 노드를 확인하여 Public IP를 확인한다.

 

yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

 

Public IP (master2)의 8088 포트로 접속한다.

 

curl ifconfig.me

 

JobHistory Server Web UI

 

master1의 Public IP:19888/jobhistory로 접속한다.

 

 

NodeManager Web UI