[Hadoop] Zookeeper 클러스터

Zookeeper 클러스터 설정

 

Zookeeper 클러스터 설정을 위해 myid 파일울 편집한다. master1, master2, master3 서버에서 myid를 각각 1, 2, 3으로 하고 master1 서버는 이미 지정했기 때문에 master2, master3에서 작업한다.

 

# master2 서버로 이동
$ ssh master2
$ vim /usr/local/zookeeper/data/myid

# 아래 내용으로 수정 후 저장
2

# master1 으로 이동
$ exit

# master3 서버로 이동
$ ssh master3
$ vim /usr/local/zookeeper/data/myid

# 아래 내용으로 수정 후 저장
3

# master1 으로 이동
$ exit

 

Zookeeper 클러스터 실행

 

master1, master2, master3 서버에서 각각 실행한다.

 

# master1 zookeeper 시작
$ sudo /usr/local/zookeeper/bin/zkServer.sh start

# master2 zookeeper 시작
$ ssh master2
$ sudo /usr/local/zookeeper/bin/zkServer.sh start
$ exit

# master3 zookeeper 시작
$ ssh master3
$ sudo /usr/local/zookeeper/bin/zkServer.sh start
$ exit

 

Zookeeper 클러스터 확

 

master1, master2, master3 서버에서 각각 실행한다.

 

# master1 zookeeper 상태 확인
sudo /usr/local/zookeeper/bin/zkServer.sh status

# master2 zookeeper 상태 확인
ssh master2
sudo /usr/local/zookeeper/bin/zkServer.sh status
exit

# master3 zookeeper 상태 확인
ssh master3
sudo /usr/local/zookeeper/bin/zkServer.sh status
exit

 

HDFS ZKFC 초기화

 

master1 서버에서만 진행하며, 아래 포맷 명령어 실행한다.

 

hdfs zkfc -formatZK

 

콘솔에 아래와 같은 로그가 출력되면서 초기화가 완료된다. 생성된 Znode 는 하둡 설정값을 참조 (my-hadoop-cluster)하여 생성된다.

 

 

HDFS ZKFC 상태 확인

 

master1 서버에서만 진행하며, 아래 명령어 실행한다.

 

# zkCli 실행
cd /usr/local/zookeeper
./bin/zkCli.sh

ls /

# Hadoop 클러스터 확인
ls /hadoop-ha

 

my-hadoop-cluster가 출력되면, 정상적으로 생성된 것이다.

 

 

quit 명령어로 주키퍼 클라이언트 인터페이스에서 빠져 나온다.

 

로그 파일 생성 확인

 

주키퍼 로그 파일이 정상적으로 잘 출력되는지 확인한다

 

cd /usr/local/zookeeper/logs/
vim zookeeper-root-server-master1.out

 

ZKUI

 

ZooKeeper Znode 모니터링 툴인 ZKUI 설치를 위해 먼저, Java와 빌드 도구인 Maven이 설치되어 있어야 한다.

 

cd ~/downloads
git clone https://github.com/DeemOpen/zkui.git
sudo apt install maven

 

프로젝트 디렉토리로 이동하여 Maven을 사용해 패키징한다.

 

cd zkui
mvn clean install

 

config.cfg 파일을 수정하여 Zookeeper 연결 정보를 설정한다. 기본 설정 파일은 프로젝트 디렉토리에 있으며, 필요한 경우 Zookeeper 서버 주소와 포트를 설정한다.

 

vi config.cfg

#Server Port
serverPort=19090
#Comma seperated list of all the zookeeper servers
zkServer=master1:2181,master2:2181,master3:2181

 

다음 명령어로 어플리케이션을 실행한다. 웹 브라우저를 열고 http://master1:19090으로 접속한다.

 

java -jar target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &

 

기본 사용자 이름과 비밀번호는 admin / manager이다 (설정 파일에서 변경 가능).