[Hadoop] 클러스터 실행 스크립트 생성

전체 시작 스크립트

 

 

master1 서버에서 작업한다. 지금까지 설정한 Hadoop, Yarn, Spark, Zookeeper를 모두 실행 시키는 cluster-start-all.sh 쉘 스크립트를 생성한다.

 

# 쉘 스크립트 편집
mkdir ~/sbin && cd ~/sbin
vim cluster-start-all.sh

# master1 zookeeper run
sudo /usr/local/zookeeper/bin/zkServer.sh start

# master2 zookeeper run
ssh master2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"

# master3 zookeeper run
ssh master3 "sudo /usr/local/zookeeper/bin/zkServer.sh start"

# Hadoop run
$HADOOP_HOME/sbin/start-all.sh

# JopHistory run
mapred --daemon start historyserver

# Spark run 
$SPARK_HOME/sbin/start-all.sh

# Kafka Broker run
ssh slave1 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties"
ssh slave2 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties"
ssh slave3 "$KAFKA_HOME/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties"

# 쉡 스크립트 접근 권한 설정
sudo chmod 777 cluster-start-all.sh

 

전체 중단 스크립트

 

Hadoop, Yarn, Spark, Zookeeper 를 모두 중단 시키는 cluster-stop-all.sh  쉘 스크립트를 생성한다.

 

# 쉘 스크립트 편집
vim cluster-stop-all.sh

# Spark stop
$SPARK_HOME/sbin/stop-all.sh

# JopHistory stop
mapred --daemon stop historyserver

# Hadoop stop
$HADOOP_HOME/sbin/stop-all.sh

# Kafka Broker stop
ssh slave1 "$KAFKA_HOME/bin/kafka-server-stop.sh"
ssh slave2 "$KAFKA_HOME/bin/kafka-server-stop.sh"
ssh slave3 "$KAFKA_HOME/bin/kafka-server-stop.sh"

# 쉘 스크립트 접근 권한 설정
sudo chmod 777 cluster-stop-all.sh

 

전체 클러스터 재시작 스크립트

 

Hadoop, Yarn, Spark, Zookeeper 를 모두 재실행 시키는 cluster-restart-all.sh 쉘 스크립트를 생성한다.

 

vim cluster-restart-all.sh

/home/ubuntu/bin/cluster-stop-all.sh
sleep 3
/home/ubuntu/bin/cluster-start-all.sh

# 실행 권한 수정
sudo chmod 777 cluster-restart-all.sh