[Hadoop] 주키퍼 및 스파크 설정

주키퍼 설정

 

zoo.cfg 파일을 편집한다.

 

cd /usr/local/zookeeper
cp ./conf/zoo_sample.cfg ./conf/zoo.cfg 
vim ./conf/zoo.cfg

dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs

maxClientCnxns=0
maxSessionTimeout=180000
server.1=master1:2888:3888
server.2=master2:2888:3888
server.3=master3:2888:3888

 

myid을 설정한다.

 

mkdir -p /usr/local/zookeeper/data
mkdir -p /usr/local/zookeeper/logs
vim /usr/local/zookeeper/data/myid

 

스파크 설정

 

spark-env.sh 파일을 편집한다.

 

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh

vim spark-env.sh

export SPARK_HOME=/usr/local/spark
export SPARK_CONF_DIR=/usr/local/spark/conf
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_WEBUI_PORT=18080

 

spark-defaults.conf 파일을 편집한다.

 

cp $SPARK_HOME/conf/spark-defaults.conf.template $SPARK_HOME/conf/spark-defaults.conf
vim $SPARK_HOME/conf/spark-defaults.conf

spark.master              yarn
spark.eventLog.enabled    true
spark.eventLog.dir               hdfs:///sparklogs
spark.history.fs.logDirectory    hdfs:///sparklogs
spark.history.provider           org.apache.spark.deploy.history.FsHistoryProvider

클러스터 매니저 선택	spark.master yarn 설정은 Spark 어플리케이션이 YARN 클러스터에서 실행되도록 지정한다.
이벤트 로깅 활성화	spark.eventLog.enabled true는 이벤트 로깅을 활성화하여 어플리케이션 실행 중 발생하는 이벤트를 기록한다.
로그 저장 위치	spark.eventLog.dir과 spark.history.fs.logDirectory는 이벤트 로그와 History Server 로그를 저장할 디렉터리를 설정하여 HDFS의 /sparklogs 디렉터리에 로그를 저장 및 읽어오도록 한다.
History Server 설정	spark.history.provider능 History Server가 파일 시스템에서 로그를 제공받도록 설정

 

Spark logs 디렉토리 생성한다.

 

sudo mkdir -p /usr/local/spark/logs && sudo chown -R $USER:$USER /usr/local/spark/

 

스파크의 워커 노드 리스트 설정 파일인 workers 파일을 편집한다.

 

cp $SPARK_HOME/conf/workers.template $SPARK_HOME/conf/workers
vim $SPARK_HOME/conf/workers

slave1
slave2
slave3