[Hadoop] 카프카 및 제플린 설정

카프카 설정

 

 

Kafka server.properties을 설정한다.

 

cd $KAFKA_HOME/config
vim server.properties

# 아래 내용 수정
broker.id=1

# 아래 내용 수정 후 저장
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://slave1:9092
# znode root 디렉토리 하위에 클러스터를 구성하기 위함

log.dirs=/usr/local/kafka/logs

# 로그 리텐션 주기를 기본값 168시간을 주석처리
# log.retention.hours=168
# 로그 리텐션 주기를 10분으로 짧게 설정
log.retention.minutes=10

# 변경 필요
zookeeper.connect=master1:2181,master2:2181,master3:2181/my-kafka-cluster

 

로그 디렉토리을 생성한다.

 

mkdir -p /usr/local/kafka/logs

설정 이름	설명	예시 값
broker.id	브로커의 고유 ID	1
delete.topic.enable	토픽 삭제 가능을 on/off	true
default.replication.factor	리플리케이션 팩터 기본값	1
listeners	브로커가 수신 대기할 주소 및 포트	PLAINTEXT://localhost:9092
log.dirs	메시지 로그 파일이 저장될 디렉토리 경로	/kafka-logs
num.network.threads	네트워크 I/O 스레드 수	3
num.io.threads	디스크 I/O 스레드 수	8
socket.send.buffer.bytes	전송 소켓 버퍼 크기	102400
socket.receive.buffer.bytes	수신 소켓 버퍼 크기	102400
socket.request.max.bytes	단일 요청에 대한 최대 바이트 수	104857600
log.retention.hours	메시지 로그 보존 시간(시간 기준)	168
log.retention.bytes	메시지 로그 보존 시간(바이트 기준)	-1
log.segment.bytes	단일 로그 세그먼트 크기	1073741824
log.retention.check.interval.ms	로그 보존 주기 확인 간격(밀리초)	300000
zookeeper.connect	주키퍼 접속 문자열	localhost:2181
group.initial.rebalance.delay.ms	컨슈머 그룹의 초기 리밸런스 지연 시간(밀리초)	3000
auto.offset.reset	컨슈머가 존재하지 않는 오프셋에 대한 동작 설정	earliest
enable.auto.commit	자동 오프셋 커밋 사용 여부	true
security.protocol	보안 프로토콜(PLAINTEXT, SSL, SASL_PLAINTEXT 등)	PLAINTEXT
ssl.keystore.location	SSL 키스토어 파일 경로	/path/to/keystore.jks
ssl.keystore.password	SSL 키스토어 비밀번호	keystore_password
ssl.truststore.location	SSL 신뢰 저장소 파일 경로	/path/to/truststore.jks
ssl.truststore.password	SSL 신뢰 저장소 비밀번호	truststore_password

 

제플린 설정

 

zeppelin-env.sh 환경 변수 설정 파일을 편집한다.

 

cd $ZEPPELIN_HOME/conf
cp zeppelin-env.sh.template zeppelin-env.sh
vim zeppelin-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER=yarn
export ZEPPELIN_PORT=18888
export PYTHONPATH=/usr/bin/python3
export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=/usr/bin/python3

 

zeppelin-site.xml 파일은 Zeppelin의 서버 구성, 보안, 인터프리터 설정, 리소스 경로 등을 지정하는 데 사용된다.

 

cd $ZEPPELIN_HOME/conf
cp zeppelin-site.xml.template zeppelin-site.xml
vim zeppelin-site.xml

<property>
  <name>zeppelin.server.addr</name>
  <value>0.0.0.0</value>
  <description>Server binding address</description>
</property>

<property>
  <name>zeppelin.server.port</name>
  <value>18888</value>
  <description>Server port.</description>
</property>