[Hadoop] 플럼 및 하이브 설정

플럼 설정

 

flume-env.sh 파일을 설정한다.

 

cd /usr/local/flume/conf
cp flume-env.sh.template flume-env.sh
vim flume-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"

 

log4j2.xml 파일을 설정한다.

 

vim log4j2.xml

  <Properties>
    <Property name="LOG_DIR">/usr/local/flume/logs</Property>
  </Properties>

 

그 다음, 로그 디렉토리을 생성한다.

 

mkdir -p /usr/local/flume/logs

 

하이브 설정

 

hive-env.sh 파일을 편집한다.

 

cd $HIVE_HOME/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=/usr/local/hive/conf
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export HIVE_AUX_JARS_PATH=$HIVE_AUX_JARS_PATH

 

hive-site.xml을 새로 생성한다.

 

cd $HIVE_HOME/conf
vim hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://master3:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false&amp;characterEncoding=UTF-8&amp;serverTimezone=UTC</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>hive</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>Abcd1234!</value>
        </property>
        <property>
                <name>hive.metastore.schema.verfication</name>
                <value>false</value>
        </property>

        <!-- HiveServer2 -->
        <property>
                <name>hadoop.proxyuser.ubuntu.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.ubuntu.groups</name>
                <value>*</value>
        </property>

        <property>
                <name>hive.server2.enable.doAs</name>
                <value>false</value>
        </property>
        <property>
                <name>hive.server2.authentication</name>
                <value>NONE</value>
        </property>

</configuration>

 

만약, hive-default.xml.template를 복사했다면 중간에 을 지워준다. 그 다음 로그 파일을 설정한다.

 

cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
cp beeline-log4j2.properties.template beeline-log4j2.properties

 

하이브 서버의 로그 디렉토리를 설정한다.

 

vim $HIVE_HOME/conf/hive-log4j2.properties

# property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
property.hive.log.dir = /usr/local/hive/logs

 

하이브 실행 엔진 로그 디렉토리를 설정한다.

 

vim $HIVE_HOME/conf/hive-exec-log4j2.properties

# property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}
property.hive.log.dir = /usr/local/hive/logs

 

beeline-hs2-connection.xml에서 하이브 서버2 연결 계정과 패스워드 설정한다.

 

cd /usr/local/hive/conf
vim beeline-hs2-connection.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>beeline.hs2.connection.user</name>
  <value>ubuntu</value>
</property>
<property>
  <name>beeline.hs2.connection.password</name>
  <value>hadoop</value>
</property>
</configuration>