728x90 반응형 SMALL 하둡10 [Hadoop] 클러스터 실행 스크립트 생성 전체 시작 스크립트 master1 서버에서 작업한다. 지금까지 설정한 Hadoop, Yarn, Spark, Zookeeper를 모두 실행 시키는 cluster-start-all.sh 쉘 스크립트를 생성한다. # 쉘 스크립트 편집mkdir ~/sbin && cd ~/sbinvim cluster-start-all.sh# master1 zookeeper runsudo /usr/local/zookeeper/bin/zkServer.sh start# master2 zookeeper runssh master2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"# master3 zookeeper runssh master3 "sudo /usr/local/zookeeper/bin/z.. 2024. 6. 25. [Hadoop] Hadoop 및 Yarn 클러스터 JournalNode 주키퍼 앙상블 구성이 끝났으므로 저널 노드를 실행할 수 있다. master1, master2, master3에서 각각 실행한다. # master1에서 실행hdfs --daemon start journalnode# master2에서 실행ssh master2hdfs --daemon start journalnodeexit# master3에서 실행ssh master3hdfs --daemon start journalnodeexit# master1의 journalnode 로그 확인cd /usr/local/hadoop/logsvim hadoop-ubuntu-journalnode-master1.log Namenode 하둡 클러스터를 실행하기 전에 네임노드 포맷을 해야한다. master1에서 한번만.. 2024. 6. 24. [Hadoop] Zookeeper 클러스터 Zookeeper 클러스터 설정 Zookeeper 클러스터 설정을 위해 myid 파일울 편집한다. master1, master2, master3 서버에서 myid를 각각 1, 2, 3으로 하고 master1 서버는 이미 지정했기 때문에 master2, master3에서 작업한다. # master2 서버로 이동$ ssh master2$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장2# master1 으로 이동$ exit# master3 서버로 이동$ ssh master3$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장3# master1 으로 이동$ exit Zookeeper 클러스터 실행 master1, maste.. 2024. 6. 24. [Hadoop] SSH 및 호스트 이름 설정 로컬 PC SSH 설정 배포된 6개의 인스턴스끼리 SSH 통신이 가능하도록 설정하고 각 서버의 호스트 이름을 설정한다. # config 편집vim ~/.ssh/configHost master1 HostName 100.100.100.101 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master2 HostName 100.100.100.102 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master3 HostName 100.100.100.103 User ubuntu IdentityFile ~/hadoop-ke.. 2024. 6. 21. [Hadoop] AMI 생성 및 인스턴스 복제 AMI 설정 앞서 설정한 인스턴스를 AMI로 생성하고 클러스터에 필요한만큼 인스턴스를 복제한다. 인스턴스 대시보드에서 master1 인스턴스를 선택하고 화면 우측 상단의 Actions (작업)을 클릭 후 Image and templates (이미지 및 템플릿)에서 이미지 생성을 클릭한다. 이미지 이름을 hadoop-eco-base라고 지정하고 화면 하단의 Create image을 클릭하여 AMI를 생성한다. 대시보드 화면 좌측 이미지 메뉴의 AMI를 클릭하여 AMI 대시보드를 확인한다. 그리고 시간이 지난 후 hadoop-eco-base의 상태가 사용 가능으로 변경되면 AMI로 인스턴스 시작을 클릭한다. Instance type (인스턴스 유형)은 이미지를 생성했던 t3.large를 선택한다. Ne.. 2024. 6. 21. [Hadoop] 플럼 및 하이브 설정 플럼 설정 flume-env.sh 파일을 설정한다. cd /usr/local/flume/confcp flume-env.sh.template flume-env.shvim flume-env.shexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote" log4j2.xml 파일을 설정한다. vim log4j2.xml /usr/local/flume/logs 그 다음, 로그 디렉토리을 생성한다. mkdir -p /usr/local/flume/logs 하이브 설정 hive-env.sh 파일을 편집한다. cd $HIVE_HOME/confcp hive-e.. 2024. 6. 21. [Hadoop] 카프카 및 제플린 설정 카프카 설정 Kafka server.properties을 설정한다. cd $KAFKA_HOME/configvim server.properties# 아래 내용 수정broker.id=1# 아래 내용 수정 후 저장listeners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://slave1:9092# znode root 디렉토리 하위에 클러스터를 구성하기 위함log.dirs=/usr/local/kafka/logs# 로그 리텐션 주기를 기본값 168시간을 주석처리# log.retention.hours=168# 로그 리텐션 주기를 10분으로 짧게 설정log.retention.minutes=10# 변경 필요zookeeper.connect=master1:2181,master.. 2024. 6. 21. [Hadoop] 주키퍼 및 스파크 설정 주키퍼 설정 zoo.cfg 파일을 편집한다. cd /usr/local/zookeepercp ./conf/zoo_sample.cfg ./conf/zoo.cfg vim ./conf/zoo.cfgdataDir=/usr/local/zookeeper/datadataLogDir=/usr/local/zookeeper/logsmaxClientCnxns=0maxSessionTimeout=180000server.1=master1:2888:3888server.2=master2:2888:3888server.3=master3:2888:3888 myid을 설정한다. mkdir -p /usr/local/zookeeper/datamkdir -p /usr/local/zookeeper/logsvim /usr/local/zookeeper.. 2024. 6. 21. [Hadoop] 하둡 에코시스템 베이스 이미지 설치 하둡 에코시스템 베이스 이미지 설치 # 하둡에서 사용하는 snappy native library 설치sudo apt install libsnappy-dev -y# Hive에서 사용하는 Metastore로 Mariadb 사용sudo apt-get install -y mariadb-client# Python3 설치 및 라이브러리 설치sudo apt-get install -y python3-pip Anaconda 설치 mkdir ~/downloads && cd downloadswget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.shbash Anaconda3-2023.03-Linux-x86_64.sh conda : command not f.. 2024. 6. 20. 하둡 (Hadoop) 하둡 (Hadoop) 하둡은 비정형 데이터를 포함한 빅데이터를 다루기 위한 가장 적절한 플랫폼이다. 데이터 증가로 하둡을 적용하는 회사들은 급증하고 있다. 하둡 에코시스템은 Governance, Finance, Banking, Insurance, Heathcare 등 사회 전반에 걸친 모든 요소들과 밀접하게 연관되어 사용되고 있다. 라이브러리 설치 Ubuntu에서 apt-get을 이용해 필요한 라이브러리를 설치한다. # 설치 가능한 리스트 업데이트$ sudo apt-get -y update# 업데이트한 패키지들을 최신 버전에 맞게 업그레이드$ sudo apt-get -y upgrade# 의존성까지 체크해서 업그레이드$ sudo apt-get -y dist-upgrade# 필요 라이브러리 설치$ sudo.. 2022. 10. 4. 이전 1 다음 728x90 반응형 LIST
