728x90 반응형 SMALL 리눅스31 [Hadoop] 클러스터 실행 스크립트 생성 전체 시작 스크립트 master1 서버에서 작업한다. 지금까지 설정한 Hadoop, Yarn, Spark, Zookeeper를 모두 실행 시키는 cluster-start-all.sh 쉘 스크립트를 생성한다. # 쉘 스크립트 편집mkdir ~/sbin && cd ~/sbinvim cluster-start-all.sh# master1 zookeeper runsudo /usr/local/zookeeper/bin/zkServer.sh start# master2 zookeeper runssh master2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"# master3 zookeeper runssh master3 "sudo /usr/local/zookeeper/bin/z.. 2024. 6. 25. [Hadoop] Hadoop 및 Yarn 클러스터 JournalNode 주키퍼 앙상블 구성이 끝났으므로 저널 노드를 실행할 수 있다. master1, master2, master3에서 각각 실행한다. # master1에서 실행hdfs --daemon start journalnode# master2에서 실행ssh master2hdfs --daemon start journalnodeexit# master3에서 실행ssh master3hdfs --daemon start journalnodeexit# master1의 journalnode 로그 확인cd /usr/local/hadoop/logsvim hadoop-ubuntu-journalnode-master1.log Namenode 하둡 클러스터를 실행하기 전에 네임노드 포맷을 해야한다. master1에서 한번만.. 2024. 6. 24. [Hadoop] Zookeeper 클러스터 Zookeeper 클러스터 설정 Zookeeper 클러스터 설정을 위해 myid 파일울 편집한다. master1, master2, master3 서버에서 myid를 각각 1, 2, 3으로 하고 master1 서버는 이미 지정했기 때문에 master2, master3에서 작업한다. # master2 서버로 이동$ ssh master2$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장2# master1 으로 이동$ exit# master3 서버로 이동$ ssh master3$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장3# master1 으로 이동$ exit Zookeeper 클러스터 실행 master1, maste.. 2024. 6. 24. [Hadoop] SSH 및 호스트 이름 설정 로컬 PC SSH 설정 배포된 6개의 인스턴스끼리 SSH 통신이 가능하도록 설정하고 각 서버의 호스트 이름을 설정한다. # config 편집vim ~/.ssh/configHost master1 HostName 100.100.100.101 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master2 HostName 100.100.100.102 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master3 HostName 100.100.100.103 User ubuntu IdentityFile ~/hadoop-ke.. 2024. 6. 21. [Hadoop] 카프카 및 제플린 설정 카프카 설정 Kafka server.properties을 설정한다. cd $KAFKA_HOME/configvim server.properties# 아래 내용 수정broker.id=1# 아래 내용 수정 후 저장listeners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://slave1:9092# znode root 디렉토리 하위에 클러스터를 구성하기 위함log.dirs=/usr/local/kafka/logs# 로그 리텐션 주기를 기본값 168시간을 주석처리# log.retention.hours=168# 로그 리텐션 주기를 10분으로 짧게 설정log.retention.minutes=10# 변경 필요zookeeper.connect=master1:2181,master.. 2024. 6. 21. [Hadoop] 하둡 에코시스템 베이스 이미지 설치 하둡 에코시스템 베이스 이미지 설치 # 하둡에서 사용하는 snappy native library 설치sudo apt install libsnappy-dev -y# Hive에서 사용하는 Metastore로 Mariadb 사용sudo apt-get install -y mariadb-client# Python3 설치 및 라이브러리 설치sudo apt-get install -y python3-pip Anaconda 설치 mkdir ~/downloads && cd downloadswget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.shbash Anaconda3-2023.03-Linux-x86_64.sh conda : command not f.. 2024. 6. 20. [Apache Airflow] KaKao 연동 카카오 Developer 카카오 Developer에서 다음과 같이 애플리케이션을 추가한다. 카카오 연동 제품 설정에서 카카오 로그인의 활성화 설정 상태를 ON으로 변경한다. Redirect URI는 https://example.com/oauth로 입력한다. task에 대한 메시지를 전송하기 위해 동의 항목에서 선택 동의로 저장한다. 인가 코드 client_id는 앱 키 →REST API 키로 해서 아래 주소를 웹 브라우저를 통해 접속하여 인가 코드를 발급받는다. https://kauth.kakao.com/oauth/authorize?response_type=code&client_id={client_id}&redirect_uri=https://example.com/oauth&response_t.. 2024. 6. 19. [Docker] Package 'docker-ce' has no installation candidate Package 'docker-ce' has no installation candidate 우분투 환경에서 docker 커맨드를 찾지 못하는 경우에 다음 명령어를 실행한다. $ sudo apt-get update$ sudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -$ sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"$ apt-get u.. 2024. 6. 19. [Apache Airflow] Email 오퍼레이터 Email 오퍼레이터 Airflow에서 기본 제공하는 오퍼레이터 중 하나이며, Email 전송할 수 있는 오퍼레이터이다. 기존 airflow 컨테이너를 종료한다. ubuntu~$cd airflowubuntu~$sudo docker compose down 구 컨테이너의 restart policy 변경 후 종료한다. ubuntu~$sudo docker update --restart=no $(sudo docker ps -a -q)ubuntu~$sudo docker stop $(sudo docker ps -a -q) 새 컨테이너를 시작한다. ubuntu~$sudo docker compose up 구글 계정 설정 Gmail 계정 내 설정하기에서 G-mail → 설정 → 모든 설정보기 → 전달 및 POP/IMAP .. 2024. 6. 17. [AWS] 도커 PostgreSQL 배포 PostgreSQL 이미지 docker image pull postgresdocker image ls PostgreSQL 컨테이너 실행 docker container run --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword -d postgres docker container ls PostgreSQL 컨테이너 내부 docker container exec -it {컨테이너 ID} /bin/bashpsql -U postgresALTER USER postgres WITH PASSWORD 'postgres';CREATE DATABASE ml; \listpostgres=# \qexit 데이터 보관 docker container stop {컨테이너 ID}do.. 2024. 6. 11. 이전 1 2 3 4 다음 728x90 반응형 LIST
