728x90 반응형 SMALL 리눅스29 [Hadoop] Zookeeper 클러스터 Zookeeper 클러스터 설정 Zookeeper 클러스터 설정을 위해 myid 파일울 편집한다. master1, master2, master3 서버에서 myid를 각각 1, 2, 3으로 하고 master1 서버는 이미 지정했기 때문에 master2, master3에서 작업한다. # master2 서버로 이동$ ssh master2$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장2# master1 으로 이동$ exit# master3 서버로 이동$ ssh master3$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장3# master1 으로 이동$ exit Zookeeper 클러스터 실행 master1, maste.. 2024. 6. 24. [Hadoop] SSH 및 호스트 이름 설정 로컬 PC SSH 설정 배포된 6개의 인스턴스끼리 SSH 통신이 가능하도록 설정하고 각 서버의 호스트 이름을 설정한다. # config 편집vim ~/.ssh/configHost master1 HostName 100.100.100.101 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master2 HostName 100.100.100.102 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master3 HostName 100.100.100.103 User ubuntu IdentityFile ~/hadoop-ke.. 2024. 6. 21. [Hadoop] 카프카 및 제플린 설정 카프카 설정 Kafka server.properties을 설정한다. cd $KAFKA_HOME/configvim server.properties# 아래 내용 수정broker.id=1# 아래 내용 수정 후 저장listeners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://slave1:9092# znode root 디렉토리 하위에 클러스터를 구성하기 위함log.dirs=/usr/local/kafka/logs# 로그 리텐션 주기를 기본값 168시간을 주석처리# log.retention.hours=168# 로그 리텐션 주기를 10분으로 짧게 설정log.retention.minutes=10# 변경 필요zookeeper.connect=master1:2181,master.. 2024. 6. 21. [Hadoop] 하둡 에코시스템 베이스 이미지 설치 하둡 에코시스템 베이스 이미지 설치 # 하둡에서 사용하는 snappy native library 설치sudo apt install libsnappy-dev -y# Hive에서 사용하는 Metastore로 Mariadb 사용sudo apt-get install -y mariadb-client# Python3 설치 및 라이브러리 설치sudo apt-get install -y python3-pip Anaconda 설치 mkdir ~/downloads && cd downloadswget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.shbash Anaconda3-2023.03-Linux-x86_64.sh conda : command not f.. 2024. 6. 20. [Apache Airflow] KaKao 연동 카카오 Developer 카카오 Developer에서 다음과 같이 애플리케이션을 추가한다. 카카오 연동 제품 설정에서 카카오 로그인의 활성화 설정 상태를 ON으로 변경한다. Redirect URI는 https://example.com/oauth로 입력한다. task에 대한 메시지를 전송하기 위해 동의 항목에서 선택 동의로 저장한다. 인가 코드 client_id는 앱 키 →REST API 키로 해서 아래 주소를 웹 브라우저를 통해 접속하여 인가 코드를 발급받는다. https://kauth.kakao.com/oauth/authorize?response_type=code&client_id={client_id}&redirect_uri=https://example.com/oauth&response_t.. 2024. 6. 19. [Docker] Package 'docker-ce' has no installation candidate Package 'docker-ce' has no installation candidate 우분투 환경에서 docker 커맨드를 찾지 못하는 경우에 다음 명령어를 실행한다. $ sudo apt-get update$ sudo apt-get install \ ca-certificates \ curl \ gnupg \ lsb-release $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -$ sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"$ apt-get u.. 2024. 6. 19. [Apache Airflow] Email 오퍼레이터 Email 오퍼레이터 Airflow에서 기본 제공하는 오퍼레이터 중 하나이며, Email 전송할 수 있는 오퍼레이터이다. 기존 airflow 컨테이너를 종료한다. ubuntu~$cd airflowubuntu~$sudo docker compose down 구 컨테이너의 restart policy 변경 후 종료한다. ubuntu~$sudo docker update --restart=no $(sudo docker ps -a -q)ubuntu~$sudo docker stop $(sudo docker ps -a -q) 새 컨테이너를 시작한다. ubuntu~$sudo docker compose up 구글 계정 설정 Gmail 계정 내 설정하기에서 G-mail → 설정 → 모든 설정보기 → 전달 및 POP/IMAP .. 2024. 6. 17. [AWS] 도커 PostgreSQL 배포 PostgreSQL 이미지 docker image pull postgresdocker image ls PostgreSQL 컨테이너 실행 docker container run --name some-postgres -e POSTGRES_PASSWORD=mysecretpassword -d postgres docker container ls PostgreSQL 컨테이너 내부 docker container exec -it {컨테이너 ID} /bin/bashpsql -U postgresALTER USER postgres WITH PASSWORD 'postgres';CREATE DATABASE ml; \listpostgres=# \qexit 데이터 보관 docker container stop {컨테이너 ID}do.. 2024. 6. 11. [AWS] 도커 컨테이너 nginx 배포 디렉토리 생성 docker 디렉토리에서 nginxtest 디렉토리를 생성한다. mkdir nginxtestcd nginxtest/ Dockerfile 생성 nginx를 foreground에서 실행하기 위해 CMD에 -g와 daemon off;를 추가한다. 컨테이너가 background로 실행되므로, nginx를 foreground에서 돌리지 않으면 nginx가 exited된다. vim DockerfileFROM nginx:1.26.0CMD ["nginx", "-g", "daemon off;"] 도커 이미지 빌드 docker image build . -t mynginx01 빌드된 이미지를 확인한다. docker image ls 컨테이너 실행 ocker container run -d mynginx01d.. 2024. 6. 11. [K8s] 잡 (Job) 잡 (Job) 잡은 하나 이상의 파드를 생성하고 지정된 수의 파드가 성공적으로 종료될 때까지 계속해서 파드의 실행을 재시도한다. 파일 생성 vim job-cronjob01.ymlapiVersion: batch/v1kind: Jobmetadata: name: job-test01spec: template: spec: containers: - name: nginx-test01 image: nginx:1.25 command: ["echo", "Hello, Kubernetes!"] restartPolicy: Never backoffLimit: 3 잡 실행 kubectl apply -f job-cronjob01.ymlkubectl get jobkube.. 2024. 6. 9. 이전 1 2 3 다음 728x90 반응형 LIST
