728x90 반응형 SMALL 리눅스34 [Linux] Wget Wget 'Web Get'의 약어로 웹 서버의 파일을 가져오는 명령어로, GNU 프로젝트의 일부이다. wget은 비 상호작용 네트워크 다운로더이다. # 디렉터리를 만들어 데이터셋을 다운로드할 위치로 이동mkdir -p LibriTTS && cd LibriTTS# train-clean-100 다운로드wget https://www.openslr.org/resources/60/train-clean-100.tar.gz# train-clean-360 다운로드wget https://www.openslr.org/resources/60/train-clean-360.tar.gz# 각 데이터셋 압축 해제tar -xzvf train-clean-100.tar.gztar -xzvf train-clean-360.tar.gz# 다.. 2024. 11. 7. [Docker] ubuntu 파일 복사 ubuntu → container host에서 docker cp 명령으로 진행한다. docker cp (이동할 폴더의 절대경로)/. (컨테이너 name):(컨테이너 내 파일들을 받을 폴더의 절대 경로) 폴더가 아닌 파일을 옮길 때는 /. 대신에 해당 /파일명을 입력한다. container → ubuntu host에서 docker cp 명령으로 진행한다. docker cp (컨테이너 name):(컨테이너 내에서 이동시킬 파일의 절대 경로) (Ubuntu에서 파일을 복사받을 폴더의 절대경로) 컨테이너 및 이미지 삭제 docker stop [container_name]docker rm [container_name]docker rmi [image_name] 캐시된 빌드 삭제 docker builder prune 2024. 8. 14. [Spark] PySpark 설치 리눅스 sudo apt-get updatesudo apt-get install net-tools pyenv sudo apt-get update; sudo apt-get install make build-essential libssl-dev zlib1g-dev \libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \libncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-devcurl https://pyenv.run | bashexport PYENV_ROOT="$HOME/.pyenv"[[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_RO.. 2024. 7. 15. [Hadoop] 클러스터 실행 스크립트 생성 전체 시작 스크립트 master1 서버에서 작업한다. 지금까지 설정한 Hadoop, Yarn, Spark, Zookeeper를 모두 실행 시키는 cluster-start-all.sh 쉘 스크립트를 생성한다. # 쉘 스크립트 편집mkdir ~/sbin && cd ~/sbinvim cluster-start-all.sh# master1 zookeeper runsudo /usr/local/zookeeper/bin/zkServer.sh start# master2 zookeeper runssh master2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"# master3 zookeeper runssh master3 "sudo /usr/local/zookeeper/bin/z.. 2024. 6. 25. [Hadoop] Hadoop 및 Yarn 클러스터 JournalNode 주키퍼 앙상블 구성이 끝났으므로 저널 노드를 실행할 수 있다. master1, master2, master3에서 각각 실행한다. # master1에서 실행hdfs --daemon start journalnode# master2에서 실행ssh master2hdfs --daemon start journalnodeexit# master3에서 실행ssh master3hdfs --daemon start journalnodeexit# master1의 journalnode 로그 확인cd /usr/local/hadoop/logsvim hadoop-ubuntu-journalnode-master1.log Namenode 하둡 클러스터를 실행하기 전에 네임노드 포맷을 해야한다. master1에서 한번만.. 2024. 6. 24. [Hadoop] Zookeeper 클러스터 Zookeeper 클러스터 설정 Zookeeper 클러스터 설정을 위해 myid 파일울 편집한다. master1, master2, master3 서버에서 myid를 각각 1, 2, 3으로 하고 master1 서버는 이미 지정했기 때문에 master2, master3에서 작업한다. # master2 서버로 이동$ ssh master2$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장2# master1 으로 이동$ exit# master3 서버로 이동$ ssh master3$ vim /usr/local/zookeeper/data/myid# 아래 내용으로 수정 후 저장3# master1 으로 이동$ exit Zookeeper 클러스터 실행 master1, maste.. 2024. 6. 24. [Hadoop] SSH 및 호스트 이름 설정 로컬 PC SSH 설정 배포된 6개의 인스턴스끼리 SSH 통신이 가능하도록 설정하고 각 서버의 호스트 이름을 설정한다. # config 편집vim ~/.ssh/configHost master1 HostName 100.100.100.101 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master2 HostName 100.100.100.102 User ubuntu IdentityFile ~/hadoop-keypair.pemHost master3 HostName 100.100.100.103 User ubuntu IdentityFile ~/hadoop-ke.. 2024. 6. 21. [Hadoop] 카프카 및 제플린 설정 카프카 설정 Kafka server.properties을 설정한다. cd $KAFKA_HOME/configvim server.properties# 아래 내용 수정broker.id=1# 아래 내용 수정 후 저장listeners=PLAINTEXT://:9092advertised.listeners=PLAINTEXT://slave1:9092# znode root 디렉토리 하위에 클러스터를 구성하기 위함log.dirs=/usr/local/kafka/logs# 로그 리텐션 주기를 기본값 168시간을 주석처리# log.retention.hours=168# 로그 리텐션 주기를 10분으로 짧게 설정log.retention.minutes=10# 변경 필요zookeeper.connect=master1:2181,master.. 2024. 6. 21. [Hadoop] 하둡 에코시스템 베이스 이미지 설치 하둡 에코시스템 베이스 이미지 설치 # 하둡에서 사용하는 snappy native library 설치sudo apt install libsnappy-dev -y# Hive에서 사용하는 Metastore로 Mariadb 사용sudo apt-get install -y mariadb-client# Python3 설치 및 라이브러리 설치sudo apt-get install -y python3-pip Anaconda 설치 mkdir ~/downloads && cd downloadswget https://repo.anaconda.com/archive/Anaconda3-2023.03-Linux-x86_64.shbash Anaconda3-2023.03-Linux-x86_64.sh conda : command not f.. 2024. 6. 20. [Apache Airflow] KaKao 연동 카카오 Developer 카카오 Developer에서 다음과 같이 애플리케이션을 추가한다. 카카오 연동 제품 설정에서 카카오 로그인의 활성화 설정 상태를 ON으로 변경한다. Redirect URI는 https://example.com/oauth로 입력한다. task에 대한 메시지를 전송하기 위해 동의 항목에서 선택 동의로 저장한다. 인가 코드 client_id는 앱 키 →REST API 키로 해서 아래 주소를 웹 브라우저를 통해 접속하여 인가 코드를 발급받는다. https://kauth.kakao.com/oauth/authorize?response_type=code&client_id={client_id}&redirect_uri=https://example.com/oauth&response_t.. 2024. 6. 19. 이전 1 2 3 4 다음 728x90 반응형 LIST
