728x90 반응형 SMALL Docker33 [K8s] 쿠버네티스 설치 (2) 쿠버네티스 마스터 노드 설정 kubeadm certs check-expirationkubeadm config images listkubeadm config images pull --cri-socket /run/containerd/containerd.sockkubeadm init --apiserver-advertise-address={프라이빗IP} --pod-network-cidr=192.168.0.0/16 --cri-socket /run/containerd/containerd.sock 다음 명령어로 root에서 빠져 나온다. kubeadm certs check-expirationexit calico 설치 mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.con.. 2024. 6. 8. [K8s] 쿠버네티스 설치 (1) swap 메모리 비활성화 modprobe : 리눅스 커널 모듈 관리 도구, 특정 모듈을 로드하거나 제거 가능br_netfilter : 네트워크 패킷 처리 관련 커널 모듈, iptables / netfilter 규칙을 적용되게 한다. 즉, 컨테이너와 호스트 간의 인터페이스 등에서 발생하는 트래픽에 대해 규칙을 적용하여 트래픽을 관리한다. sudo modprobe br_netfiltersudo sysctl net.bridge.bridge-nf-call-iptables=1sudo sysctl net.ipv4.ip_forward=1sudo vim /etc/sysctl.confnet.bridge.bridge-nf-call-iptables=1net.ipv4.ip_forward=1cat /proc/swaps cont.. 2024. 6. 8. [AWS] 도커 설치 도커 설치 sudo apt-get updatesudo apt-get install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.ascecho \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release && ech.. 2024. 5. 30. [Docker] Attach (컨테이너 접속) Attach (컨테이너 접속) 다음 명령어는 실행중인 컨테이너에 연결한다. docker attach 컨테이너명 연결된 컨테이너를 종료하기 위해 "exit" 또는 "ctrl + c"를 입력하여 컨테이너를 종료하면서 컨테이너 밖으로 나올 수 있다. 그리고 컨테이너를 백그라운드 모드로 동작시키고 쉘에서 나오고 싶다면 터미널에서 아래 명령어를 입력하면 된다. ctrl + pctrl + q 2024. 5. 13. [Data Engineering] Docker Compose Docker Compose Docker Compose는 다중 컨테이너 애플리케이션을 정의하고 공유하는 데 도움이 되는 도구이다. Compose를 사용하면 YAML 파일을 생성하여 서비스를 정의할 수 있으며 단일 명령으로 모든 것을 가동하거나 해체할 수 있다. Compose 사용의 가장 큰 장점은 어플리케이션 스택을 파일로 정의하고 이를 프로젝트 저장소의 루트에 보관하며 (이제는 버전 제어됨) 다른 사람이 프로젝트에 쉽게 기여할 수 있도록 할 수 있다는 것이다. 누군가는 저장소를 복제하고 Compose를 사용하여 앱을 시작하기만 하면 된다. Compose 파일 생성 getting-started-app 디렉터리에 compose.yaml 파일을 만든다. 이제, compose.yaml 파일에서 서비스를 정의한다.. 2024. 1. 23. [Data Engineering] 어플리케이션 업데이트 어플리케이션 업데이트 src/static/js/app.js 파일에서 새로운 빈 텍스트를 사용하도록 56행을 업데이트한다. - No items yet! Add one above! + You have no todo items yet! Add one above! docker build 명령을 사용하여 업데이트된 버전의 이미지를 빌드한다. docker build -t getting-started . 업데이트된 코드를 사용하여 새 컨테이너를 시작한다. docker run -dp 127.0.0.1:3000:3000 getting-started docker: Error response from daemon: driver failed programming external connectivity on endpoint p.. 2024. 1. 23. [Data Engineering] 도커 (Docker) 도커 (Docker) 신뢰할 수 있는 데이터 인프라 구축과 중복된 작업을 피하기 위해 데이터 엔지니어링은 필수이다. 모든 어플리케이션 및 패키징, 종속된 라이브러리를 어느 환경에서나 개발하기 위해서 쉽게 배포하고 안정적으로 구동할 수 있게 도와주는 도커를 사용한다. Dockerfile Dockerfile은 지정된 이미지를 빌드하는 데 필요한 모든 명령을 순서대로 나열한 텍스트 파일이다. Dockerfile은 Docker 빌드 명령에 의해 Docker 이미지를 생성하는 데 사용된다. Image 이미지는 읽기 전용이며 변경되지 않는다. Docker 이미지는 코드, 런타임, 라이브러리, 환경 변수, 구성 파일 등 소프트웨어를 실행하는 데 필요한 모든 것을 포함하는 경량의 독립 실행형 실행 패키지다. Conta.. 2024. 1. 22. Apache Spark Apache Spark Apache Spark는 대규모 데이터 처리를 위한 분석 엔진이다. Spark에는 Cloud SQL, 스트리밍, 머신러닝, 그래프를 위한 라이브러리가 있다. Spark를 사용하면 여러 컴퓨터에서 데이터 작업 (전처리, 기능 엔지니어링, 훈련)을 실행할 수 있다. 스파크의 핵심 아이디어는 복원력 있는 분산 데이터 세트 (RDD)라는 개념이다. 이 핵심 아이디어를 사용하여 Spark는 내결함성과 규모를 관리할 수 있다. Spark에는 pandas 및 R과 유사한 dataframe 이라는 추상 데이터 유형도 있다. Spark 데이터프레임 인터페이스는 RDD 위에 위치하며 작업에 대한 보다 접근하기 쉬운 사양을 허용한다. 주로 일반적인 단일 시스템이 처리할 수 있는 것보다 훨씬 큰 데이터.. 2024. 1. 8. [Docker] 명령어 docker build Dockerfile을 기반으로 이미지를 생성하는 작업을 하는 명령어이다. -t, --tag : 이미지 이름 (이미지 : 태그) -f, --file : Dockerfile 이름 (Dockerfile의 위치) --rm : 빌드 후 컨테이너 삭제 --build-arg : ARG 값 전달 docker run docker run은 docker의 이미지를 기반으로, 컨테이너를 실행하는 명령어이다. -d : 백그라운드 실행 -l : 컨테이너 입력 -t : 컨테이너 출력 --net : 네트워크 지정 -p, --port : 포트 번호 연결 -v, --volume : 바운드 마운트 --name : 컨테이너 이름 -e, --env : 환경 변수 전달하기 --rm : 컨테이너 종료시 컨테이너 삭제 --.. 2023. 2. 13. [Docker] Dockerfile Dockerfile Dockerfile은 Docker Image를 생성하기 위한 스크립트 (설정 파일)이다. 명령어를 토대로 Dockerfile을 작성한 후 docker build 명령어를 수행하면 이미지를 생성한다. 그리고 docker run 명령어를 하면 이미지로부터 컨테이너를 실행한다. 명령어 FROM : 베이스 이미지 (시작 이미지)의 선택 LABEL : 이미지에 메타 데이터 (설명) 추가 ARG : Docker 이미지 생서시 사용하는 값들 ENV : 컨테이너의 환경 변수 RUN : 명령어 실행 WORKDIR : 작업 디렉토리 변경 ADD : 파일 복사 COPY : 파일 복사 EXPOSE : 노출되는 포트 (-P 옵션과 사용) USER : 사용자 계정 이름 CMD : 컨테이너 실행시 실행되는 명령.. 2023. 2. 13. 이전 1 2 3 4 다음 728x90 반응형 LIST
