본문 바로가기
728x90
반응형
SMALL

도커35

[K8s] 디플로이먼트 (Deployment) 디플로이먼트 (Deployment)   디플로이먼트는 파드 (pod)와 레플리카셋 (ReplicaSet)에 대한 선언적 업데이트를 제공한다 (ex: 파드 상태 업데이트, 스케일 업 등). 디플로이먼트를 활용해 새로운 레플리카셋을 생성하거나 기존에 존재하는 디플로이먼트를 제거하고 새로운 디플로이먼트를 선언할 수 있다. 레플리카셋을 직접적으로 관리하는 것은 안된다. 레플리카셋 (ReplicaSet)  레플리카셋은 여러 개의 파드를 항상 안정적으로 유지하는 것이 목적이다. 레플리카셋은 주로 특정 개수의 파드 실행을 보장하는데 사용한다. 예를 들어, 3개의 파드가 실행되어야 할 때, 3개 중 1개가 정지되면 새로운 파드를 생성해서 3개 파드의 개수를 맞춘다. 디플로이먼트는 레플리카셋보다 상위 개념이다. 디플로이.. 2024. 6. 8.
[K8s] 쿠버네티스 설치 (1) swap 메모리 비활성화 modprobe : 리눅스 커널 모듈 관리 도구, 특정 모듈을 로드하거나 제거 가능br_netfilter : 네트워크 패킷 처리 관련 커널 모듈, iptables / netfilter 규칙을 적용되게 한다. 즉, 컨테이너와 호스트 간의 인터페이스 등에서 발생하는 트래픽에 대해 규칙을 적용하여 트래픽을 관리한다. sudo modprobe br_netfiltersudo sysctl net.bridge.bridge-nf-call-iptables=1sudo sysctl net.ipv4.ip_forward=1sudo vim /etc/sysctl.confnet.bridge.bridge-nf-call-iptables=1net.ipv4.ip_forward=1cat /proc/swaps cont.. 2024. 6. 8.
[AWS] 도커 설치 도커 설치 sudo apt-get updatesudo apt-get install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.ascecho \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release && ech.. 2024. 5. 30.
[Docker] Attach (컨테이너 접속) Attach (컨테이너 접속)  다음 명령어는 실행중인 컨테이너에 연결한다. docker attach 컨테이너명 연결된 컨테이너를 종료하기 위해 "exit" 또는 "ctrl + c"를 입력하여 컨테이너를 종료하면서 컨테이너 밖으로 나올 수 있다. 그리고 컨테이너를 백그라운드 모드로 동작시키고 쉘에서 나오고 싶다면 터미널에서 아래 명령어를 입력하면 된다. ctrl + pctrl + q 2024. 5. 13.
[Data Engineering] Docker Compose Docker Compose Docker Compose는 다중 컨테이너 애플리케이션을 정의하고 공유하는 데 도움이 되는 도구이다. Compose를 사용하면 YAML 파일을 생성하여 서비스를 정의할 수 있으며 단일 명령으로 모든 것을 가동하거나 해체할 수 있다. Compose 사용의 가장 큰 장점은 어플리케이션 스택을 파일로 정의하고 이를 프로젝트 저장소의 루트에 보관하며 (이제는 버전 제어됨) 다른 사람이 프로젝트에 쉽게 기여할 수 있도록 할 수 있다는 것이다. 누군가는 저장소를 복제하고 Compose를 사용하여 앱을 시작하기만 하면 된다. Compose 파일 생성 getting-started-app 디렉터리에 compose.yaml 파일을 만든다. 이제, compose.yaml 파일에서 서비스를 정의한다.. 2024. 1. 23.
[Data Engineering] 어플리케이션 업데이트 어플리케이션 업데이트 src/static/js/app.js 파일에서 새로운 빈 텍스트를 사용하도록 56행을 업데이트한다. - No items yet! Add one above! + You have no todo items yet! Add one above! docker build 명령을 사용하여 업데이트된 버전의 이미지를 빌드한다. docker build -t getting-started . 업데이트된 코드를 사용하여 새 컨테이너를 시작한다. docker run -dp 127.0.0.1:3000:3000 getting-started docker: Error response from daemon: driver failed programming external connectivity on endpoint p.. 2024. 1. 23.
[Data Engineering] 도커 (Docker) 도커 (Docker) 신뢰할 수 있는 데이터 인프라 구축과 중복된 작업을 피하기 위해 데이터 엔지니어링은 필수이다. 모든 어플리케이션 및 패키징, 종속된 라이브러리를 어느 환경에서나 개발하기 위해서 쉽게 배포하고 안정적으로 구동할 수 있게 도와주는 도커를 사용한다. Dockerfile Dockerfile은 지정된 이미지를 빌드하는 데 필요한 모든 명령을 순서대로 나열한 텍스트 파일이다. Dockerfile은 Docker 빌드 명령에 의해 Docker 이미지를 생성하는 데 사용된다. Image 이미지는 읽기 전용이며 변경되지 않는다. Docker 이미지는 코드, 런타임, 라이브러리, 환경 변수, 구성 파일 등 소프트웨어를 실행하는 데 필요한 모든 것을 포함하는 경량의 독립 실행형 실행 패키지다. Conta.. 2024. 1. 22.
Apache Spark Apache Spark Apache Spark는 대규모 데이터 처리를 위한 분석 엔진이다. Spark에는 Cloud SQL, 스트리밍, 머신러닝, 그래프를 위한 라이브러리가 있다. Spark를 사용하면 여러 컴퓨터에서 데이터 작업 (전처리, 기능 엔지니어링, 훈련)을 실행할 수 있다. 스파크의 핵심 아이디어는 복원력 있는 분산 데이터 세트 (RDD)라는 개념이다. 이 핵심 아이디어를 사용하여 Spark는 내결함성과 규모를 관리할 수 있다. Spark에는 pandas 및 R과 유사한 dataframe 이라는 추상 데이터 유형도 있다. Spark 데이터프레임 인터페이스는 RDD 위에 위치하며 작업에 대한 보다 접근하기 쉬운 사양을 허용한다. 주로 일반적인 단일 시스템이 처리할 수 있는 것보다 훨씬 큰 데이터.. 2024. 1. 8.
[Docker] 권한 추가 권한 추가 Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/json": dial unix /var/run/docker.sock: connect: permission denied 리눅스에서 root가 아닌 경우 위와 같은 권한 문제가 발생할 수 있기 때문에 유저에게 docker 권한을 부여한다. docker 그룹 생성 sudo groupadd docker# 그룹 확인sudo groups $USER docker 그룹에 사용자 추가 sudo groupadd dockersu.. 2023. 6. 15.
[Docker] docker: Error response from daemon: could not select device driver with capabilities: [[gpu]] nvidia-container-toolkit을 설치하여 오류를 해결한다. $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit.. 2023. 6. 15.
728x90
반응형
LIST