728x90 반응형 SMALL transform3 [Data Engineering] 데이터 파이프라인 빌드 데이터 파이프라인 빌드 Docker 및 PostgreSQL을 활용하여 ETL (추출, 변환, 로드) 프로세스를 위해 여러 개의 컨테이너를 실행시키는 어플리케이션을 정의하기 위한 docker-compose.yaml 파일을 생성한다. docker-compose.yaml 여러 Docker 컨테이너를 조정하는 데 사용되는 Docker Compose에 대한 구성이 포함되어 있다. 이는 세 가지 서비스를 정의한다. version: '3' services: source_postgres: image: postgres:15 ports: - "5433:5432" networks: - etl_network environment: POSTGRES_DB: source_db POSTGRES_USER: postgres POSTGR.. 2024. 1. 23. Extract / Transform / Load (ETL) Extract / Transform / Load (ETL) 여러 파일 형식에서 데이터를 추출하고, API 및 웹 스크래핑을 통해 데이터를 수집하고, 마지막으로 수집된 데이터를 로드할 수 있는 형식으로 변환하는 등의 특정 작업을 수행한다. 그런 다음 동료가 작업을 검토하고 평가할 수 있도록 Python 노트북과 스크린샷을 제출한다. 추출 (Extract) import glob list_csv=glob.glob('*.csv') list_json=glob.glob('*.json') # extract csv def extract_from_csv(file_to_process): dataframe = pd.read_csv(file_to_process) return dataframe df = extract_from_.. 2022. 5. 11. [PyTorch] 변형 (Transform) 변형 (Transform) 데이터가 항상 ML 알고리즘 학습에 필요한 최종 처리가 된 형태로 제공되지 않는다. 따라서, 변형 (transform)을 통해 데이터를 조작하고 학습에 적합하게 만든다. 모든 TorchVision 데이터셋들은 변형 logic을 갖는, 호출 가능한 객체 (callable)를 받는 매개변수 두 개 특징 (feature)을 변경하기 위한 transform 과 정답 (label)을 변경하기 위한 target_transform을 갖는다. torchvision.transforms 모듈은 주로 사용하는 몇 가지 transform을 제공한다. FashionMNIST의 feature은 PIL Image 형식이며, 정답 (label)은 정수 (integer)이다. 학습을 하려면 정규화 (norm.. 2022. 1. 13. 이전 1 다음 728x90 반응형 LIST
